@Victor_G Danke für die Idee.Wir werden dies berücksichtigen.
Was hat diese Wunschlistenanfrage inspiriert?
Bei der Erstellung komplexer Modelle auf der Grundlage einer großen Anzahl kollinearer/korrelierter Variablen stehen mehrere Möglichkeiten zur Verfügung. Eine davon besteht darin, die Variablen in Hauptkomponenten umzuwandeln und dann ein Modell auf der Grundlage dieser Hauptkomponenten zu erstellen, um Kollinearitätsprobleme zu vermeiden, die Dimensionalität zu reduzieren und einen großen Teil der ursprünglichen Informationen beizubehalten.
Das Problem, das bei der prädiktiven Modellierung auftreten kann, sind Datenlecks: Informationen aus dem Validierungssatz und/oder Testsatz werden bei der Vorverarbeitung und/oder Modellerstellung verwendet.
Dies kann in der PCA-Plattform passieren, wenn Validierungs-/Testzeilen nicht ausgeblendet und ausgeschlossen werden: Wenn die PCA für den gesamten Datensatz durchgeführt wird und Modelle auf den Trainingshauptkomponentendaten erstellt wurden, enthält das Modell immer noch einen Teil der Informationen aus der Validierung und Testsets. Die Modellbewertung kann verzerrt sein, da die Leistungen zu „optimistisch“ bewertet würden.
Welche Verbesserung würden Sie sich wünschen?
Was andere Plattformen betrifft (siehe Modell anpassen unten), hätte ich gerne eine Validierungsrolle beim Starten des PCA-Plattformdialogs, damit die PCA mit den Trainingszeilen erstellt und auf Validierungs- und Testzeilen angewendet wird:
Warum ist diese Idee wichtig?
Die Validierungsrolle für PCA würde es Benutzern ermöglichen, sich dieser Datenlecksituation bei der Erstellung von Vorhersagemodellen besser bewusst zu werden. Es gehört auch zu den Best Practices, den Datensatz zunächst in Trainings-/Gültigkeits-/Testsätze aufzuteilen, bevor eine Transformation/ein Modell durchgeführt wird. Das Hinzufügen dieser Validierungsrolle würde also eine zuverlässige Best Practice für Benutzer erzwingen.
Schließlich wäre es mit dieser Funktion auch einfacher, PCA zuverlässiger als Vorverarbeitungsschritt für Vorhersagemodelle zu verwenden, anstatt Zeilen manuell oder per Skript auszuschließen.
