Niveau: Mittelstufe
Milo Page, JMP Research Statistician Developer, SAS
JMP Pro 14 enthält ein neues Dienstprogramm zur automatisierten Datenimputation (ADI), eine vielseitige, empirisch abgestimmte Streaming-Methode zur Imputation fehlender Daten. Wir empfehlen es für die Behandlung fehlender Daten als Vorverarbeitungsschritt für die prädiktive Modellanpassung. Es passt sich empirisch an Ihren Datensatz an, um die zugrunde liegende Struktur zu extrahieren, selbst wenn Daten fehlen. Es berücksichtigt auch Trainings- und Validierungspartitionen und lässt sich nahtlos mit Vorhersagemodellen verbinden. Es wurde unter Verwendung leistungsstarker Matrixvervollständigungsmethoden mit einigen zusätzlichen Erweiterungen für Robustheit und Flexibilität entwickelt. Dieser Vortrag konzentriert sich darauf, wann ADI angemessen ist und wie man es in JMP Pro 14 verwendet. Außerdem werde ich einen empfohlenen Arbeitsablauf für die Verarbeitung von Daten mit fehlenden Werten skizzieren und die Leistung von ADI anhand einiger Beispiele demonstrieren.
Hallo Felice,
Ich kann bei Ihren Fragen helfen, ich war Milos Doktorand. Berater für die Forschung, die zur Entwicklung von ADI in JMP Pro führte.
Wenn ich es richtig verstanden habe, sagen Sie, dass Sie die Daten vorher in Trainings- und Testsatz aufteilen sollen, um die fehlenden Werte zu unterstellen. Nachdem Sie die Daten geteilt haben, wenden Sie die ADI-Methode nur auf Trainingsdaten an.
Der Arbeitsablauf besteht darin, zur Plattform „Validierungsspalte erstellen“ zu gehen, um die datierbare Spalte einzurichten, die die Zeilen in Trainings-/Validierungssätze unterteilt. Wenn Sie „Fehlende Werte untersuchen“ starten, legen Sie diese Spalte in der Validierungsrolle fest. Der ADI-Algorithmus passt PCA-Modelle an den Trainingssatz an und verwendet den Validierungssatz, um das Modell für Dinge wie die Identifizierung des besten Rangs der Dimensionsreduktion zu optimieren.
Was machen Sie dann mit der Validierung und dem Testsatz?
Ich empfehle, die gleiche Partitionierung der Daten durch Training/Validierung oder Training/Validierung/Test zu verwenden, wenn ich im nächsten Schritt des Modellierungsprozesses mit der Anpassung überwachter Lernalgorithmen wie Neural Networks oder Bootstrap Forest-Modellen fortfahre. Imputation ist ebenso Teil des Modellierungsprozesses wie die prädiktive Modellierungskomponente. Durch die Verwendung der gleichen Aufteilung der Zeilen in Trainings-/Validierungs-/Testsätze für den überwachten Lernschritt können wir sicherstellen, dass wir für die gesamte Modellierungsübung den gleichen Grad an unabhängiger Bewertung der Anpassungsgüte haben.
Was meinst du mit Streaming unterstellter Validierung/Testsatz?
Vielleicht ist unsere Sprache hier nicht klar. Was passiert, ist, dass ADI eine Formelspalte speichert, die unterstellte Versionen der vorhandenen Spalten erstellt. Das bedeutet, dass Sie Tables<
Dieser Vorgang erfolgt sofort für die Trainings-/Validierungs-/Testteile des Daten-ADI. Sie können also direkt mit der Modellierung unter Verwendung der unterstellten Versionen der Spalten fortfahren, ohne sich zu viele Gedanken über die fehlenden Zellen machen zu müssen. ADI ist ziemlich schlau. Es verwendet die Validierungszeilen, um den Rang der verwendeten Dimensionsreduzierung zu bestimmen. Wenn die Spalten unabhängig oder zu chaotisch für eine lineare Rangreduktion sind, wird dies ermittelt und einfach der Trainingsmittelwert der Spalten berechnet.
@Milo hat SAS verlassen. Womöglich @chris_gotwalt1 kann hier antworten.
Ciao Milo
Ich fand Ihre PDF-Datei sehr interessant.
Könnten Sie mir weitere Details zu dem auf dieser Folie unten beschriebenen Prozess geben?
Wenn ich es richtig verstanden habe, sagen Sie, die Daten vorher in Trainings- und Testsatz aufzuteilen, um die fehlenden Werte zu unterstellen. Nachdem Sie die Daten geteilt haben, wenden Sie die ADI-Methode nur auf Trainingsdaten an. Richtig?
Was machen Sie dann mit der Validierung und dem Testsatz?
Was meinst du mit Streaming unterstellter Validierung/Testsatz?
Vielen Dank für Ihre Hilfe.Felice
