Niveau: Mittelstufe
Milo Page, Statistikentwickler bei JMP Research, SAS
JMP Pro 14 enthält ein neues Dienstprogramm zur automatisierten Datenimputation (Automated Data Imputation, ADI), eine vielseitige, empirisch abgestimmte Streaming-Methode zur Imputation fehlender Daten. Wir empfehlen es für den Umgang mit fehlenden Daten als Vorverarbeitungsschritt für die prädiktive Modellanpassung. Es passt sich empirisch an Ihren Datensatz an, um die zugrunde liegende Struktur zu extrahieren, selbst wenn Daten fehlen. Es respektiert auch Trainings- und Validierungspartitionen und verbindet sich nahtlos mit Vorhersagemodellen. Es wurde unter Verwendung leistungsstarker Matrixvervollständigungsmethoden mit einigen zusätzlichen Erweiterungen für Robustheit und Flexibilität entwickelt. Dieser Vortrag konzentriert sich darauf, wann ADI angemessen ist und wie es in JMP Pro 14 verwendet wird. Ich werde auch einen empfohlenen Arbeitsablauf für die Verarbeitung von Daten mit fehlenden Werten skizzieren und die Leistung von ADI an einigen Beispielen demonstrieren.
Hallo Felice,
Ich kann bei Ihren Fragen helfen, ich war Milos Ph.D. Berater für die Forschung, die zur Erstellung von ADI in JMP Pro führte.
Wenn ich es richtig verstanden habe, sagen Sie, dass Sie Daten in Trainings- und Testsatz aufteilen sollen, um die fehlenden Werte zu imputieren. Sobald Sie die Daten geteilt haben, wenden Sie die ADI-Methode nur auf Trainingsdaten an.
Der Arbeitsablauf besteht darin, zur Plattform Make Validation Column zu wechseln, um die Datentabellenspalte einzurichten, die die Zeilen in Trainings-/Validierungssätze partitioniert. Wenn Sie Explore Missing Values starten, legen Sie diese Spalte in der Validierungsrolle fest. Der ADI-Algorithmus passt Modelle vom PCA-Typ an den Trainingssatz an und verwendet den Validierungssatz, um das Modell für Dinge wie die Identifizierung des besten Rangs der Dimensionsreduktion zu optimieren.
Was machst du dann am Validierungs- und Testset?
Ich empfehle, die gleiche Trainings-/Validierungs- oder Trainings-/Validierungs-/Testpartitionierung der Daten zu verwenden, wenn ich im nächsten Schritt des Modellierungsprozesses mit der Anpassung von überwachten Lernalgorithmen wie neuronalen Netzwerken oder Bootstrap-Forest-Modellen fortfahre. Die Imputation ist ein Teil des Modellierungsprozesses, ebenso wie die prädiktive Modellierungskomponente. Die Verwendung der gleichen Aufteilung der Zeilen in Trainings-/Validierungs-/Test-Sets für den Schritt des überwachten Lernens ist eine Möglichkeit sicherzustellen, dass wir den gleichen Grad an unabhängiger Bewertung der Anpassungsgüte für die gesamte Modellierungsübung haben.
Was meinst du mit unterstellter Streaming-Validierung/Testsatz?
Vielleicht ist unsere Sprache hier nicht klar. Was passiert ist, dass ADI eine Formelspalte speichert, die imputierte Versionen der vorhandenen Spalten erstellt. Das bedeutet, dass Sie mit Tables<
Dieser Prozess geschieht unmittelbar mit den Trainings-/Validierungs-/Testabschnitten der Daten-ADI. Sie können also direkt zur Modellierung mit den imputierten Versionen der Spalten übergehen, ohne sich allzu viele Gedanken über die fehlenden Zellen machen zu müssen. ADI ist ziemlich schlau. Es verwendet die Validierungszeilen, um den Rang der verwendeten Dimensionsreduktion zu bestimmen. Wenn die Spalten unabhängig oder zu chaotisch für eine lineare Rangreduktion sind, findet es heraus und imputiert einfach den Trainingsmittelwert der Spalten.
@ Milo hat SAS verlassen. Vielleicht @chris_gotwalt1 kann hier antworten.
Ciao Milo
Ich fand Ihre pdf-Datei sehr interessant.
Können Sie mir weitere Details zu dem Prozess geben, der auf dieser Folie unten beschrieben wird?
Wenn ich es richtig verstanden habe, sagen Sie, dass Sie die Daten vorher in Trainings- und Testsatz aufteilen sollten, um die fehlenden Werte zu imputieren. Sobald Sie die Daten geteilt haben, wenden Sie die ADI-Methode nur auf Trainingsdaten an. Richtig?
Was machst du dann am Validierungs- und Testset?
Was meinst du mit unterstellter Streaming-Validierung/Testsatz?
Danke für Ihre Hilfe.Felice
