239317_de-DE

liliconcom

Vorverarbeitungsfunktionen

Hallo,

 

Ich möchte mit der Vorverarbeitung meiner Merkmale in einer Datenbank beginnen, bevor ich mit der Analyse beginne. Ich suche Hilfe bezüglich der folgenden Schritte.

Was kommt zuerst nach der Datenbereinigung? Ausreißerentfernung, Skalierung (Normalisierung von Daten) oder fehlende Datenimputation?

 

Welche Reihenfolge würdest du vorschlagen?

 

Grüße

 

Lu

Betreff: Vorverarbeitungsfunktionen

Ich glaube, dass die Standardisierung für das Clustering durchgeführt wird.Die JMP-Dokumentation besagt, dass für KNN jede Variable mit ihrer Standardabweichung skaliert wird - genau um die Art von Problem zu vermeiden, auf die Sie anspielen.Ich denke also immer noch, dass keine zusätzliche Vorverarbeitung erforderlich ist, damit Sie tun können, was Sie wollen – vergleichen Sie eine Reihe verschiedener Vorhersagemodelle.

Betreff: Vorverarbeitungsfunktionen

Danke Dale für die Antwort,

 

In der Tat ist es wichtig, Ihre Daten zuerst grafisch zu untersuchen, bevor Sie sie vorverarbeiten.

Ich möchte die Vorhersageleistung mehrerer Modelle für maschinelles Lernen (lineare Modelle wie KNN und nichtlineare Modelle wie Random Forest usw.) mit meinen Daten vergleichen. Lineare Modelle behandeln Merkmale so, als ob sie sich im selben Maßstab befänden. Aber physiologische Variablen haben Werte auf sehr unterschiedlichen Skalen wie pH-Wert und Herzfrequenz. Deshalb möchte ich sie durch Z-Normalisierung skalieren. Darüber hinaus setzt der Clustering-Algorithmus (K-Mean-Clustering) fehlende Werte nicht automatisch in JMPpro ein. Deshalb wollte ich meine Daten zuerst vorverarbeiten

Betreff: Vorverarbeitungsfunktionen

Ich werde es versuchen, obwohl ich denke, dass Sie wahrscheinlich spezifischer sein müssen, um bessere Ratschläge zu erhalten.Ich bin mir nicht sicher, wie Sie "Reinigungsdaten" von "Vorverarbeitung" unterscheiden, aber ich würde von dem von Ihnen aufgelisteten Schritt abraten.Ich empfehle niemals, Ausreißer zu entfernen - zumindest bis ziemlich weit in eine Analyse hinein, wenn Sie ein gewisses Verständnis dafür haben, warum die Ausreißer tatsächlich Ausreißer sind. Ich würde die Normalisierung oder Neuskalierung von Daten auch nicht als allgemeine Vorgehensweise empfehlen (obwohl dies für bestimmte Kontexte nützlich sein kann) - viele JMP-Analyseplattformen normalisieren Daten automatisch, wenn dies hilfreich ist.Ebenso ist das Einfügen fehlender Daten auf den meisten JMP-Plattformen unnötig, da dies automatisch erfolgt (normalerweise durch einfaches Aktivieren eines Kontrollkästchens, um fehlende Daten einzuschließen).Es gibt Zeiten, in denen Sie fehlende Werte sorgfältiger imputieren möchten, vielleicht unter Verwendung Ihrer eigenen Methodik (z. B. Erstellen eines Regressionsmodells zum Imputieren fehlender Daten), aber auch dies hängt vom Kontext ab.Ich empfehle daher nicht, die von Ihnen aufgelisteten Dinge automatisch zu tun.Stattdessen würde ich damit beginnen, Ihre Daten grafisch zu untersuchen, um sicherzustellen, dass Sie verstehen, was gemessen wird, welche Arten von Beziehungen zu existieren scheinen und potenziell wichtig sind, und um festzustellen, ob eine gewisse „Vorverarbeitung“ eine gute Idee ist.