Fehlende NominaldatenHallo. Ich mache ein Klassenprojekt, bei dem ich den Preis basierend auf einer Reihe von Prädiktorvariablen für einen Wohnungsdatensatz vorhersagen muss. Ich habe alle meine numerischen Zeilen bereinigt und Ausreißer entfernt. Jetzt umfasst meine Frage zwei Spalten: parking_options und Laundry_options. Innerhalb dieser beiden Spalten fehlen etwa 218.000 Werte für Zeilen. Meine Frage ist, was mit den fehlenden Solldaten zu tun ist. Es handelt sich um einen guten Teil des Datensatzes (von 384.000) und ich möchte diese Zeilen nicht vollständig entfernen. Ich weiß, dass die Daten manchmal absichtlich leer gelassen werden, aber ich glaube nicht, dass dies bei mir der Fall ist. Es gibt einige große Häuser, die Nullwerte in Laundry_options und Parking_options haben, daher glaube ich nicht, dass ich einfach annehmen sollte, dass diese Nullwerte kein Parken und keine Wäscherei bedeuten.
Datenexploration und -visualisierungWindowsBetreff: Fehlende NominaldatenIch denke, Sie haben zwei grundlegende Möglichkeiten. Die erste besteht darin, die Funktion „fehlende Informationen“ in JMP zu übernehmen/aufzurufen. Hier ist ein Link zur Funktionserklärung in der JMP-Dokumentation: In JMP fehlen Informationen . Das bedeutet aber, dass Sie denken oder zumindest bereit sind anzunehmen, dass in der Tatsache, dass die Beobachtungen fehlen, eine gewisse „Information“ steckt. Nehmen wir an, die Leute sind aus Datenschutzgründen oder aus anderen Gründen, die bei den fehlenden Beobachtungen häufig vorkommen, nicht bereit, auf etwas zu antworten. Im Wesentlichen behandelt JMP das „Fehlen“ als zusätzliche Ebene für die nominale Prädiktorvariable. Die zweite Möglichkeit besteht darin, einfach in den sauren Apfel zu beißen und nur die Beobachtungen zu verwenden, die alle Werte der Prädiktorvariablen haben. Es stehen Ihnen noch etwa 166.000 Beobachtungen zur Verfügung, mit denen Sie arbeiten können. Abschließend würde ich beide Wege ausprobieren und die praktischen Schlussfolgerungen vergleichen, zu denen jeder gelangt. Wenn es nur wenige praktische Schlussfolgerungen gibt, die davon abweichen, dann hatte das „Fehlen“ keinen Einfluss auf die endgültigen Entscheidungen.
Betreff: Fehlende NominaldatenBeim Benutzen informativ fehlt Bedeutet das, dass alle Zeilen mit fehlen Daten gehören zur gleichen „Gruppe“ – aus Sicht von Information : dass es immer der gleiche „Grund“ ist, warum die Informationen fehlen?
also NICHT:
- fehlt, weil die Hälfte von ihnen weder Wäscherei noch Parkplatz hat und es nicht sagen will und die Hälfte von ihnen ultrareich ist, 5 Parkplätze und 3 Wäschereien hat und es nicht sagen will.
Betreff: Fehlende NominaldatenSo'ne Art. Selbst in Ihrem zweiten Szenario gibt es einen roten Faden: die mangelnde Bereitschaft, aus irgendeinem Grund zu antworten. Aus diesem Grund ist die Verwendung von informativem Fehlen eine Art Vertrauensvorschuss. Und warum ich vorgeschlagen habe, das Modell mit und ohne Informationsmangel anzupassen, um zu sehen, ob die praktischen Schlussfolgerungen zwischen den einzelnen Analysen unterschiedlich sind.
Betreff: Fehlende NominaldatenAls jemand, der dieses Zeug unterrichtet, habe ich zusätzlich zu den fundierten Ratschlägen von P_Bartell ein paar Kommentare.Sie sollten sowohl mit als auch ohne Informationsmangel versuchen.In diesem Sinne sollten Sie grafisch untersuchen, wie sich die Häuser mit diesen fehlenden Daten im Vergleich zu den Häusern mit vollständigen Daten bezüglich der abhängigen Variablen, die Sie vorhersagen möchten (vermutlich ein Preis?), vergleichen lassen.Mit anderen Worten, wenn sich die Preise von Häusern mit fehlenden Waschmöglichkeiten ähnlich verhalten wie die von Häusern mit diesen Optionen (Verhalten bedeutet das Verhältnis zu Dingen wie der Quadratmeterzahl), dann sind diese Optionen vielleicht nicht so wichtig und Sie können als P_Bartell „in den sauren Apfel beißen“. bringt es auf den Punkt.In den sauren Apfel zu beißen kann jedoch bedeuten, dass man diese Variable ignoriert, anstatt die Beobachtungen mit fehlenden Daten zu ignorieren.Wäscheoptionen sind möglicherweise nicht so wichtig, und der Grund, warum diese Variable fehlt, kann zufällig sein (dies wird mit „informatives Fehlen“ untersucht, aber ich würde es durch zusätzliche grafische Untersuchungen ergänzen.
Das andere, was mir aufgefallen ist, ist Ihr Kommentar, der „Ausreißer beseitigt“ hat.Mir ist klar, dass manche Leute den Leuten das beibringen und manche Texte die Leute sogar dazu anweisen.Ich nicht.Ich halte es für eine schlechte Angewohnheit, Daten loszuwerden.Sofern es sich bei den Ausreißern nicht um Fehler zu handeln scheint, sind sie Teil Ihrer Daten und ich denke nicht, dass Sie sie jemals ohne weitere Begründung entfernen sollten.Es ist weitaus besser, ein Maß zu verwenden, das in Bezug auf Ausreißer invariant ist (z. B. den Median statt des Mittelwerts, den Sie mithilfe der Quantilregression untersuchen können), als die Ausreißer zu eliminieren.
Betreff: Fehlende NominaldatenHistorisch gesehen haben alle großen Entdeckungen mit Ausreißern begonnen. Die Ergebnisse waren nicht zu erwarten. Sie wegzuwerfen bedeutet, dass man nichts Neues entdecken kann. Das Modell könnte diese abweichenden Ergebnisse erklären.
Betreff: Fehlende NominaldatenHervorragende Punkte hinzugefügt von @dale_lehman über Ausreißer.
Und um den Kommentar von zu ergänzen @Mark_Bailey Wenn Ausreißer vorhanden sind, können Sie Modelle auswählen, die weniger von Ausreißern betroffen sind, z. B. baumbasierte Methoden (Boosted Tree, Decision Tree, Random Forest usw.), oder Ihrem linearen Modell eine Regularisierung hinzufügen (z. B. LASSO-Regression).
Sie können auch mit verschiedenen Parametern oder alternativen Lösungen experimentieren, z. B. mit Gewichtungen, um den Einfluss von Ausreißern auf Ihr Modell zu reduzieren.
