Ein Problem beim Data Mining und in der Statistik besteht darin, Daten zu sammeln und in Ihre Software zu manipulieren. Glücklicherweise, JMP macht das ganz einfach.
Was müssen Sie jedoch tun, sobald Sie über die Daten verfügen? Zuerst müssen Sie untersuchen, was Sie gesammelt haben, die Daten „aufbereiten“ (z. B. bereinigen) und dann müssen Sie sie analysieren. In diesem Blogbeitrag untersuchen wir alle drei Bereiche: Web-Datenerfassung, Datenverarbeitung und Analyse.
Datensammlung
Die jüngsten Nachrichten konzentrierten sich auf verschiedene Aspekte der Einwanderung in die Vereinigten Staaten. Lassen Sie uns also die Trends bei der Einwanderung in die USA untersuchen und insbesondere die Zahl der Personen untersuchen, die den Status einer rechtmäßigen dauerhaften Aufenthaltserlaubnis („Green Cards“) erhalten. Die relevanten Daten sind kostenlos bei der US-Regierung erhältlich Jahrbuch der Einwanderungsstatistik 2016 .Die spezifische Webseite, von der wir Daten extrahieren, ist diese:
https://www.dhs.gov/immigration-statistics/yearbook/2016/table1
Diese Tabelle enthält zwei Informationsspalten: Jahr und Nummer, wie unten dargestellt. Diese Daten sind für mich persönlich von Bedeutung, da meine Frau zu diesen Personen gehörte, die 2014 zur Zählung beitrugen. Ohne sie wären es im Jahr 2014 1.016.517 gewesen.
Table 1: 2016 Yearbook of Immigration StatisticsTable 1: 2016 Yearbook of Immigration StatisticsTable 1: 2016 Yearbook of Immigration StatisticsTable 1: 2016 Yearbook of Immigration StatisticsTabelle 1: Jahrbuch der Einwanderungsstatistik 2016
Web-Datenextraktion
Nachdem wir nun die zu analysierende Zielwebseite haben, müssen wir die Daten abrufen JMP . Dafür können wir verwenden Internet geöffnet . Dies ist ein leistungsstarkes Tool, das Sie unter finden Datei > Internet öffnen .Von dort aus sehen wir die folgende Funktion (mit der bereits eingefügten URL von Interesse).Wir haben einige Möglichkeiten, die Webseite in JMP zu öffnen.In diesem Beispiel öffnen wir die Webseite als Daten und hoffen, dass die beiden Datenspalten ordnungsgemäß erkannt werden. Dies setzt voraus, dass die Webseitenentwickler die Dinge logisch organisieren.Sobald wir die URL eingefügt haben und auswählen, wie die URL geöffnet werden soll, können wir klicken OK .
Internet Open dialog box in JMPInternet Open dialog box in JMPInternet Open dialog box in JMPInternet Open dialog box in JMPDialogfeld „Internet öffnen“ in JMP
Als Nächstes durchsucht JMP die Webseite nach Tabellen, die möglicherweise Daten enthalten. Was JMP erkannt hat, wird uns in Listenform angezeigt. Glücklicherweise enthielt diese Webseite nur ein Element, von dem JMP glaubte, dass es sich um Daten handelte. Wir müssen die Tische auswählen, die wir öffnen möchten. Tabelle 1 hier, und klicken Sie dann OK .
Importing Detected TablesImporting Detected TablesImporting Detected TablesImporting Detected TablesErkannte Tabellen importieren
JMP erstellt nun eine neue Datentabelle, die die Web-Scraping-Daten enthält.
Resultant Data TableResultant Data TableResultant Data TableResultant Data TableResultierende Datentabelle
Daten-Wrangling
Auf den ersten Blick scheinen die Daten effektiv geladen worden zu sein – zum Beispiel sind beide Variablen kontinuierlich (wie wir es erwarten würden) und ein Blick auf die Daten zeigt nichts Ungewöhnliches. Wenn wir jedoch die Daten grafisch darstellen (mit Graph Builder (zum Beispiel) sehen wir, dass wir einen Ausreißer im Jahr 1976 haben.
Data wrangling reveals an outlierData wrangling reveals an outlierData wrangling reveals an outlierData wrangling reveals an outlierDatenanalyse deckt einen Ausreißer auf
Anscheinend wurde 1976 als 19761 eingetragen. Daher müssen wir einige Möglichkeiten in Betracht ziehen:
- Hat jemand 19761 „fetten Finger“ und zu diesem Jahr eine zusätzliche „1“ hinzugefügt?
- Passt die „1“ zur zweiten Datenspalte, also 1.499.093 Personen im Jahr 1976?
- Ist es etwas anderes?
Wenn wir zur ursprünglichen Webseite zurückkehren, sehen wir, dass die dritte Option die richtige Antwort ist.Die zusätzliche „1“ stammt aus einer Fußnote, die im Rahmen des Jahres von JMP transkribiert wurde. Die Fußnote informiert den Leser über den Geschäftsjahreswechsel im Jahr 1976. Für diese Analyse werden wir nur die „1“ entfernen; Bei einer gründlicheren Analyse könnte jedoch untersucht werden, ob dies in den darauffolgenden Jahren versehentlich zu hoch gezählt wird.
Ich sollte den Forschern noch einen weiteren Hinweis geben: Es ist relativ einfach, dieses Problem zu beheben, da wir natürlich Jahre verstehen. Wenn jedoch ein ähnliches Problem in den Einwanderungsdaten bestünde, könnten wir es möglicherweise nicht erkennen, da diese stark variieren. Wenn Sie also Datentabellen für das Internet erstellen, denken Sie an zukünftige Forscher und platzieren Sie Ihre Fußnoten bitte in den intuitivsten Spalten.
Datenanalyse und Interpretation
Für eine schnelle Analyse verwenden wir Passen Sie Y an X an und verschiedene Modelle erstellen. Wir können mehr als nur einfache lineare Regressionsmodelle erstellen Passen Sie Y an X an , wie in besprochen Kapitel 9 meines Buches Biostatistik mit JMP .
Zunächst führen wir eine lineare Anpassung erster Ordnung, also eine lineare Regression, durch Linie anpassen . Diese Linie, die rote Linie unten, ist offensichtlich kein gutes Modell für unsere Daten. Daher werden wir damit fortfahren, verschiedene Polynomanpassungen höherer Ordnung zweiter bis sechster Ordnung zu erstellen, wie unten gezeigt.
Applying Various Curve FitsApplying Various Curve FitsApplying Various Curve FitsApplying Various Curve FitsAnwenden verschiedener Kurvenanpassungen
Visuell können wir erkennen, dass die Anpassung zweiter Ordnung (grüne Linie) die Daten offenbar ebenfalls nicht gut modelliert. Allerdings scheinen die Anpassungen dritter bis sechster Ordnung einige der Komplexitäten in den Rohdaten zu erfassen. Für mich sieht die Anpassung sechster Ordnung am besten aus, da sie um das Jahr 2017 herum nicht den scheinbar exponentiellen Anstieg aufweist, den wir bei den Anpassungen dritter und vierter Ordnung sehen. Während die Anpassung fünfter Ordnung am Ende der Daten gut aussieht, hat sie einen seltsamen Anfang. Daher sieht das Modell sechster Ordnung aus diesen Optionen am besten aus.
Von hier aus möchten wir Residuen usw. untersuchen. Eine grobe Analyse durch Untersuchung der erklärten Varianz kann ebenfalls hilfreich sein. Die folgende Tabelle bietet eine grobe Bewertung der Qualität von Modellen anhand des R-Quadrats und des R-Quadrats angepasst. Das angepasste R-Quadrat ist wichtig, da es uns bestraft, wenn wir zusätzliche Variablen hinzufügen.Insgesamt zeigt die Bewertung, dass das Modell sechster Ordnung viele Variationen erklärt. In Verbindung mit unserer visuellen Beurteilung der Modelle scheint die Anpassung sechster Ordnung das beste Modell zu sein, das mit diesem Ansatz erstellt wurde.
| Befehl |
R im Quadrat |
R-Quadrat angepasst |
| 1 |
0,336 |
0,333 |
| 2 |
0,359 |
0,353 |
| 3 |
0,552 |
0,545 |
| 4 |
0,562 |
0,553 |
| 5 |
0,639 |
0,630 |
| 6 |
0,669 |
0,659 |
Diese Interpretation bezieht sich nun auf die mittleren Quadrate für ein Problem, bei dem dem Fehler viele Freiheitsgrade zugewiesen sind. Daher könnte die Qualität der Vorhersagen dieser Modelle gering sein.
Der nächste Schritt könnte darin bestehen, die Möglichkeiten zur Zeitreihenmodellierung weiter zu untersuchen JMP unter Verwendung dieser Daten. Dies reicht jedoch für einen Tag!
Weitere Informationen zum Sammeln von Daten, auch aus dem Internet, finden Sie in Kapitel 2 meines Buches Biostatistik mit JMP .Kapitel 3 des Buches befasst sich eingehend mit der Datenverarbeitung.
