Vielleicht… aber unordentliche Daten sind eine größere Sache.
Big Data hat im vergangenen Jahr den Mainstream getroffen. Ich weiß das weil die BBC hat mehrere Programme erstellt, die es abdecken. Was ich gehört habe, ist, dass es keine klare Definition gibt, was Big Data ist und warum es wichtig ist. Wenn ich die Menschen frage, ob sie große Datenmengen haben, sagen sie überwältigend "Ja", ob sie tausend oder viele Millionen Datenzeilen oder Beobachtungen haben. Also wer hat recht Es hängt davon ab, ob.
Heutzutage, statistische Software , einschließlich solcher, die entwickelt wurden, um die Leistung des Desktops zu maximieren JMP Pro , kann Datensätze mit Millionen von Zeilen problemlos verarbeiten. Wichtiger ist die Anzahl der Spalten. Sehr groß und Sehr breite Datensätze sind wirklich groß. Dies kann statistische Standardmethoden erfordern, wie z. B. Stichproben, um nützliche Modelle zu erstellen, wodurch die Modellbildung einem Desktop-Computer zur Verfügung steht.
Wenn also große Datenmengen leicht zu handhaben sind, vor welchen Herausforderungen stehen Analysten, Ingenieure und Wissenschaftler von heute? Wir befragten die Teilnehmer bei den beiden vor kurzem in Marlow und Edinburgh abgehaltenen Modellbauseminaren und stellten eine interessante Erkenntnis fest: Alle Teilnehmer hatten unordentliche Daten.
Machen Sie das Beste aus unordentlichen Daten
Sie haben unordentliche Daten, wenn Sie fehlende Daten, leere Zellen, Ausreißer oder falsche Einträge haben. Traditionelle statistische Methoden wie logistische und lineare Regression werfen Zeilen aus, in denen Zellen fehlen, was zu einem schlechteren Modell führt. Ausreißer werfen das Modell auch ab und machen es weniger nützlich.
John Sall diskutierte einen neuen Umgang mit unordentlichen Daten namens "Informative Missing" in sein blog post . Dies macht die Verwendung fehlender Daten über die Imputation hinaus für einen neuen Bereich erforderlich: Fehlende Daten können Sie tatsächlich über wichtige Informationen informieren und müssen daher in Ihrem Modell enthalten sein. Ein Beispiel wäre ein Darlehensbewerber, der einen Teil seines Antrags leer lässt, um eine schlechte Kredithistorie zu verbergen. Dies wäre ein kritischer Befund für einen Kreditanalysten zum Modellieren. Wenn Sie in einer Fertigungseinstellung arbeiten, fehlen möglicherweise Daten, weil das Ergebnis buchstäblich nicht den üblichen Maßstäben entspricht. Dies kann nützliche Informationen für die Erfassung im Modell sein. Wenn Sie die Aktivität von Substanzen basierend auf ihren chemischen Eigenschaften modellieren, fehlen möglicherweise Daten für die Zersetzungstemperatur, wenn das Material sich nicht über den gemessenen Temperaturbereich zersetzt. Wenn Sie diese Informationen in das Modell aufnehmen, erhalten Sie bessere Vorhersagen für die Aktivität.
Es gibt eine neue Klasse von Modellierungstechniken, die als Schrumpfungsmethoden bezeichnet werden. Sie bieten Ihnen ein Modell, das gut vorhersagt und hat die kleinste Anzahl von Variablen, auch wenn Sie starke Korrelationen zwischen den Eingangsvariablen haben. Das Generalisierte Regression Personality ermöglicht Ihnen die Verwendung dieser Methoden innerhalb der Fit Model-Plattform. Zusammen mit Informative Missing verwendet, hat es den zusätzlichen Vorteil, dass beim Erstellen des Modells alle Datenzeilen verwendet werden - selbst bei unordentlichen Daten.
Entscheidungsbaumbasierte Methoden eignen sich für den Umgang mit Ausreißern, da der Punkt, an dem die Aufteilung erfolgt, nicht verzerrt ist. JMP Pro-Benutzer sagen uns, dass sie nützliche Modelle erstellen, ohne ihre Daten bereinigen zu müssen Informativ fehlt : Mit robusten Modellierungstechniken können Sie die Datenbereinigung möglicherweise überspringen und noch ein gutes Modell produzieren. Das ist wirklich revolutionär. Entscheidungsbäume haben den zusätzlichen Vorteil, dass sie visuell sind, sodass Sie Ihre Ergebnisse den Führungskräften erklären können.
Was mache ich, wenn ich unordentliche Daten habe?
JMP Pro ist das Software für den Umgang mit Ihren unordentlichen Daten.
Wir werden in Großbritannien einen exklusiven, praxisorientierten Workshop für neue Benutzer dieser Software veranstalten 12. Juni Also, wenn Sie uns in Marlow besuchen möchten, Gib mir Bescheid .
Wenn Sie möchten, dass Ihre Manager sehen, wie JMP Pro mit diesen Problemen umgeht, können Sie sie bitten, dem beizutreten Webcast auf 3. April wenn wir zwei Fallstudien zeigen werden.
Bernard McKeown schrieb:
Du hast recht, Phil. Auch die Befragung der Delegierten zum Seminar bestätigt dies. Deshalb sind diese Techniken so hilfreich.
Phil Kay schrieb:
Gibt es jemanden, der NIEMALS unordentliche Daten hat?
Aufgrund meiner eigenen Erfahrung werden in kleinen Versuchsreihen und in der Versuchsplanung in der Regel vollständige Datensätze ohne zu viele Probleme erstellt. Einstieg in das Gebiet des Data Mining und der Predictive Modeling ... Es gibt IMMER einen etwas chaotischen Aspekt der Daten.
Volker Kraft schrieb:
Hallo Mike, vorausgesetzt, Sie sind in Großbritannien, habe ich einige gute Neuigkeiten: Im Moment suchen wir nach Möglichkeiten, STEM-bezogene Klassen an Gymnasien mit JMP-Paketen für den Unterricht zu unterstützen. Ich würde mich freuen, wenn Sie sich an (volker.kraft@jmp.com) wenden, um Sie auf dem Laufenden zu halten und mehr über Ihre Anforderungen in der Hochschulbildung zu erfahren.
Bernard McKeown schrieb:
Hallo Mike, viele Schulen verwenden jetzt JMP Pro, da dies ein Kernprodukt der JMP Academic Suite ist. Weitere Informationen finden Sie unter: http://www.jmp.com/de/academic/ . Ich denke du bist in den USA, oder? In diesem Fall kann Curt Hinrichs helfen. Wenn in Europa, dann ist Volker Kraft die richtige Person. Volkers Details finden Sie unter: http://www.jmp.com/de/software/buy-jmp-academic.shtml .
Mike Clayton schrieb:
Vielen Dank.
Die Schüler müssen diese fortgeschrittenen Methoden erlernen, aber die Schulen unterstützen JMP Pro nicht. Wie ist die Chance, dass kostenlose Webinare neuere Konzepte so präsentieren, dass die STEM-Klassen der High School davon profitieren können?
