Erkunden von Korrelationen in einem großen Datensatz<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Ich verwende JMP Pro und arbeite mit einem großen Datensatz von Anlagenprozessvariablen, die ich untersuchen möchte, wie sie sich auf die Produktion oder andere Leistungsparameter in der Anlage auswirken könnten. Gibt es Anleitungen oder Ressourcen, wie ich damit beginnen kann? Ich habe mir JMP-Videos auf YouTube angesehen, aber sie gehen nicht sehr tief in die Analyse ein. S O weit, Ich habe nur herausgefunden, dass ich „Prädiktoren überprüfen“ sollte, um die Anzahl der Faktoren, die ich betrachte, zu reduzieren. Ich bin mir nicht sicher, ob das nächste Mal für Regressionsmodelle oder die weitere Untersuchung von Daten mit PCA, paarweisen Korrelationen usw. geeignet wäre oder ob ich es brauche vorsichtig Wenn meine Daten keine normalen Daten sind oder viele Nullen aufweisen, bevor Sie die richtige Analyse auswählen.
Außerdem habe ich einige schöne Diagramme gesehen, die die kanonische Korrespondenzanalyse (CCA) verwenden, um Korrelationen mit Daten wie meinen in R zu untersuchen. Gibt es etwas Ähnliches/Besseres in JMP?
Ich bin neu in dieser Art der Analyse, also irgendwelche Ideen du hast Informationen zu den ersten Schritten werden hilfreich sein. Danke.
Betreff: Korrelationen in einem großen Datensatz untersuchenhttps://community.jmp.com/docs/DOC-9923
Das obige Add-In ist eine weitere Option zum Betrachten der x-by-y-Korrelation. Ich habe es kürzlich bei einem Prozessdatenprojekt verwendet.
Betreff: Korrelationen in einem großen Datensatz untersuchenEs gibt ein fantastisches JMP-Add-In namens Scagnostics.Ich verwende es oft, um die Struktur von Korrelationen in großen Datensätzen zu erkennen.
Betreff: Korrelationen in einem großen Datensatz untersuchenIch gehe davon aus, dass Sie diese Daten von einer Art Data Warehouse/Historian-System geerbt haben und über viele Spalten und/oder vielleicht viele Zeilen verfügen. Wie viel Zeit haben Sie damit verbracht, die Datenqualität aus diesen Perspektiven zu betrachten:
1. Ausreißer? Ein guter Ort, um sich dieses Problem anzusehen, ist der Pfad „Cols“ -> „Modeling Utilities“ -> „Explore Outliers“.
2. Fehlende Werte? Ein guter Ort, um sich dieses Problem anzusehen, ist der Pfad „Spalten -> Modellierungsdienstprogramme -> Fehlende Werte untersuchen“.
3. Wenn Sie unsinnige Werte haben, Dinge wie „9999“-Codes ... denken Sie darüber nach, JMPs Cols -> Utilities -> Recode path zu verwenden, um diese zu beheben/reparieren.
4. Als letzten Akt der Datenqualität und wenn Sie denken, dass Sie mit der Erstellung von Vorhersagemodellen fortfahren werden, stellen Sie sicher, dass Sie die Plattform „Cols -> Modeling Utilities -> Make Validation Column“ von JMP Pro verwenden, um eine Validierungsspalte zu erstellen, die ggf. Folgendes enthält: ein Trainings-, Validierungs- und Testkonstrukt.
Sobald die Datenqualität/-bereinigung abgeschlossen ist, gibt es mehrere JMP Pro-Plattformen, die für Sie hilfreich sein können. Jeder hat seinen Platz an der Sonne. Hauptkomponentenanalyse mit Clustering, Modell anpassen -> Teilweise kleinste Quadrate, Modell anpassen -> Generalisierte Regression (wählen Sie dann Ihre Unterpersönlichkeit basierend auf den Besonderheiten jeder Situation aus). Wenn Sie Modelle erstellen und bewerten, stellen Sie sicher, dass Sie die Imputation fehlender Werte aufrufen (falls erforderlich und angemessen) und nutzen Sie die von Ihnen erstellte Validierungsspalte. Andere JMP-Modellierungsplattformen könnten ebenfalls wertvoll sein ... Ich konzentriere mich in diesem Beitrag nur auf die JMP Pro-Ideen.
Betreff: Korrelationen in einem großen Datensatz untersuchen1. Die Transformation der Daten muss spaltenweise erfolgen.Wenn die Analysen an transformierten Daten durchgeführt werden, soll dies ermöglichen, dass die Statistiken die Parameter korrekt berechnen können.Die Daten werden nicht anhand der transformierten Werte gemeldet.
2. Ich finde, der beste Weg, die richtige Transformation zu ermitteln, besteht darin, die Vertriebsplattform in JMP zu verwenden und unter dem roten Dreieck eine Anfrage zu stellen.
Kontinuierliche Passform==>Alle
Sie erhalten die Ergebnisse zur Verteilung Ihrer Daten und können Ihre Daten von dort aus in einem transformierten Zustand speichern.Wenn für die Verteilung, die sich als die beste Beschreibung Ihrer Daten herausstellt, keine Transformation verfügbar ist, möchten Sie vielleicht prüfen, ob die GLog-Transformation (Generalized Log) Ihnen weiterhilft.
3. Wenn Sie eine gezielte Antwortvariable haben, habe ich Bootstrap Forrest und Boosted Tree verwendet, um Spalten zu finden, die zum Paaren der Daten verwendet werden können. Sie erfordern keine normalverteilten Daten.
Betreff: Korrelationen in einem großen Datensatz untersuchenVielen Dank an alle für die wertvollen Informationen. Ich habe einige weitere Fragen zur Transformation der Daten:
1. Soweit ich weiß, transformieren Sie einige Spalten, andere jedoch nicht? Sollten nicht alle Daten für die nachgelagerte Analyse auf die gleiche Weise transformiert werden?
2. Ich habe einige Spalten mit vielen Nullen. Protokolltransformationen scheinen einige zu normalisieren, wandeln jedoch Nullen in fehlende Daten um. Ich bin mir nicht sicher, ob es eine einfache Möglichkeit gibt, dies zu tun, oder ob es Anleitungen dazu gibt, wie man damit in JMP umgeht.
3. Wenn eine Normalisierung der Daten nicht möglich oder nicht unbedingt erforderlich ist, gibt es eine oder mehrere zu vermeidende Methoden (PCA?), um solche Daten weiter zu analysieren?
Ich vermute, dass der Schritt nach den Transformationen und dem Screening darin bestehen würde, die stärksten Mitwirkenden in der „Fit Model“-Plattform zu nutzen und Modelle zu vergleichen?
Betreff: Korrelationen in einem großen Datensatz untersuchenHallo karen@boulderstats .
Domain (Prozessexperte) + Methode (Analyseexperte) ist eine großartige Partnerschaft.
Ich habe es genossen und viel von Ihnen gelernt Folge analytisch gesehen letzte Woche !
Ich lerne auch so viel von den Experten der JMP-Community, die mir großartige Ratschläge geben.
Sehr geschätzt.
- Randy, JMP-Neuling
Betreff: Korrelationen in einem großen Datensatz untersuchenJim hat eine Reihe guter Schritte aufgeführt, die Sie in Betracht ziehen sollten. Sie können auch den Kontrolldiagramm-Generator verwenden (bei solchen Daten würde ich den Spaltenumschalter verwenden, damit Sie Ihre Variablen schrittweise durchgehen können). Der Grund für die Betrachtung der Regelkarten liegt darin, dass Prozessdaten ein Zeitelement enthalten.Das Verarbeiten von Daten macht großen Spaß, ist aber nicht immer einfach (die Daten selbst sind aufgrund von Zeitverzögerungen, fehlenden Daten usw. usw. komplex). Ich finde, dass für solche Daten ein Wert geschaffen wird, wenn man als Team arbeitet, das mindestens aus einem analytischen Experten (also jemandem mit statistischem Hintergrund) und einem Prozessexperten (jemand, der den Prozess wirklich kennt) besteht.
Betreff: Korrelationen in einem großen Datensatz untersuchenNormalerweise verwende ich den folgenden Ansatz, um große Datenmengen zu überprüfen:
1. Ich führe die Verteilungsplattform für alle Daten aus und schaue, wie viele meiner Daten stark verzerrt sind.Wenn ich eine große Anzahl von Zeilen habe, neige ich dazu, Ausreißer zu löschen, um die Daten zu normalisieren.Zu anderen Zeiten oder darüber hinaus werde ich die problematischen Spalten umwandeln.Ich verwende Skripte, um die Arbeit zu vereinfachen.
2. Der nächste Schritt besteht darin, redundante Spalten auszusortieren.Normalerweise verwende ich dafür drei verschiedene Plattformen.
A. PCA ist großartig, wenn die Daten in eine sehr grobe Normalform umgewandelt werden oder wurden.
B. Response Screening liefert eine großartige Ausgabedatentabelle, die mir wirklich ein Gefühl für die Daten gibt
C. Die Bootstrap-Forrest-Partitionierung zeigt, welche Spalten die stärksten potenziellen Beiträge zu meiner detaillierten Analyse leisten, die ich durchführen werde.
