Sollte ich die Hauptkomponentenanalyse oder die K-Means-Clusteranalyse verwenden?Hallo, ich versuche herauszufinden, welche Methode der Clusteranalyse (z. B. Hauptkomponentenanalyse, k-Mittelwert usw.) für die folgende Situation am besten geeignet ist.Ich habe einen kartierten Datensatz mit 12.928 Datensätzen, von denen jeder einem Bohrloch mit Probenergebnissen entspricht.Jede Datenzeile (jeder Ort auf meiner Karte) enthält einen Brunnennamen, Breitengrad, Längengrad und Ergebnisse von Verbindung A, Verbindung B, Verbindung C, Verbindung D, Verbindung E usw. (insgesamt 8 chemische Verbindungen).Diese Brunnen wurden durch eine von drei Quellen kontaminiert: 1) Luftablagerungen, 2) Prozessabfälle oder 3) eine Kombination aus beiden (gemischt).Und jede Quelle ist mit einer einzigartigen Quellensignatur verbunden (z. B. hat die Luftdepositionsquelle tendenziell einen hohen Anteil an X- und einen geringen Anteil an Y-Anteil, während Prozesswasser tendenziell einen hohen Anteil an Y und Z und einen geringen Anteil an X-Anteil aufweist).Jede Zeile (dh der Bohrlochstandort) meines Datensatzes ist also einer der drei Kontaminationsquellen zugeordnet. Mein Ziel ist es, herauszufinden, welche Quelle für jeden Datensatz (z. B. Bohrlochstandort) in meinem Datensatz am wahrscheinlichsten ist.
Wichtig ist, dass eine Teilmenge von etwa 800 Datensätzen in meinem Datensatz bekanntermaßen mit der Signatur der Luftdepositionsquelle verknüpft ist.Daher kann dieser Teilsatz der Daten als Trainingssatz für die Luftdepositionssignatur verwendet werden.Ich kann auch eine Teilmenge von ca. 50 Datensätzen erstellen, die repräsentativ für die Signatur der Prozessabfallquelle sind.
Alle vorgeschlagenen Ansätze in JMP oder JMP Pro wären sehr dankbar.Vielen Dank im Voraus!
Erweiterte statistische ModellierungGrundlegende Datenanalyse und ModellierungDatenexploration und -visualisierungPrädiktive Modellierung und maschinelles LernenBetreff: Soll ich die Hauptkomponentenanalyse oder die K-Means-Clusteranalyse verwenden?Ein Beispiel der Daten finden Sie in der beigefügten Excel-Tabelle.
Betreff: Soll ich die Hauptkomponentenanalyse oder die K-Means-Clusteranalyse verwenden?Ich habe mir die Excel-Tabelle nicht angesehen, bin mir aber nicht sicher, ob explorative Datenanalysemethoden wie Clustering oder Dimensionsreduktionsmethoden wie PCA für Ihre praktische Problemanwendung am besten geeignet sind. Meine Interpretation Ihres ursprünglichen Beitrags basiert weitgehend auf dem letzten Satz Ihres ersten Absatzes. „Mein Ziel ist es, für jeden Datensatz herauszufinden, welche Quelle am wahrscheinlichsten ist …“. Für mich klingt das nach einem Klassifizierungsmodellierungsproblem, bei dem die Kontaminationsquelle die abhängige Variable und die Verbindungen Ihre Prädiktorvariablen sind. Wenn ich auf dem richtigen Weg bin, gibt es in JMP und JMP Pro eine Reihe von Modellierungsmethoden, die für Klassifizierungsprobleme geeignet sind. Sie könnten mit der nominalen logistischen Regression beginnen, eine beliebige Anzahl von Baummethoden ausprobieren oder vielleicht die PLS-Diskriminanzanalyse-Plattform in JMP Pro, um nur einige zu nennen. Wenn Sie über JMP Pro verfügen und Ihre Daten Kreuzvalidierungsmethoden unterstützen, empfehle ich Ihnen, diese Methoden ebenfalls in Ihren Workflow einzubeziehen. Sie deuten dies mit einer der Quellen an, also hört es sich so an, als wären Sie auch für diese Methoden geeignet?
Betreff: Soll ich die Hauptkomponentenanalyse oder die K-Means-Clusteranalyse verwenden?Hallo P_Bartell – vielen Dank für deine Antwort.Ich werde versuchen, mein Ziel klarzustellen.Jeder Datensatz stellt eine kartierte Bohrlochprobe dar, die die Ergebnisse (Konzentrationen) vieler verschiedener PFAS-Verbindungen zeigt (jede Verbindung ist ein anderes Feld).In meinem Untersuchungsgebiet sind drei Kontaminationsquellen möglich: (1) eine Luftdepositionsquelle, die vermutlich überwiegend mit der Verbindung „PMPA“ in Zusammenhang steht, (2) eine Prozessabfallquelle, die vermutlich mit „PFMOAA“ in Verbindung steht, und ( 3) eine Mischung aus Luftabscheidung und Prozessabfällen.Natürlich ist die Welt nicht so sauber und ordentlich, daher werden beide Verbindungen (PMPA und PFMOAA) in fast allen Bohrlöchern vorkommen, unabhängig von ihrer Nähe zu einer der Quellen, und natürlich auch andere Verbindungen.Es ist das relative Konzentrationen der Verbindungen, die dabei helfen, festzustellen, ob das Bohrloch von der einen oder anderen Quelle beeinflusst wird.Und es kann sein, dass andere Verbindungen bessere Ersatzstoffe oder Indikatoren sind?...tbd.
Mein Ziel ist es zu entscheiden, welche Bereiche (z. B. Brunnen) durch welche Quelle kontaminiert sind.(Die beigefügte Tabelle ist nur ein Beispiel der Daten, gibt Ihnen aber eine Vorstellung von meinem Datenformat.) Wichtig ist, dass Bohrlöcher, die weiter von einer Quelle entfernt sind, natürlicherweise abnehmende Konzentrationen der verschiedenen Verbindungen aufweisen, aus denen sich das Bohrloch zusammensetzt, aber die relativen Verhältnisse und mit dieser Quelle verbundene Verbindungen sollten weiterhin gelten.Der Standort eines Brunnens ist also Teil der Geschichte (d. h., wo sich ein Brunnen befindet, kann seine Zusammensetzung beeinflussen).
Wenn Sie also angesichts des oben Gesagten immer noch der Meinung sind, dass beispielsweise die Diskriminanzanalyse (DA) ein guter Weg ist, habe ich ein paar Fragen.(1) Müssen meine Proben (Brunnenergebnisse) nicht unabhängig sein?Und basierend auf meiner Beschreibung oben, würde Sie sind?Es scheint, dass sie nicht wirklich unabhängig sind, da diejenigen, die sich in der Nähe eines Quellentyps befinden, eher denen ähneln, die sich in der Nähe einer anderen Quelle befinden.Gedanken? (2) Die Konzentrationen jeder meiner PFAS-Verbindungen (unabhängige Variablen) sollen normalverteilt sein.Da es sich um Daten zu Umweltschadstoffen handelt, wird diese Annahme oft nicht erfüllt, manchmal sogar bei der Log-Normalisierung.Ist das ein Problem? (3) Es scheint, dass meine Prädiktorvariablen (PFAS-Verbindungen) natürlich kolinear wären.Mit anderen Worten, eine bestimmte Quelle wäre mit einigen Verbindungen verbunden, die je nach Nähe zu dieser Quelle gemeinsam steigen und fallen.Ist das ein Problem?Vielen Dank im Voraus!
Betreff: Soll ich die Hauptkomponentenanalyse oder die K-Means-Clusteranalyse verwenden?Ich werde mein Bestes tun, um jede Ihrer Fragen zu beantworten. (1) Nicht unbedingt. „Unabhängigkeit“ ist einer dieser großen Mythen über die Reaktion auf urbane Anforderungen, wie etwa Normalität (siehe meine bald kommenden Kommentare), die nicht den Einsatz einer Vielzahl von Modellierungsmethoden erfordert. (2) Sagt wer? Daten aus dem wirklichen Leben sind oft nicht normalverteilt in Bezug auf die unabhängigen Variablen ... wen interessiert das? (3) Hier glänzt eine Methode wie PLS – Diskriminanzanalyse. Auf die Gefahr hin, es ein wenig zu stark zu vereinfachen ... Was im Hintergrund aller PLS-basierten Methoden (die mit kolinearen Prädiktorvariablen glänzen) passiert, geschieht durch eine sehr elegante Mathematik, bei der diese kolinearen Prädiktorvariablen in sogenannte „latente Variablen“ umgewandelt werden. die einige wirklich schöne Eigenschaften haben ... es ist sehr analog zur Hauptkomponentenanalyse der Prädiktoren VOR der Modellierung. Vor langer Zeit, als ich noch Senior Systems Engineer bei JMP war (heute bin ich im Ruhestand), habe ich ein Mastering JMP-Webinar zusammengestellt, das immer noch verfügbar ist. Es trägt den Titel „Verwendung partieller kleinster Quadrate“. Wenn die gewöhnliche Regression der kleinsten Quadrate einfach nicht funktioniert. Vielleicht möchten Sie es sehen? Hier ist ein Link: P. Bartell - PLS Am Ende der Veranstaltung behandle ich tatsächlich ein Klassifizierungsproblem, das Ihrem nicht allzu unähnlich ist. Dabei werden menschliche Genomdaten (die keineswegs normalverteilt sind) verwendet, um den Östrogenrezeptorstatus von Frauen zu klassifizieren (eine binäre Reaktion ... aber mit 3 möglichen Klassifikatoren leicht auf Ihre Situation erweiterbar). Wenn Sie über JMP Pro verfügen, würde ich mir schließlich auch die verschiedenen Baummethoden genauer ansehen. Bewahren Sie dann alle Modelle im Formeldepot auf und vergleichen Sie deren Leistung. Ich glaube, mein Webinar wurde mit JMP Pro v 13 durchgeführt? Es kann also sein, dass sich die Dinge in Bezug auf die Fähigkeiten und die Funktionalität, die ich zeige, etwas geändert haben ... da es so aussieht, als würden Sie möglicherweise Version 17 ausführen, aber die Grundideen sind immer noch stichhaltig. Viel Glück!
Betreff: Soll ich die Hauptkomponentenanalyse oder die K-Means-Clusteranalyse verwenden?Danke P_Bartell!Ich werde mir deinen Link ansehen und ein paar Hausaufgaben machen.Ich freue mich über Ihre ausführlichen Antworten!
Betreff: Soll ich die Hauptkomponentenanalyse oder die K-Means-Clusteranalyse verwenden?Ich habe mir deine Videos angesehen – sehr hilfreich!Angenommen, ich verwende die Diskriminanzanalyse in JMP, sind meine Y-Kovariaten offensichtlich alle meine zahlreichen zusammengesetzten PFAS-Felder. Es ist jedoch unklar, wie mein X-, Kategorie-/Klassenfeld – „Quelle“ – funktionieren soll.Ich sage das, weil ich für den Großteil meines Datensatzes nicht weiß, woher die Quelle stammt (weshalb ich diese Analyse durchführe).
Denken Sie daran, dass mein Datensatz so aussieht:
Aufgrund der einzigartigen Attribute meines Untersuchungsgebiets kann ich meinem Datensatz ein Quellfeld hinzufügen und es für etwa 10 % meiner Zeilen (~1300 Zeilen) füllen.Ich kann es jedoch nur für die Quelle „Luftdeposition“ ausfüllen.Die anderen beiden Quellen („Prozessabfall“ und „gemischt“) sind nicht leicht zu erkennen … daher muss ich meinen Datensatz analysieren (z. B. PLS).Wenn ich darauf drücke, könnte ich wahrscheinlich auch die Quelle „Prozessabfall“ füllen, aber nur für etwa 30 Zeilen, nicht mehr.Das Quellfeld für die anderen 11.000 Zeilen ist unbekannt.
Verstehe ich hier den Arbeitsablauf falsch?
Betreff: Soll ich die Hauptkomponentenanalyse oder die K-Means-Clusteranalyse verwenden?Nein, Sie interpretieren den Arbeitsablauf nicht falsch. Wenn Sie die Datentabelle in der Spalte „Loc“ nicht mit den drei möglichen Ebenen dieser Variablen füllen können, können Sie kein Modell, kein PLS oder eine andere Methode erstellen. Deshalb schlage ich vor, dass Sie zu Ihren ursprünglichen Gedanken über multivariate explorative Datenanalysetools wie Clustering oder Hauptkomponentenanalyse der zusammengesetzten Variablen zurückkehren ... bestenfalls, wenn einige Cluster entstehen oder eine relativ kleine Anzahl von Hauptkomponenten entsteht. Sie können sie unter den zusammengesetzten Variablen sehen.
Betreff: Soll ich die Hauptkomponentenanalyse oder die K-Means-Clusteranalyse verwenden?Ich werde mich an meinen alten Freund wenden @P_Bartell 's Antwort.Nur meiner Meinung nach scheint Clustering ein guter Ausgangspunkt für Ihre Analyseanforderungen zu sein.K-Means oder hierarchisches Clustering sollten gut funktionieren und da Sie drei mögliche Kontaminationsquellen haben, sollten Sie Ihr K-Means oder hierarchisches Clustering auf 3 Cluster beschränken.Wenn Sie mit den Ergebnissen zufrieden sind, speichern Sie die Cluster wieder in der Datentabelle. Diese Spalte kann dann als Teil Ihrer weiteren Modellierung verwendet werden.Sie können die Clusterformel auch wieder in der Datentabelle speichern. Wenn Sie neue Daten in die Tabelle eingeben, erhalten Sie sofort eine Vorhersage des Clusters (der Quelle) der Kontamination.
Betreff: Soll ich die Hauptkomponentenanalyse oder die K-Means-Clusteranalyse verwenden?Ein zusätzlicher Gedanke und vielleicht eine verrückte Idee ... Wenn es sich um ein reales Problem handelt, mit dem Sie arbeiten, und nicht um eine erfundene akademische Übung, verwenden Sie die Graph Builder-Zuordnung, nachdem Sie einige Cluster identifiziert und die mit jedem Bohrloch verknüpften geografischen Standorte festgelegt haben Werkzeuge zur Erstellung von Dichtekarten der Bohrlöcher. Dann wette ich, dass Sie mit ein wenig Schnüffeln eine vernünftige Vermutung über den Ursprungsweg der Verbindungen anstellen können. Wie es der Zufall wollte, und wohlgemerkt, dass ich bei weitem nicht als Umweltgeologieingenieur qualifiziert/ausgebildet/ausgebildet bin, habe ich gerade ein Buch über die Love Canal-Affäre (Niagara Falls NY) zu Ende gelesen. Ich würde wetten, dass alle dortigen Brunnen oder Rauchfahnen in der Nähe ähnliche Kontaminationsprofile aufweisen würden ... und die Quelle ist ziemlich offensichtlich ... Prozessabfälle, die vergraben und jahrelang versickern ließen. Ah, wieder ein JMP-Systemingenieur zu sein ... Es hat mir immer Spaß gemacht, mit meinen Kunden an solchen „chaotischen“ Problemen zu arbeiten.
Betreff: Soll ich die Hauptkomponentenanalyse oder die K-Means-Clusteranalyse verwenden?Danke euch beiden.Ich werde dort beginnen (Clusteranalyse) und sehen, wohin es führt.Ich schätze den Beitrag!
