dovrei usare l'analisi delle componenti principali o l'analisi dei cluster k-means?Salve, sto cercando di decidere il metodo migliore di analisi dei cluster (ad es. Analisi dei componenti principali, k-mean, ecc.) Da utilizzare per la seguente situazione.Ho un set di dati mappato con 12.928 record, ciascuno corrispondente a un pozzo con risultati di esempio.Ogni riga di dati (ogni posizione sulla mia mappa) ha un nome, latitudine, longitudine e risultati del composto A, composto B, composto C, composto D, composto E, ecc. (8 composti chimici in tutto).Questi pozzi sono stati contaminati da una delle tre fonti: 1) deposito di aria, 2) rifiuti di processo o 3) una combinazione delle due (mista).Ogni sorgente è associata a un'unica firma della sorgente (ad es. la sorgente di deposizione dell'aria tende ad avere un alto composto X e un basso composto Y, mentre l'acqua di processo tende ad avere un alto composto Y e Z e un basso composto X).Quindi, ogni riga (ovvero la posizione del pozzo) del mio set di dati è associata a una delle tre fonti di contaminazione. Il mio obiettivo è identificare quale fonte è più probabile per ogni record (ovvero posizione del pozzo) nel mio set di dati.
È importante sottolineare che un sottoinsieme di ~ 800 record nel mio set di dati è noto per essere associato alla firma della fonte di deposizione aerea.Pertanto, questo sottoinsieme di dati può essere utilizzato come set di addestramento per la firma della deposizione aerea.Posso anche trovare un sottoinsieme di ~ 50 record che sono rappresentativi della firma della fonte dei rifiuti di processo.
Qualsiasi approccio suggerito in JMP o JMP Pro sarebbe molto apprezzato.Grazie in anticipo!
Modellazione statistica avanzataAnalisi e modellazione dei dati di baseEsplorazione e visualizzazione dei datiModellazione predittiva e Machine LearningRi: dovrei usare l'analisi delle componenti principali o l'analisi dei cluster k-means?Vedere il foglio di calcolo Excel allegato per un campione dei dati.
Ri: dovrei usare l'analisi delle componenti principali o l'analisi dei cluster k-means?Non ho esaminato il foglio di calcolo di Excel, ma non sono sicuro che i metodi esplorativi di analisi dei dati come il clustering o i metodi di riduzione della dimensionalità come PCA sarebbero i più adatti per l'applicazione del tuo problema pratico. La mia interpretazione del tuo post originale si basa in gran parte sull'ultima frase del tuo primo paragrafo. "Il mio obiettivo è identificare quale fonte è più probabile per ogni record...". A me questo suona come un problema di modellazione della classificazione in cui la fonte di contaminazione è la variabile dipendente ei composti sono le tue variabili predittive. Se sono sulla strada giusta, esistono numerosi metodi di modellazione in JMP e JMP Pro adatti ai problemi di classificazione. Potresti iniziare con la regressione logistica nominale, provare un numero qualsiasi di metodi ad albero o forse la piattaforma di analisi discriminante PLS in JMP Pro per citarne solo alcuni. Se disponi di JMP Pro e i tuoi dati supportano metodi di convalida incrociata, ti consiglio di includere anche questi metodi nel tuo flusso di lavoro... lo stai suggerendo con una delle fonti, quindi sembra che tu sia disponibile anche per quei metodi?
Ri: dovrei usare l'analisi delle componenti principali o l'analisi dei cluster k-means?Ciao P_Bartell, grazie mille per la tua risposta.Cercherò di chiarire il mio obiettivo.Ogni record rappresenta un campione di pozzetto mappato che mostra i risultati (concentrazioni) di molti diversi composti PFAS (ogni composto è un campo diverso).Nella mia area di studio sono possibili tre fonti di contaminazione: (1) una fonte di deposizione aerea, che presumibilmente è associata prevalentemente al composto "PMPA", (2) una fonte di rifiuti di processo, che presumibilmente è associata a "PFMOAA", e ( 3) una miscela di deposito d'aria e scarti di processo.Naturalmente, il mondo non è così pulito e ordinato, quindi entrambi questi composti (PMPA e PFMOAA) si troveranno in quasi tutti i pozzi, indipendentemente dalla loro vicinanza a una delle due fonti, oltre ad altri composti ovviamente.È il concentrazioni relative dei composti che aiuteranno a identificare se il pozzo è influenzato da una fonte o dalle altre.E, può darsi che altri composti siano surrogati o indicatori migliori?....tbd.
Il mio obiettivo è decidere quali aree (cioè pozzi) sono contaminate da quale fonte.(Il foglio di calcolo che ho allegato è solo un esempio dei dati ma ti dà un'idea del formato dei miei dati.) È importante sottolineare che i pozzi più lontani da una fonte avranno naturalmente concentrazioni decrescenti dei diversi composti che compongono quel pozzo, ma i rapporti relativi e i composti associati a quella fonte dovrebbero continuare a valere.Quindi la posizione di un pozzo fa parte della storia (cioè dove si trova un pozzo può influenzare la sua composizione composta).
Quindi, dato quanto sopra, se pensi ancora che l'analisi discriminante (DA), ad esempio, sia una buona strada da percorrere, ho un paio di domande.(1) I miei campioni (buoni risultati) non dovrebbero essere indipendenti?E in base alla mia descrizione sopra, volevo sono?Sembra che non siano veramente indipendenti in quanto quelli vicini a un tipo di sorgente sarebbero più simili a quelli situati vicino a una sorgente diversa.Pensieri? (2) Le concentrazioni di ciascuno dei miei composti PFAS (variabili indipendenti) dovrebbero essere distribuite normalmente.Dato che si tratta di dati sui contaminanti ambientali, questa ipotesi spesso non viene soddisfatta, a volte anche con la normalizzazione dei log.È un problema? (3) Sembra che le mie variabili predittive (composti PFAS) sarebbero naturalmente colineari.In altre parole, una data sorgente sarebbe associata a pochi composti che salgono e scendono insieme, a seconda della vicinanza a quella sorgente.È un problema?Grazie in anticipo!
Ri: dovrei usare l'analisi delle componenti principali o l'analisi dei cluster k-means?Farò del mio meglio per rispondere a ciascuna delle vostre domande. (1) Non necessariamente. L'"indipendenza" è uno di quei grandi miti di risposta ai requisiti urbani, come la normalità (vedi i miei prossimi commenti) che non richiede l'uso di una moltitudine di metodi di modellazione. (2) Chi dice? I dati della vita reale spesso non sono normalmente distribuiti rispetto alle variabili indipendenti ... chi se ne frega? (3) È qui che brilla un metodo come PLS - Analisi discriminante. A rischio di semplificare un po' troppo... ciò che accade sullo sfondo di tutti i metodi basati su PLS (che brillano con variabili predittive colineari) è attraverso una matematica molto elegante, quelle variabili predittive colineari vengono trasformate in quelle che vengono chiamate "variabili latenti" che hanno alcune proprietà davvero interessanti ... è molto simile all'analisi dei componenti principali sui predittori PRIMA della modellazione. Molto tempo fa, mentre ero ancora un ingegnere di sistemi senior di JMP (oggi sono in pensione), ho messo insieme un webinar su Mastering JMP che è ancora disponibile. Si intitola "Utilizzo dei minimi quadrati parziali. Quando la regressione ordinaria dei minimi quadrati semplicemente non funzionerà." Potresti volerlo guardare? Ecco un collegamento: P. Bartell - PLS In realtà tratterò un problema di tipo di classificazione non troppo dissimile dal tuo alla fine dell'evento. Sta usando i dati del genoma umano (normalmente non distribuiti da nessun allungamento) per classificare lo stato del recettore degli estrogeni delle donne (una risposta binaria ... ma facilmente estendibile alla tua situazione con 3 possibili classificatori). Infine, se hai JMP Pro, darei anche un'occhiata seria ai vari metodi dell'albero. Quindi tieni tutti i modelli nel Formula Depot e confronta le loro prestazioni. Penso che il mio webinar sia stato realizzato utilizzando JMP Pro v 13? Quindi le cose potrebbero essere cambiate un po 'rispetto alle capacità e alle funzionalità che mostro ... poiché sembra che tu stia eseguendo la v 17 ma le idee di base reggono ancora. Buona fortuna!
Ri: dovrei usare l'analisi delle componenti principali o l'analisi dei cluster k-means?Grazie P_Bartell!Controllerò il tuo link e farò un po' di compiti.Apprezzo le tue risposte dettagliate!
Ri: dovrei usare l'analisi delle componenti principali o l'analisi dei cluster k-means?Ho visto i tuoi video: molto utili!Supponendo che io utilizzi l'analisi discriminante in JMP, le mie covariate Y sono ovviamente tutti i miei numerosi campi composti PFAS. Ma non è chiaro come dovrebbe funzionare il mio campo X, categoria/classe - "fonte".Dico questo perché non so quale sia la fonte per la stragrande maggioranza del mio set di dati (motivo per cui sto facendo questa analisi).
Ricorda che il mio set di dati ha questo aspetto:
Posso aggiungere un campo di origine al mio set di dati e popolarlo per circa il 10% delle mie righe (~ 1300 righe) a causa degli attributi univoci della mia area di studio.Tuttavia, posso popolarlo solo per la fonte "deposizione aerea".Le altre due fonti ("rifiuti di processo" e "misti") non sono facili da distinguere... quindi la mia necessità di analizzare il mio set di dati (PLS per esempio).Se premuto, potrei probabilmente popolare anche la fonte "scarti di processo", ma solo per circa 30 righe, non di più.Il campo di origine per le altre 11.000 righe è sconosciuto.
Sto interpretando male il flusso di lavoro qui?
Ri: dovrei usare l'analisi delle componenti principali o l'analisi dei cluster k-means?No, non stai interpretando male il flusso di lavoro ... se non puoi popolare la tabella dei dati nella colonna Loc con i tre possibili livelli di quella variabile, allora non puoi costruire un modello, PLS o qualsiasi altro metodo per quella materia. Quindi ti suggerisco di tornare ai tuoi pensieri originali sugli strumenti di analisi esplorativa multivariata dei dati come il clustering o l'analisi delle componenti principali sulle variabili composte ... nella migliore delle ipotesi se sorgono alcuni cluster o emerge un numero relativamente piccolo di componenti principali ' potrai vederli tra le variabili composte.
Ri: dovrei usare l'analisi delle componenti principali o l'analisi dei cluster k-means?Vado ad ammassare il mio vecchio amico @P_Bartell la risposta di.Solo a mio parere, il clustering sembra un ottimo punto di partenza per le tue esigenze analitiche.Il clustering K-Means o Hierarchical dovrebbe funzionare bene e poiché si hanno 3 possibili fonti di contaminazione, è necessario limitare il clustering K-Means o Hierarchical a 3 cluster.Quando sei soddisfatto dei risultati, salva nuovamente i cluster nella tabella dati e questa colonna può quindi essere utilizzata come parte di qualsiasi ulteriore modellazione che fai.Puoi anche salvare la formula del cluster nella tabella dei dati e quando inserisci nuovi dati nella tabella otterrai una previsione immediata del cluster (fonte) della contaminazione.
Ri: dovrei usare l'analisi delle componenti principali o l'analisi dei cluster k-means?Un pensiero aggiuntivo e forse un'idea stravagante... se questo è un problema del mondo reale con cui stai lavorando e non un esercizio accademico inventato una volta che hai identificato alcuni cluster e le posizioni geografiche associate a ciascun pozzo, usa la mappatura di Graph Builder strumenti per produrre mappe di densità dei pozzi. Poi, con un po' di ficcanaso, scommetto che potresti essere in grado di fare un'ipotesi ragionevole sul percorso di origine dei composti. Per fortuna, e bada che non sono neanche lontanamente qualificato/addestrato/istruito come ingegnere geologico ambientale, ho appena finito di leggere un libro sull'affare Love Canal (Niagara Falls NY). Scommetterei che qualsiasi pozzo lì o qualsiasi pennacchio nelle vicinanze avrebbe profili di contaminazione simili... e la fonte è piuttosto ovvia... rifiuti di processo che sono stati sepolti e lasciati filtrare per anni. Ah, essere di nuovo un ingegnere di sistemi di JMP... Mi è sempre piaciuto lavorare su questo tipo di problemi "sporchi" con i miei clienti.
Ri: dovrei usare l'analisi delle componenti principali o l'analisi dei cluster k-means?Grazie ad entrambi.Inizierò da lì (analisi dei cluster) e vedrò dove porta.Apprezzo l'input!
