19011_it-IT

liliconcom

Esplorare le correlazioni in un set di dati di grandi dimensioni<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />

Sto utilizzando JMP pro e lavoro con un ampio set di dati di variabili di processo dell'impianto che desidero esplorare in che modo potrebbero influire sulla produzione o su alcuni altri parametri prestazionali nell'impianto. Ci sono guide o risorse su come posso iniziare con questo? Ho esaminato i video di JMP su YouTube ma non approfondiscono l'analisi. S oh lontano, Ho solo capito che dovrei "selezionare i predittori" per ridurre il numero di fattori che sto osservando. Non sono sicuro se il prossimo sarebbe adatto ai modelli di regressione o all'ulteriore esplorazione dei dati con PCA, correlazioni a coppie ... ecc. O se ho bisogno di essere attento se i miei dati non sono dati normali o hanno molti zeri prima di scegliere l'analisi giusta.

Inoltre, ho visto alcuni bei grafici usando l'analisi della corrispondenza canonica (CCA) per esplorare le correlazioni con dati come i miei in R. C'è qualcosa di simile/migliore in JMP?

Sono nuovo in questo tipo di analisi, quindi qualche idea hai su come iniziare aiuterà. Grazie.

Ri: Esplorare le correlazioni in un grande set di dati

https://community.jmp.com/docs/DOC-9923

Il componente aggiuntivo sopra è un'altra opzione per esaminare la correlazione x-by-y. L'ho usato di recente su un progetto di dati di processo.

Ri: Esplorare le correlazioni in un grande set di dati

È disponibile un fantastico componente aggiuntivo JMP chiamato Scagnostics.Lo uso spesso per aiutare a vedere la struttura delle correlazioni all'interno di grandi set di dati.

Ri: Esplorare le correlazioni in un grande set di dati

Presumo che tu abbia ereditato questi dati da una sorta di data warehouse/sistema storico e che tu abbia molte colonne e o forse molte righe. Quanto tempo hai dedicato alla qualità dei dati da queste prospettive:

1. Valori anomali? Un buon posto per esaminare questo problema è all'interno del percorso Cols -> Modeling Utilities -> Explore Outliers.

2. Valori mancanti? Un buon posto per esaminare questo problema è all'interno del percorso Cols -> Modeling Utilities -> Explore Missing Values.

3. Se hai valori senza senso, cose come i codici "9999" ... pensa a usare Cols -> Utilities -> Ricodifica percorso di JMP per correggerli / ripararli.

4. Come ultimo atto per la qualità dei dati, e se pensi di procedere alla creazione di modelli predittivi, assicurati di utilizzare Cols -> Modeling Utilities -> Make Validation Column di JMP Pro per creare una colonna di convalida contenente, se appropriato, un costrutto di addestramento, convalida e test.

Una volta completata la qualità/pulizia dei dati, ci sono diverse piattaforme JMP Pro che potresti trovare utili. Ognuno ha il suo posto al sole. Analisi delle componenti principali con clustering, modello di adattamento -> minimi quadrati parziali, modello di adattamento -> regressione generalizzata (quindi scegli la tua sotto-personalità in base alle specifiche di ogni situazione), se costruisci e valuti i modelli assicurati di invocare l'imputazione del valore mancante (se necessario e appropriato) e sfrutta la colonna Convalida che hai creato. Anche altre piattaforme di modellazione JMP potrebbero essere utili... In questo post mi sto solo concentrando sulle idee di JMP Pro.

Ri: Esplorare le correlazioni in un grande set di dati

1. La trasformazione dei dati deve essere gestita colonna per colonna.Quando le analisi vengono eseguite su dati trasformati, è per consentire alle statistiche di poter calcolare correttamente i parametri.Uno non riporta i dati utilizzando i valori trasformati.

2. Trovo che il modo migliore per determinare la trasformazione corretta sia utilizzare la piattaforma di distribuzione in JMP e richiedere sotto il triangolo rosso,

Adattamento continuo==>Tutto

Ti darà i risultati di quale sia la distribuzione dei tuoi dati e da lì sarai in grado di salvare i tuoi dati in uno stato trasformato.Se la distribuzione che scopre essere la migliore descrizione dei tuoi dati non ha una trasformazione disponibile, allora potresti voler vedere se la trasformazione GLog (Generalized Log) ti aiuta.

3. Se disponi di una variabile di risposta mirata, ho utilizzato Bootstrap Forrest e Boosted Tree per trovare le colonne da utilizzare per accoppiare i dati. Non richiedono dati distribuiti normali.

Ri: Esplorare le correlazioni in un grande set di dati

Grazie a tutti per le preziose informazioni. Ho alcune domande di follow-up relative alla trasformazione dei dati:

1. Da quanto ho capito, trasformi alcune colonne ma altre no? Tutti i dati non dovrebbero essere trasformati allo stesso modo per l'analisi a valle?

2. Ho alcune colonne con molti zeri. Le trasformazioni di registro sembrano normalizzarne alcune, ma convertono gli zeri in dati mancanti. Non sono sicuro se esiste un modo semplice per farlo o alcune guide su come gestirlo in JMP.

3. Se la normalizzazione dei dati non è possibile o non è essenziale, esiste uno o più metodi da evitare (PCA?) per analizzare ulteriormente tali dati?

Immagino che il passaggio successivo alle trasformazioni e allo screening sarebbe utilizzare i contributori più forti nella piattaforma "fit model" e confrontare i modelli?

Ri: Esplorare le correlazioni in un grande set di dati

CIAO karen@boulderstats .

Dominio (esperto di processo) + Metodo (esperto analitico) è una grande partnership.

Mi sono divertito e ho imparato molto dal tuo Episodio Analiticamente parlando la settimana scorsa !

Sto anche imparando molto dagli esperti della community di JMP che sono bravissimi a fornire indicazioni.

Molto apprezzato.

- Randy, novellino di JMP

Ri: Esplorare le correlazioni in un grande set di dati

Jim ha fornito una serie di buoni passaggi da prendere in considerazione. Potresti anche utilizzare il generatore di grafici di controllo (con tali dati utilizzerei il commutatore di colonna in modo da poter scorrere le variabili). Il motivo per esaminare le carte di controllo è che i dati di processo hanno un elemento temporale.Elaborare i dati è molto divertente ma non è sempre facile (i dati stessi sono complessi dati i ritardi, i dati mancanti, ecc. Ecc.). Trovo che per tali dati si crei valore quando lavori come una squadra che include almeno un esperto analitico (cioè qualcuno con un background statistico) e un esperto di processo (qualcuno che conosce veramente il processo).

Ri: Esplorare le correlazioni in un grande set di dati

In genere adotto il seguente approccio per lo screening di dati di grandi dimensioni:

1. Eseguo la piattaforma di distribuzione su tutti i dati cercando quanti dei miei dati sono altamente distorti.Se ho un numero elevato di righe, avrò la tendenza a eliminare i valori anomali nel tentativo di normalizzare i dati.Altre volte o in aggiunta, trasformerò le fastidiose colonne.Uso gli script per facilitare la laboriosità di questo.

2. Il passaggio successivo consiste nell'eliminare le colonne ridondanti.In genere utilizzo 3 piattaforme diverse per questo.

UN. PCA è ottimo se i dati sono o sono stati trasformati in una forma normale molto approssimativa.

B. Lo screening della risposta offre un'ottima tabella di dati di output che mi consente davvero di avere un'idea dei dati

C. Partizionamento Bootstrap Forrest, mostra quali colonne sono i potenziali contributori più forti per la mia analisi dettagliata che farò.