Scopri come utilizzare semplici tecniche statistiche per identificare variabili e interazioni importanti nei tuoi dati come precursore per la creazione di modelli di previsione ad alte prestazioni e la scoperta di ulteriori approfondimenti.
Scopri come:
- Comprendere i prerequisiti da considerare prima di iniziare a identificare le variabili importanti
- Pulisci e prepara i dati utilizzando Column Viewer
- Identifica e decidi come gestire valori anomali e dati mancanti utilizzando Esplora valori mancanti, Esplora valori anomali ed Esplora modelli
- Assicurati che il set di dati sia la migliore rappresentazione del sistema che intendi studiare<
- Utilizza le distribuzioni nelle intestazioni di colonna e il Generatore di grafici per esplorare i dati e visualizzare le tendenze
- Eseguire l'analisi multivariata per ID variabili correlate
- Utilizzare lo screening della risposta per identificare le variabili più importanti che influenzano la risposta
- Utilizzare Predictor Screening (metodi dell'albero decisionale) per testare molti fattori nella previsione di una risposta
- Utilizzare l'analisi multivariata per identificare le variabili con un'elevata correlazione
- Raggruppa le variabili per raggruppare insieme le variabili correlate e identifica la singola variabile più rappresentativa
- Usa Stima modello> Screening risposta e Regressione graduale per trovare interazioni e termini di ordine superiore in base alle tue variabili importanti e univoche
Risposte alle domande di Scott @scott_allen E @Byron_JMP durante il webinar live di giugno 2023.
Come hai "deselezionato" mentre eri nel generatore di grafici?
A: Fare clic sullo spazio bianco nel grafico, non su un indicatore.
Potresti approfondire ulteriormente la tua spiegazione sul valore P e il suo rango? Cosa significa che è alto contro basso, cosa aspettarsi quando vediamo determinati valori o tendenze, ecc.
R: Per il valore p e la maggior parte delle statistiche, considera .Inoltre, quando sei in JMP e vuoi aiuto su una statistica (o qualsiasi altra cosa visualizzata).Seleziona Strumenti > ? e fai clic sull'area (in questo caso, l'intestazione della colonna p-value) per la quale desideri ricevere assistenza.Vedi anche Questo spiegazione.
In che modo la piattaforma di screening dei predittori è diversa dal modello di foresta casuale?
R: In JMP chiamiamo Random Forest Foresta di Bootstrap (perché Random Forest è un marchio registrato). È la stessa cosa. Predictor Screening non include un modello, solo la classifica.
Poiché la schermata del predittore non ti dice che la variazione percentuale è attribuita a ogni singolo predittore, esiste un'altra piattaforma che faccia proprio questo?
R: Il rapporto Predictor Screening mostra l'elenco dei predittori con i rispettivi contributi e rango. È probabile che i predittori con i contributi più elevati siano importanti nella previsione di Y. La colonna Contribution mostra il contributo di ciascun predittore al modello Bootstrap Forest. La colonna Porzione nel report mostra il contributo percentuale di ciascuna variabile.
L'analisi multivariata può avere numeri di correlazione assoluti invece di -1 a 1?
R: Sì e no. La tabella è una matrice di coefficienti di correlazione che riassume la forza delle relazioni lineari tra ciascuna coppia di variabili di risposta (Y). Vedere metodi multivariati .
Come selezioneresti le variabili più importanti se avessi variabili indipendenti continue, binomiali (sì/no) e ordinate (basse, medie, alte)?
R: Sì, puoi utilizzare tutti questi metodi: Predictor Screening e Response Screening.
Usi mai la regressione graduale? JMP offre tutti i possibili sottoinsiemi di regressione?
R: Vedi dettagli sulla regressione graduale .
Molti dei miei dati contengono più risposte e ritengo che limitino alcune delle operazioni che posso eseguire in JMP. Esegui una pulizia speciale dei dati a risposta multipla o ci lavori così com'è? Mi riferisco a una proprietà della colonna "Risposta multipla" (un elenco di più punti dati). Presumo che sia più semplice suddividerli in due colonne diverse, ma volevo vedere se esiste un modo migliore.
A: Sì, ti lasciamo archiviare risposte multiple in una cella come un, ma per analizzarli è corretto suddividerli in colonne diverse.
Come si confrontano i metodi Tree-Based con PLS o PCA?
A: Con PCA o PLS, stiamo cercando di rappresentare tutti i dati con questo numero minore di variabili latenti.Stai cercando di trovare un numero ridotto di dimensioni che possano rappresentare tutti i dati. Questo è diverso dai metodi basati sugli alberi, che ti aiutano a capire cosa spiega effettivamente qualcosa. I metodi ad albero stanno soppiantando PCA e PLS per costruire meglio. I metodi basati su alberi sono fantastici per la modellazione dei dati, ma sono molto sensibili ai cambiamenti e possono adattarsi molto. Con i metodi basati su albero in cui prendi un campione casuale delle righe e un campione casuale delle colonne ogni volta che crei un nuovo albero, lo rende davvero robusto per i valori anomali ed è in grado di modellare interazioni simili e quadratici simili o cubi, se presenti nei dati. Quindi, non devi fare un sacco di supposizioni.
Posso utilizzare Predictor Screening e Response Screening per variabili dipendenti che sono numeriche e le mie variabili indipendenti sono continue, binomiali e ordinate.
R: Sì.
Scopri come:
- Utilizzare JMP Partition per identificare i fattori significativi
- Accuratamente e automaticamente qualsiasi effetto di interazione del modello
Modeling Workflow with Factor SelectionFlusso di lavoro di modellazione con selezione del fattore
Scott Allen @scott_allen e Byron Wingerd @Byron_JMP ha risposto alle domande dopo la demo.
Esiste un video tutorial per gli strumenti anomali?
A: Questo è buono che copre il Esplora i valori anomali strumento in JMP.Puoi anche lavorare attraverso il documentazione ed esempi .
Perché non eliminare prima le variabili correlate?
R: La presenza di variabili correlate spesso informa il metodo di modellazione. PLS, ad esempio, è più robusto rispetto alle X correlate. Inoltre, l'ordine può essere una preferenza. Potresti farlo in entrambi i modi: lo screening dei predittori quindi il clustering o viceversa.Tieni presente che il clustering può essere leggermente impreciso quando hai molti valori mancanti o colonne che non cambiano (come l'impostazione di uno strumento).A volte è necessaria un'ulteriore pulizia e preparazione dei dati se si desidera iniziare con il clustering.
Come decideresti l'algoritmo di previsione?
A: Questa è una domanda complicata e la risposta dipende dalla tua situazione. Il più delle volte un modello lineare sarà il più semplice e informativo. Altri metodi aggirano problemi specifici con i dati o obiettivi di analisi.
Perché i termini lineari sono così fortemente raccomandati?Se la mia correlazione è Y=X^2, perché JMP continua a provare ad aggiungere il termine X?
A: Questo si riferisce all'effetto dell'ereditarietà. A volte i tuoi termini di ordine superiore sono significativi ma non l'effetto principale. Quindi, vuoi mantenere l'effetto principale.Ad esempio, se rimuovi l'effetto principale, nel Prediction Filer non vedresti la variazione della pendenza, vedresti solo la curvatura e otterresti una previsione non altrettanto buona.
Per Predictor Screening, i dati dei fattori e delle risposte devono essere raccolti nello stesso ordine (accoppiati) o possono essere utilizzati dati raccolti in modo casuale (non accoppiati).
A: L'ordine non ha molta importanza, ma per l'analisi multivariata, spesso ci piace inserire Y in un gruppo.L'ordine in cui li aggiungi a Y è l'ordine in cui verrà mostrato nella matrice.
L'analisi di regressione multilineare dei fattori x (600 colonne) aiuterebbe a trovare quali colonne x contribuiscono maggiormente al rendimento?
A: Se esegui solo la regressione lineare su 600 colonne, stai davvero diluendo ciò che spiega la tua Y. I metodi ad albero come Partition funzionano alla grande per cercare di individuare quale di quelle 600 colonne ti sta portando lì. Quando Scott ha mostrato Predictor Screening, ha preso un campione casuale di righe e colonne e costruisce un albero, lo fa 100 volte e calcola la media su quei cento alberi per darti il risultato.Con Partition, puoi costringere le cose ad accadere, puoi forzare le decisioni ad accadere in luoghi diversi o seguire qualcosa mentre viene diviso. Potresti quindi esaminare il rapporto sull'importanza della varianza o
la cronologia delle divisioni e le modifiche di R-Square.Questo esempio è troppo grande per farlo, ma ti darà un'idea di come usare Partition.
Se le 600 regressioni lineari separate diluiscono il potere esplicativo del tuo modello, è per questo che Response Screening utilizza la correzione FDR (False Discovery Rate) in quelle statistiche riepilogative (che Scott ha mostrato e accorciato in precedenza ascendente) per cercare di compensare questo?
A: Solo per caso troverai cose davvero buone, vuoi provare a filtrarle. Non vogliamo trovare le cose per caso, da soli, quindi FDR aiuta a correggerlo.Sottolineo AIUTA, perché nessun modello è perfetto. Allo stesso modo, tutti i modelli basati su alberi, in situazioni in cui si dispone di linearità multipla, sono i migliori quando prima si tenta di separare la varianza e si trovano quelle variabili che sono davvero le più importanti invece di inserire tutto nel modello.A volte puoi creare modelli di insieme utilizzando JMP Pro .
Ci sono altri tre metodi per farlo con JMP Pro?
UN; Sì, incluso l'uso di Componente aggiuntivo XGBoost .Vedi sotto.
CIAO @HelenaG
Grazie per le domande. Penso che Predictor Screening sia un ottimo strumento e sono lieto che tu lo trovi utile. Invece di rispondere alla tua domanda individuale, lascia che ti spieghi un po' più in dettaglio cosa sta succedendo in questa analisi.
L'analisi Predictor Screening esegue un modello di partizione Bootstrap Forest (con 100 alberi decisionali predefiniti) e quindi classifica i predittori in base al loro contributo al modello. In breve, l'analisi di Bootstrap Forest calcola la media di molti alberi decisionali. Per creare un albero, ci vuole a bootstrap campione di osservazioni e si adatta ricorsivamente a un modello effettuando divisioni con un insieme casuale di predittori. Questo continua fino a quando non viene soddisfatta una regola di arresto. Quindi viene creato un altro albero con una nuova serie di osservazioni bootstrap e suddivisioni casuali dei predittori. Una volta che tutti gli alberi sono stati creati, vengono mediati in una "foresta" di alberi (da cui il nome).
Tornando all'output di Predictor Screening, la colonna Contribution fornisce la somma dei quadrati per una risposta numerica continua e G^2 per una risposta categorica. La colonna della porzione è il contributo del predittore individuale diviso per la somma di tutti i contributi. Questo non è lo stesso della varianza spiegata da ogni singolo predittore.
Per saperne di più su queste piattaforme, consiglio di leggere il Modello di partizione E Foresta di Boostrap panoramiche nella documentazione.
- Scott
CIAO @nick_shelton,
Grazie a questa tua presentazione, ho utilizzato lo screening Predictor e sono davvero soddisfatto dei risultati. Per quanto riguarda questa piattaforma, chiedo ora la tua profonda esperienza su quanto segue:
1. Come viene calcolata la porzione presentata nei risultati JMP per lo screening dei predittori? Voglio dire, in termini di Bootstrap Forest (BF) cosa significa questa porzione e come viene raggiunto il valore specifico? (Sto scrivendo un articolo scientifico usando questo e avrei bisogno di questo dettaglio).
2. In termini di interpretazione ho capito che la porzione spiega la percentuale di variabilità di una risposta (rendimento) spiegata da un predittore. È corretto?
3. Sempre nella piattaforma di screening dei predittori, cosa significa "colonna dei contributi"?Come viene calcolato in termini di algoritmo BF?
Grazie in anticipo Nick!
Nick Shelton @nick_shelton , manager di JMP SE, ha presentato questo argomento in passato e ho ritirato i video più vecchi.Ho preso in prestito un commento che ha fatto allo spettatore @HelenaG perché potrebbe essere rilevante per chiunque guardi questo video e le domande e risposte di Scot Allen, SE di JMP @scott_allen e Byron Wingerd @Byron_JMP :
Elena ha chiesto:
Vorrei capire meglio quanto segue: tutti i passaggi collegati all'identificazione e alla valutazione delle interazioni (con screening delle risposte e strumenti di regressione graduale) si basano su un'assunzione lineare: è corretto? Se sì, c'è qualche suggerimento per verificare le interazioni non lineari?
Nick ha scritto:
T L'identificazione delle interazioni viene effettuata al meglio attraverso l'esperienza del dominio e una nota comprensione scientifica/fisica delle variabili sotto analisi.
Quando le interazioni tra variabili non sono ben comprese, la personalità del modello "Response Screening" in Fit Model funziona bene per quantificare la forza tra i singoli termini di interazione e la variabile di risposta.
La personalità del modello "Stepwise Regression" in Fit Model funziona bene nell'identificare la migliore combinazione di termini (Es: effetti principali, interazioni...) da utilizzare per un potenziale modello.
Il termine modello "lineare" si riferisce a come è strutturata la formula del modello, ma è possibile utilizzare anche le personalità del modello "Screening della risposta" e "Regressione graduale" in Fit Model per esplorare le relazioni non lineari.
Possiamo includere effetti e interazioni non lineari in un'analisi aggiungendo termini polinomiali.
In Fit Model puoi esplorare qualsiasi relazione polinomiale (non lineare) aggiungendo il termine corrispondente nella casella degli effetti del modello (Es: Relazione quadratica (x1*x1), Relazione cubica (x1*x1*x1), Interazione quadratica (x1* x1*x2)...)
Per ulteriori informazioni sui polinomi e su come possono aiutare a comprendere le relazioni tra le variabili, guarda il breve video qui sotto:
https://community.jmp.com/t5/Short-Videos/Fitting-Polynomial-Models/ta-p/271953
