Scopri come utilizzare semplici tecniche statistiche per identificare variabili e interazioni importanti nei tuoi dati, come premessa per la creazione di modelli predittivi ad alte prestazioni e per la scoperta di ulteriori informazioni.
Scopri come:
- Comprendere i prerequisiti da considerare prima di iniziare a identificare le variabili importanti
- Pulizia e preparazione dei dati tramite Column Viewer
- Identifica e decidi come gestire i valori anomali e i dati mancanti utilizzando Esplora valori mancanti, Esplora valori anomali ed Esplora modelli.
- Assicurati che il set di dati rappresenti al meglio il sistema che intendi studiare.
- Utilizza le distribuzioni nelle intestazioni di colonna e Graph Builder per esplorare i dati e visualizzare le tendenze.
- Eseguire un'analisi multivariata per identificare le variabili correlate
- Utilizzare lo screening delle risposte per identificare le variabili più importanti che influenzano la risposta
- Utilizzare lo screening dei predittori (metodi ad albero decisionale) per testare molti fattori nella previsione di una risposta
- Utilizzare l'analisi multivariata per identificare le variabili con elevata correlazione
- Raggruppa le variabili per raggruppare le variabili correlate e identifica la singola variabile più rappresentativa
- Utilizza Fit Model > Response Screening e Stepwise Regression per trovare interazioni e termini di ordine superiore in base alle tue variabili importanti e uniche.
Domande a cui hanno risposto Scott (@scott_allen) e Byron (@Byron_JMP) durante il webinar in diretta di giugno 2023.
Come hai fatto a "deselezionare" un elemento mentre eri nel generatore di grafici?
A: Clicca sullo spazio bianco del grafico, non su un indicatore.
Potrebbe approfondire ulteriormente la sua spiegazione relativa al valore P e alla sua classificazione? Cosa significa che è alto o basso, cosa aspettarsi quando si osservano determinati valori o tendenze, ecc.
A: Per il valore p e la maggior parte delle statistiche, considera . Inoltre, quando sei in JMP e desideri aiuto su una statistica (o qualsiasi altra cosa visualizzata), seleziona Strumenti > ? e fai clic sull'area (in questo caso, l'intestazione della colonna del valore p) per la quale desideri aiuto. Vedi anche questa spiegazione.
In che modo una piattaforma di screening predittivo si differenzia da un modello di foresta casuale?
A: In JMP chiamiamo Random Forest Foresta Bootstrap (perché Random Forest è un marchio registrato). È la stessa cosa. Predictor Screening non include un modello, ma solo la classificazione.
Dato che la schermata di previsione non indica la percentuale di variazione attribuibile a ciascun singolo predittore, esiste un'altra piattaforma che faccia proprio questo?
A: Il report di screening dei predittori mostra l'elenco dei predittori con i rispettivi contributi e la relativa classifica. I predittori con i contributi più elevati sono probabilmente importanti per la previsione di Y. La colonna "Contributo" mostra il contributo di ciascun predittore al modello Bootstrap Forest. La colonna "Percentuale" nel report mostra la percentuale di contributo di ciascuna variabile.
L'analisi multivariata può avere valori di correlazione assoluti invece che compresi tra -1 e 1?
A: Sì e no. La tabella è una matrice di coefficienti di correlazione che riassume la forza delle relazioni lineari tra ciascuna coppia di variabili di risposta (Y). Vedi metodi multivariati .
Come selezioneresti le variabili più importanti se avessi variabili indipendenti continue, binomiali (sì/no) e ordinate (basso, medio, alto)?
A: Sì, è possibile utilizzare tutti questi metodi: Screening predittivo e Screening della risposta.
Utilizzate mai la regressione stepwise? JMP offre la possibilità di eseguire la regressione su tutti i possibili sottoinsiemi?
A: Vedi i dettagli sulla regressione stepwise .
Molti dei miei dati contengono risposte multiple e trovo che questo limiti alcune delle operazioni che posso eseguire in JMP. Eseguite qualche pulizia specifica per i dati con risposte multiple o li gestite così come sono? Mi riferisco alla proprietà di colonna "Risposte multiple" (un elenco di più punti dati). Immagino che sia più semplice suddividerli in due colonne diverse, ma volevo sapere se esiste un modo migliore.
A: Sì, ti permettiamo di memorizzare più risposte in una cella come un array, ma per analizzarle è corretto dividerle in colonne diverse.
Come si confrontano i metodi basati su alberi decisionali con PLS o PCA?
A: Con PCA o PLS, cerchiamo di rappresentare tutti i dati con un numero ridotto di variabili latenti. L'obiettivo è trovare un numero ridotto di dimensioni in grado di rappresentare tutti i dati. Questo è diverso dai metodi basati sugli alberi, che aiutano a individuare con precisione cosa spiega effettivamente un fenomeno. I metodi basati sugli alberi stanno soppiantando PCA e PLS per la costruzione di modelli più efficaci. I metodi basati sugli alberi sono ottimi per la modellazione dei dati, ma sono molto sensibili alle variazioni e possono incorrere in overfitting. Con i metodi basati sugli alberi, invece, si preleva un campione casuale di righe e colonne ogni volta che si crea un nuovo albero, rendendoli molto più robusti rispetto agli outlier e in grado di modellare interazioni, equazioni quadratiche o cubiche, se presenti nei dati. In questo modo, non è necessario fare molte ipotesi.
Posso utilizzare lo screening dei predittori e lo screening delle risposte per variabili dipendenti numeriche e variabili indipendenti continue, binomiali e ordinali?
A: Sì.
Scopri come:
- Utilizzare JMP Partition per identificare i fattori significativi
- Gestire in modo accurato e automatico qualsiasi effetto di interazione del modello
Modeling Workflow with Factor SelectionModellazione del flusso di lavoro con selezione dei fattoriModellazione del flusso di lavoro con selezione dei fattori
BONUS: Scott Allen (@scott_allen) e Byron Wingerd (@Byron_JMP) hanno risposto alle domande anche dopo la demo del 2022!
Esiste un video tutorial per gli strumenti di individuazione dei valori anomali?
A: Questa è un'ottima risorsa che illustra lo strumento Esplora valori anomali in JMP. Puoi anche consultare la documentazione e gli esempi .
Perché non eliminare prima le variabili correlate?
A: La presenza di variabili correlate spesso influenza il metodo di modellazione. Il metodo PLS, ad esempio, è più robusto in presenza di variabili X correlate. Inoltre, l'ordine può dipendere dalle preferenze. Si potrebbe procedere in entrambi i modi: prima lo screening dei predittori e poi il clustering, oppure viceversa. Bisogna tenere presente che il clustering può risultare impreciso in presenza di molti valori mancanti o di colonne che non cambiano (come ad esempio un'impostazione dello strumento). Talvolta, è necessaria un'ulteriore pulizia e preparazione dei dati se si desidera iniziare con il clustering.
Come si sceglierebbe l'algoritmo di previsione?
A: È una domanda complessa e la risposta dipende dalla situazione. Nella maggior parte dei casi, un modello lineare è il più semplice e informativo. Altri metodi si basano su problemi specifici relativi ai dati o agli obiettivi di analisi.
Perché i termini lineari sono così fortemente raccomandati? Se la mia correlazione è Y=X^2, perché JMP continua a provare ad aggiungere il termine X?
A: Questo si riferisce all'ereditarietà degli effetti. A volte i termini di ordine superiore sono significativi, ma non l'effetto principale. Quindi, è opportuno mantenere l'effetto principale. Ad esempio, se si rimuovesse l'effetto principale, nel filtro di previsione non si vedrebbe la variazione della pendenza, ma solo la curvatura, ottenendo una previsione meno accurata.
Per lo screening dei predittori, i dati dei fattori e delle risposte devono essere raccolti nello stesso ordine (accoppiati) oppure si possono utilizzare dati raccolti in modo casuale (non accoppiati)?
A: L'ordine non è poi così importante, ma per l'analisi multivariata spesso si tende ad aggiungere le variabili Y in un unico gruppo. L'ordine in cui vengono aggiunte a Y è l'ordine in cui verranno visualizzate nella matrice.
L'analisi di regressione multilineare dei fattori x (600 colonne) potrebbe aiutare a individuare quali colonne x contribuiscono maggiormente alla resa?
A: Se esegui una regressione lineare su 600 colonne, stai davvero diluendo ciò che spiega la tua Y. I metodi ad albero come Partition funzionano benissimo per cercare di individuare quali di quelle 600 colonne ti portano lì. Quando Scott ha mostrato Predictor Screening, ha preso un campione casuale di righe e colonne e ha costruito un albero, lo ha fatto 100 volte e ha calcolato la media su quei cento alberi per darti il risultato. Con Partition, puoi forzare le cose ad accadere, puoi forzare le decisioni ad accadere in posti diversi o seguire qualcosa mentre viene diviso. Potresti quindi guardare il Variance Importance Report, o
la cronologia suddivisa e le modifiche R-quadrato. Questo esempio è troppo grande per farlo, ma ti darà un'idea di come usare Partition.
Se le 600 regressioni lineari separate diluiscono il potere esplicativo del vostro modello, è per questo che Response Screening utilizza la correzione FDR (False Discovery Rate) in quelle statistiche riassuntive (che Scott ha mostrato e poi ridotto in ordine crescente in precedenza) per cercare di compensare questo effetto?
A: Per puro caso si trovano cose davvero valide, ed è importante cercare di filtrarle. Non vogliamo trovare cose per puro caso, quindi l'FDR aiuta a correggere questo aspetto. Sottolineo "AIUTA" perché nessun modello è perfetto. Allo stesso modo, tutti i modelli basati su alberi, in situazioni in cui si ha linearità multipla, sono più efficaci quando si cerca prima di separare la varianza e trovare le variabili che sono realmente più importanti, invece di inserire tutto nel modello. A volte è possibile costruire modelli ensemble utilizzando JMP Pro .
Esistono altri metodi per farlo con JMP Pro?
A; Sì, incluso l'utilizzo del componente aggiuntivo XGBoost . Vedi sotto.
