Quando non dovresti utilizzare lo screening predittivo?Sono curioso di sapere se ci sono momenti in cui non dovresti utilizzare lo strumento di screening dei predittori e, in tal caso, cosa dovresti controllare con i tuoi dati per capire se potresti avere problemi con l'utilizzo dello screening dei predittori?
Analisi e modellazione dei dati di baseRi: Quando non dovresti utilizzare lo screening predittivo?Trovo che lo screening predittivo sia estremamente prezioso, ma come qualsiasi strumento automatizzato non può tenere conto di alcune cose. È molto utile quando si hanno molti potenziali predittori, tuttavia, quando questi predittori sono strettamente correlati, non mi fido del tutto della procedura automatizzata. Trovo che questo sia un problema comune, quando dispongo di set di dati che presentano una serie di misure strettamente correlate (ad esempio, la disponibilità di hotel in diversi punti temporali). Se si utilizza solo lo screening predittivo è possibile ottenere la singola misura più strettamente correlata o eventualmente ne verranno scelte alcune. Oppure potenzialmente nessuno si distinguerà (non ne sono sicuro)? Ciò che faccio in questi casi è analizzare manualmente i predittori strettamente correlati, utilizzando la piattaforma multivariata. Posso quindi scegliere una delle misure correlate da utilizzare nello screening dei predittori.
Ci sono altri casi più complicati. Lo screening dei predittori non identificherà se è necessario creare nuove variabili come funzioni di quelle esistenti (come i rapporti di due misure). Non ti darà una buona idea se dovresti ricodificare alcune delle tue variabili nominali (non sono sicuro neanche di questa - non ho sperimentato per vedere). In generale, direi che Predictor Screening non sostituisce tutti i normali passaggi di pulizia dei dati: è più utile se utilizzato dopo la pulizia dei dati.
Ri: Quando non dovresti utilizzare lo screening predittivo?Grazie. Lo trovo anche piuttosto inestimabile, quindi mi chiedo dove potrebbe fallire e come verificare tale errore? Non so molto del modello di foresta bootstrap su cui (credo) si basa, ma ho letto brevemente che è meno suscettibile alla multicollinearità come lo sono i modelli lineari, ma ho anche pronto che potrebbe fallire se si hanno relazioni lineari con la risposta e i predittori, o se ti manca l'iid, ma non so come controlli tali presupposti nello screening dei predittori, o se è effettivamente così poiché sono abbastanza nuovo in questi tipi di analisi dei dati. Sarebbe bello se JMP avesse un tutorial su cosa cercare in termini di controllo delle ipotesi, ecc.
Ri: Quando non dovresti utilizzare lo screening predittivo?Ciao @mjz5448 ,
Potrei aggiungere una risposta complementare per chiarire alcune delle informazioni fornite, sulla base delle risposte precedenti che ho già scritto su argomenti simili:
Screener predittivo rispetto a DOE?
Screening dei predittori
Domanda di screening dei predittori
Lo screening predittivo è un metodo basato sull'algoritmo Random Forest che ti aiuta a identificare variabili importanti (identificate dal calcolo dell'importanza delle caratteristiche) per le tue risposte nei tuoi dati storici. A seconda della rappresentatività dei dati, della copertura dello spazio sperimentale, dei valori mancanti, della presenza di valori anomali, delle interazioni, delle correlazioni o della multicollinearità tra i fattori, questa piattaforma potrebbe avere alcune scorciatoie, molte incognite e non dovrebbe essere attendibile ciecamente (come affermato di @dlehman1 ).
- L'analisi e gli approfondimenti che si possono ottenere con questa analisi sono limitati solo allo spazio sperimentale storico (che potrebbe essere troppo limitato e/o non rappresentativo per una buona comprensione del sistema). Puoi vederlo come Spazio sperimentale di produzione (dati storici) rispetto a R&S (DoE): nella produzione, sono consentite solo piccole variazioni dei fattori (e alcuni sono fissi, quindi non sarai in grado di determinare la loro importanza) per creare prodotti robusti e di qualità, mentre in R&S l'obiettivo è diverso: esplorare uno spazio sperimentale e ottimizzare i fattori di un sistema, utilizzando gamme più ampie per i fattori considerati.
- La piattaforma di screening Predictor non fornisce un modello (a differenza della foresta Bootstrap disponibile in JMP Pro), ma solo l'importanza di caratteristiche/fattori, quindi non si ha accesso a singoli alberi e rami, che potrebbero aiutare a identificare le interazioni tra fattori e i valori dei livelli soglia dei fattori utilizzati per i frazionamenti.
- Poiché non conosci la qualità del modello sottostante (tramite R², RMSE o altri parametri rilevanti in base ai tuoi obiettivi), non sai quanta variabilità viene spiegata attraverso di esso (o quanto accurato sia il modello) e se il i calcoli dell'importanza delle caratteristiche sono pertinenti/adeguati per il tuo argomento.
- Poiché tutti i fattori sono classificati, la soglia/limite tra fattori importanti e non importanti non è banale. Per aiutarti, puoi aggiungere un fattore casuale (con valori casuali). Un esempio di questa tecnica è mostrato qui con il set di dati dei diamanti di JMP con il prezzo come risposta, aggiungendo un fattore casuale e omettendo il peso in carati come possibile input (poiché è un predittore molto importante, quindi volevo mostrarti un esempio in cui è difficile per ordinare gli altri predittori):
- Questa piattaforma non fornisce indicazioni su possibili correlazioni o multicollinearità tra fattori. È possibile utilizzare la piattaforma multivariata per esplorare le correlazioni tra input, output e input-output. Puoi anche creare modelli di regressione fittizi per calcolare i punteggi VIF tra i tuoi fattori, al fine di individuare la multicollinearità.
- Anche i fattori categorici ad alta cardinalità possono influenzare i calcoli dell'importanza delle caratteristiche. Maggiore è la cardinalità (numero di classi), maggiore sarà la distorsione, poiché i dati formeranno un numero elevato di piccoli gruppi/classi che il modello tenterà di apprendere. Quindi non riuscirà a generalizzare o a "comprendere la logica" e di conseguenza ciò aumenterà la possibilità di overfitting, dando a questa caratteristica un'elevata importanza.
Un esempio qui con lo stesso set di dati, stesse condizioni ma aggiungendo fattori categorici casuali con 11 livelli (da A a K, denominati "Shuffle[Column10]). Questa caratteristica casuale categorica con elevata cardinalità è classificata più in alto rispetto alla variabile numerica casuale vista prima :
Per quanto riguarda le tue domande sulla multicollinearità:
- La multicollinearità tra le variabili è gestita in Random Forest dalla selezione casuale del sottoinsieme di funzionalità su ciascun nodo: in ciascun nodo, per determinare la suddivisione successiva, crei casualmente un sottoinsieme delle tue funzionalità e valuti in questo sottoinsieme quale funzionalità (e a quale livello di soglia ) è in grado di separare al meglio i punti dati in base ai loro valori di risposta. Pertanto, poiché ogni caratteristica ha la stessa possibilità di essere selezionata, anche le caratteristiche correlate possono essere selezionate e avere un'importanza simile nel modello. Questo processo minimizza l'impatto della correlazione tra le colonne e non è presente per Decision Tree (o Boosted Tree), dove viene creato un singolo albero con tutte le funzionalità testate su ciascun nodo: solo una delle funzionalità correlate potrebbe essere selezionata per la suddivisione.
- Poiché Random Forest crea un grande modello basato su molti alberi decisionali addestrati in parallelo su campioni bootstrap, ogni singolo albero viene addestrato su un set di dati leggermente diverso, il che aiuta anche a ridurre le correlazioni tra ciascun albero (correlazioni tra righe) e a ridurre la varianza del modello.
Maggiori informazioni sui modelli basati su alberi:
https://community.jmp.com/t5/Mastering-JMP/Understanding-and-Applying-Tree-based-Methods-for-Predictor/tac-p/593506/highlight/true#M370
E sui vantaggi delle foreste casuali: https://www.linkedin.com/posts/victorguiller_doe-machinelearning-randomforests-activity-7127557799810625536-FH7K
Spero che questa risposta complementare ti possa aiutare,
Ri: Quando non dovresti usare lo screening predittivo?Grazie Victor_G. Apprezzo l'intuizione sulla multicollinearità: non è qualcosa che in genere tengo conto, ma cercherò di farlo in futuro.
Hai qualche idea sul fatto che lo screening dei predittori funzionerà se i tuoi dati non sono iid (indipendenti e distribuiti in modo identico)? Ho letto che i modelli di foresta basati su alberi/casuali presentano limitazioni se i tuoi dati hanno una tendenza di serie temporali, che può essere superata, ma che in qualche modo devi trasformare i dati. Non sono sicuro che ciò sia applicabile o meno allo screening dei predittori, poiché sto appena imparando questo argomento.
Ri: Quando non dovresti usare lo screening predittivo?Ciao @mjz5448 ,
Le foreste casuali possono essere utilizzate per la previsione di serie temporali (e anche altri algoritmi).
La precauzione più grande con i dati non-iid è quella di prendere in considerazione le dipendenze/gruppi nei dati, se provengono da gruppi di osservazioni/individui simili, la dipendenza dal tempo, la ripetizione delle misurazioni, ecc..., nella suddivisione dei dati (addestramento /convalida/test). Una suddivisione errata dei dati per i dati non iid potrebbe portare a fughe di dati, false aspettative e risultati eccessivamente ottimistici.
In genere, per la previsione delle serie temporali, dovrebbe essere effettuata una specifica suddivisione dei dati per l'addestramento e la convalida (non in modo casuale, ma più in uno stile "finestra temporale"), in modo che la dipendenza dalla struttura temporale delle risposte/dati sia rispettata e che vi sia nessuna fuga di dati nella configurazione: nella formazione non vengono utilizzati dati "dal futuro" che porterebbero a previsioni eccessivamente ottimistiche.
Alcune risorse di lettura:
https://machinelearningmastery.com/random-forest-for-time-series-forecasting/
https://mindfulmodeler.substack.com/p/how-to-deal-with-non-iid-data-in
Spero che questa risposta ti possa aiutare,
Ri: Quando non dovresti usare lo screening predittivo?Grazie Victor_G. Darò un'occhiata.
