Screening predittivoPer lo screening dei predittori nella foresta bootstrap di JMP viene utilizzata; funziona molto bene, ma perché viene scelto questo metodo e non l'albero potenziato che è anche un metodo molto potente? JMP usa XGboosted?
AnalisiRe: Screening predittivoCiao @frankderuyck ,
Non sono un esperto di come JMP esegue effettivamente le cose sul back-end (la codifica precisa che viene eseguita), ma credo che la foresta bootstrap sia usata perché ha due livelli di randomizzazione: uno sta selezionando casualmente un sottoinsieme del fattori. Ad esempio, se si dispone di una colonna in cui si desidera prevedere e verificare quale dei 10 fattori contribuisce meglio a tale previsione, l'approccio della foresta bootstrap selezionerà casualmente un sottoinsieme, ad esempio 6 dei dieci e utilizzerà un albero decisionale per prevedere al meglio il risultato e quindi classificare i fattori in base al loro contributo. L'altra randomizzazione è che la foresta bootstrap seleziona casualmente un certo numero di righe per adattarsi al modello e quindi il resto per convalidarlo (o semplificarlo), e lo fa con la selezione casuale e la sostituzione ad ogni iterazione. Mi risulta che l'albero potenziato per impostazione predefinita non lo faccia.
Per quanto riguarda la tua ultima domanda, puoi scaricare il componente aggiuntivo XGBoost per JMP Pro dal sito Web di JMP. Funziona per JMP Pro 14 e versioni successive, credo.
Nota a margine, poiché sembra che tu stia lavorando con JMP Pro, potresti voler eseguire la piattaforma GenReg e utilizzare i diversi algoritmi di previsione (Lazo, Rete elastica, ecc.) Per vedere le stime dei coefficienti del modello ed eseguire alcune simulazioni bootstrap anche lì. A volte si ottengono risposte diverse e questo può aiutare a determinare se un fattore limite è davvero importante o meno. Faccio spesso entrambi gli approcci se ho il compito di trovare il miglior set di predittori per un modello.
Spero questo sia di aiuto!,
DS
Re: Screening predittivoGrazie per questa risposta estesa!
Sì, credo che eseguire sia bootstrap che boosted sia una buona idea per selezionare i predittori tra molti candidati.
Ho ragione a dire che la foresta bootstrap è preferita per le risposte categoriche?
Il metodo XGbooster è migliore di quello utilizzato in jmp pro?
Re: Screening predittivoNon sono sicuro di quale versione di JMP stai utilizzando, ma se sei su 16 JMP Pro, puoi confrontare molte piattaforme di modellazione diverse:
https://www.jmp.com/support/help/en/16.0/#page/jmp/launch-the-model-screening-platform.shtml?os=mac&source=application&utm_source=helpmenu&utm_medium=application#ww267915
Questo potrebbe esserti utile.
Re: Screening predittivoLa piattaforma Predictor Screening è una piattaforma Bootstrap Forest con un numero minimo (solo uno ora: Number Trees) di parametri di ottimizzazione da specificare e fornisce solo report sui contributi delle colonne. La magia è che la piattaforma Predictor Screening ha deciso i valori predefiniti per i restanti parametri di ottimizzazione. L'impostazione è utile per trovare predittori utili.
Se si desidera applicare l'albero potenziato per lo stesso scopo con un numero minimo di parametri di ottimizzazione, diciamo un parametro, è un compito molto difficile. Ad esempio, l'albero potenziato si basa molto più fortemente della foresta casuale sulla scelta e sull'utilizzo di un metodo di convalida, e la scelta di un metodo di convalida è di per sé un'arte.
La piattaforma Predictor Screening ha lo scopo di trovare utili predittori. Non è una sostituzione della previsione Bootstrap. Il tuo modello finale non sarà un modello di foresta casuale se usi solo Predictor Screening. Probabilmente deciderai di utilizzare altri modelli utilizzando i predittori trovati da Predictor Screen. Un vantaggio dell'utilizzo di Predictor Screening per trovare predittori utili, anziché utilizzare metodi di selezione delle variabili incorporati nel modello finale, è che il metodo non si basa su alcun presupposto parametrico.
Tra foresta casuale e albero potenziato, non ho trovato studi che concludano le loro prestazioni in base al tipo di variabile di risposta.
Boosted Tree è un'implementazione del metodo di potenziamento del gradiente. Così è XGBoost. E così sono altre implementazioni, ad esempio LightGBM. I loro confronti possono essere piuttosto complicati e probabilmente anche soggettivi. Ma è sempre emozionante giocare con strumenti diversi per capirne i pro ei contro.
