Screening dei predittoriPer lo screening dei predittori viene utilizzata la foresta bootstrap di JMP; funziona molto bene, tuttavia perché è stato scelto questo metodo e non l'albero potenziato che è anche un metodo molto potente? JMP utilizza XGboosted?
Modellazione predittiva e machine learningRi: Screening dei predittoriLa piattaforma di screening dei predittori è una piattaforma Bootstrap Forest con un numero minimo (solo uno ora: Number Trees) di parametri di ottimizzazione da specificare e fornisce solo il report sui contributi delle colonne. La magia è che la piattaforma Predictor Screening ha deciso i valori predefiniti per i restanti parametri di ottimizzazione. L'impostazione è utile per trovare predittori utili.
Se si vuole applicare l'albero potenziato per lo stesso scopo con un numero minimo di parametri di ottimizzazione, ad esempio un parametro, è un compito molto difficile. Ad esempio, l'albero potenziato fa molto più affidamento della foresta casuale sulla scelta e sull'utilizzo di un metodo di convalida, e la scelta di un metodo di convalida è essa stessa un'arte.
La piattaforma Predictor Screening ha lo scopo di trovare predittori utili. Non sostituisce la previsione Bootstrap. Il tuo modello finale non sarà un modello di foresta casuale se utilizzi semplicemente lo screening predittivo. Probabilmente deciderai di utilizzare altri modelli utilizzando i predittori trovati da Predictor Screen. Un vantaggio derivante dall'utilizzo di Predictor Screening per trovare predittori utili, anziché utilizzare metodi di selezione delle variabili incorporati nel modello finale, è che il metodo non si basa su presupposti parametrici.
Tra foresta casuale e albero potenziato, non ho riscontrato studi che concludano la loro performance in base al tipo di variabile di risposta.
Boosted Tree è un'implementazione del metodo di potenziamento del gradiente. Così è XGBoost. E lo sono anche altre implementazioni, ad esempio LightGBM. I loro confronti possono essere piuttosto complicati e probabilmente anche soggettivi. Ma è sempre emozionante giocare con strumenti diversi per comprenderne i pro e i contro.
Ri: Screening dei predittoriNon sei sicuro di quale versione di JMP stai utilizzando, ma se utilizzi JMP Pro 16, puoi confrontare molte piattaforme di modellazione diverse:
https://www.jmp.com/support/help/en/16.0/#page/jmp/launch-the-model-screening-platform.shtml?os=mac&source=application&utm_source=helpmenu&utm_medium=application#ww267915
Questo potrebbe esserti utile.
Ri: Screening dei predittoriGrazie per questa risposta estesa!
Sì, credo che eseguire sia bootstrap che boosted sia una buona idea per selezionare i predittori tra molti candidati.
Ho ragione nel dire che la foresta bootstrap è preferita per le risposte categoriche?
Il metodo XGboosted è migliore di quello utilizzato in jmp pro?
Ri: Screening dei predittoriCIAO @frankderuyck ,
Non sono un esperto di come JMP esegue effettivamente le cose sul back-end (la codifica precisa che viene eseguita), ma credo che venga utilizzata la foresta bootstrap perché ha due livelli di randomizzazione: uno seleziona casualmente un sottoinsieme del fattori. Ad esempio, se si dispone di una colonna che si desidera prevedere e testare quale dei 10 fattori contribuisce meglio a tale previsione, l'approccio della foresta bootstrap selezionerà casualmente un sottoinsieme, ad esempio 6 su dieci, e utilizzerà un albero decisionale per prevedere al meglio il risultato e quindi classificare i fattori in base al loro contributo. L'altra randomizzazione è la foresta bootstrap che seleziona casualmente un certo numero di righe per adattarle al modello e quindi il resto per convalidarlo (o semplificarlo), e lo fa con selezione e sostituzione casuali ad ogni iterazione. Mi risulta che l'albero potenziato per impostazione predefinita non lo faccia.
Per quanto riguarda la tua ultima domanda, puoi scaricare il componente aggiuntivo XGBoost per JMP Pro dal sito Web JMP. Funziona con JMP Pro 14 e versioni successive, credo.
Nota a margine, poiché sembra che tu stia lavorando con JMP Pro, potresti voler eseguire la piattaforma GenReg e utilizzare i diversi algoritmi di previsione (Lasso, Elastic Net, ecc.) per vedere le stime dei coefficienti del modello ed eseguire alcune simulazioni di bootstrap anche lì. A volte si ottengono risposte diverse e questo può aiutare a determinare se un fattore borderline è davvero importante oppure no. Spesso eseguo entrambi gli approcci se mi viene assegnato il compito di trovare il miglior set di predittori per un modello.
Spero che questo ti aiuti!,
DS
