Difficile Bootstrap Forest in JMPCiao,
un mio cliente sta sfidando Bootstrap Forest in JMP a non essere flessibile per modificare le impostazioni degli algoritmi. Lo confronta con H2O ( http://docs.h2o.ai/h2o/latest-stable/h2o-docs/data-science/drf.html ). Nel documento allegato ho cercato di abbinare le impostazioni di JMP con le loro (in grigio, quelle gialle sono solo in H2O).
Ci sono diverse impostazioni che non è possibile modificare (e probabilmente non implementate) in JMP, come ad es
- offset_column (gli offset sono "valori di bias" per riga utilizzati durante l'allenamento del modello)
- balance_classes (Sovrastampare le classi minoritarie per bilanciare la distribuzione della classe)
- nbins (Specificare il numero di contenitori per l'istogramma da compilare, quindi dividere nel punto migliore)
- stopping_metric (Molto più di R2 e RMSE: specificare la metrica da utilizzare per l'arresto anticipato
- checkpoint (utilizzare questa opzione per creare un nuovo modello come continuazione di un modello generato in precedenza)
- col_sample_rate_per_tree / level (specificare la frequenza di campionamento della colonna per albero o livello)
- min_split_improvement (Il valore di questa opzione specifica il miglioramento relativo minimo nella riduzione dell'errore al quadrato in modo che si verifichi una divisione -> può aiutare a ridurre il sovradattamento)
- e altri ancora
Gli ho chiesto cosa si aspetta dall'avere queste opzioni, perché dubito che il modello risultante porterà quel miglioramento che conta come serio. Dichiara che è molto meglio. Ho quindi controllato il sito di H2O e penso che sia dovuto a un problema molto speciale e per questo potresti ottenere un risultato migliore utilizzando tutte queste opzioni di ottimizzazione.
Hai sentito altri clienti che hanno affermato che esistono altri (strumenti migliori) per i modelli di foresta casuali là fuori?
E, Chris o altri sviluppatori: pensi che aggiungere l'una o l'altra impostazione sarebbe una buona opzione?
Grazie,
balestruccio
Ri: Challenging Bootstrap Forest in JMPMartin,
Questo pacakge H2O è nuovo per me, ma sembra che io possa usarlo con python e anche in un notebook ipython.
Questo link su git hub fa sembrare che potrebbe essere relativamente facile da usare anche dopo la sua configurazione.
https://github.com/h2oai/h2o-3/blob/master/h2o-docs/src/product/tutorials/rf/rf.md Se avrò tempo, mi piacerebbe vedere se posso correre con esso. Potrebbe essere un po 'più facile da usare rispetto a XGBoost. Entrambi hanno alcune opzioni di ricerca della griglia per la messa a punto.
"H2O è una piattaforma open source, in-memory, distribuita, veloce e scalabile per l'apprendimento automatico e l'analisi predittiva che consente di creare modelli di apprendimento automatico sui big data e offre una facile produzione di tali modelli in un ambiente aziendale". Come descritto nella pagina web principale, è notevolmente simile alla lingua utilizzata per descrivere SAS Viya. Se il tuo cliente lo desidera, forse è diventato troppo grande per JMP?
Ri: Challenging Bootstrap Forest in JMPLa possibilità di cambiare la metrica di arresto è qualcosa che è stato richiesto da un paio di clienti nella mia patch. Le classi di equilibrio possono essere ottenute in modo inversamente proporzionale, ma sarebbe bello se fosse automatizzato. Grazie per l'avviso su questo.Ri: Challenging Bootstrap Forest in JMPinseriscilo nell'indirizzo email jmpbeta@jmp.com per consentire al team di sviluppo di dare un'occhiata. Vorrei anche sottolineare che questo potrebbe essere un sottoinsieme specializzato di Random Forest. Potrebbero semplicemente attaccare quel pezzo "Distribuito" per evitare il problema del copyright, ma potrebbe anche essere indicativo di qualcosa di diverso. Mi sono imbattuto in un altro chiamato "Albero Condizionale" che è un sapore specializzato di Albero Booster Gradiente ...
FWIW, la maggior parte dei ragazzi della scienza dei dati con cui parlo sono contenti di ciò che abbiamo. Alcune delle opzioni menzionate sopra sembrano essere gestite con ponderazione e diverse strategie di validazione.
MRi: Challenging Bootstrap Forest in JMPUn altro commento su questo: ho sentito che più opzioni di tuning sono più spesso per Neural Networks, come più livelli, più training e algoritmi di attivazione da impostare, ...
Ma per me era una novità per Random Forest. Quindi ero anche curioso di sapere se altri hanno sentito storie simili.
