Caro team JMP,
seguendo alcune idee per potenziali miglioramenti nell'area di Boosted Trees e Random Forest.
1. Generale:
a) Abilitare l'opzione di utilizzare stime di errore out of the bag (oob). Queste stime consentono di determinare la complessità ottimale del modello, rendendo obsoleto un set di validazione (potrebbe essere utilizzato in questo caso come vero set di test). Per set di dati più piccoli in cui non è possibile dividere i dati in set di addestramento/convalida/test, oob è anche una buona opzione per ottenere un'impressione ragionevole sulle prestazioni del modello previste.
b) Abilitare grafici che mostrino il numero ottimale di alberi, in base ad es. alla distanza mulinomial media o all'errore quadratico medio (infatti non sono sicuro che sia corretto dire che i dati nel grafico sottostante sono veri dati di test, perché hanno stato usato per determinare il modello complexitx, ma mi piace l'idea dietro il grafico)
2. Alberi potenziati
Sebbene JMP Random Forest abbia prestazioni molto buone rispetto ad altri pacchetti software, JMP Boosted Trees di solito è inferiore in termini di capacità predittiva dei modelli.
a) Abilitare per definire/controllare la dimensione del sottocampionamento (amplificazione stocastica del gradiente)
Il potenziamento del sottocampionamento è dal mio punto di vista una parte essenziale dell'algoritmo, sfortunatamente non disponibile in JMP. L'assunzione di sottocampioni disegnati in modo indipendente introduce una certa casualità nell'analisi, che allevia il rischio di overfitting. Dal momento che ogni albero è costruito su un diverso insieme di campioni, questi modelli di solito germinalizzano abbastanza bene (ovviamente il numero di alberi deve ancora essere controllato). Un ulteriore sottocampionamento consente di utilizzare le stime degli errori oob.
b) Abilitare risposte categoriali multilivello negli alberi potenziati
Distinti saluti
Silvio
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />2. a) La dimensione del sottocampionamento di controllo (amplificazione stocastica del gradiente) è stata aggiunta a JMP 13.
