Lavori sulla modellazione predittiva? Stai creando modelli su piattaforme diverse e stai cercando un modo più semplice per ottimizzare i tuoi modelli nello spazio iperparametrico? Se è così, allora questa GUI interattiva potrebbe fare al caso tuo.
Questo componente aggiuntivo di ottimizzazione automatica generalizzata è progettato per funzionare su quattro piattaforme di modellazione JMP: Neural Net (NN), Boosted Trees (BT), Bootstrap Forest (RF) e XGBoost (XGB). Lo scopo del componente aggiuntivo è quello di restringere lo spazio degli iperparametri per ciascuna di queste piattaforme utilizzando tabelle di ottimizzazione che possono cercare nello spazio degli iperparametri.
Il componente aggiuntivo esegue un modello per ciascuna impostazione della tabella di ottimizzazione e registra le statistiche dell'adattamento per una successiva revisione da parte dell'utente. Si consiglia vivamente di rieseguire l'adattamento con la piattaforma JMP standard utilizzando i parametri di ottimizzazione ottimizzati ottenuti da questo componente aggiuntivo. L'utente può quindi monitorare le prestazioni del modello con i metodi integrati di JMP in ciascuna piattaforma.
I seguenti file sono inclusi per il download:
- genat.jmpaddin: il programma di installazione del componente aggiuntivo Generalized Auto Tuning per JMP
- PowderMetallurgy_mod.jmp: una versione modificata del file JMP relativo alla metallurgia delle polveri che contiene colonne Y nominali, numeriche e ordinali insieme a una colonna di convalida a due livelli (train and validate) stratificata per Y Numerico e una colonna di convalida a tre livelli (train, validate, test) anche stratificato per Y Numerico. Questo file deve essere utilizzato come pratica (e verificare che il componente aggiuntivo funzioni come previsto).
- NN Tuning.jmp: questo è il formato della tabella di ottimizzazione per la piattaforma NN
- BT Tuning.jmp: questo è il formato della tabella di sintonizzazione per la piattaforma BT
- RF Tuning.jmp: questo è il formato della tabella di ottimizzazione per la piattaforma RF (Bootstrap Forest)
- XGB Tuning.jmp: questo è il formato della tabella di ottimizzazione per la piattaforma XGBoost
Dopo aver scaricato e installato il componente aggiuntivo, sarà presente una nuova opzione a discesa nel menu dei componenti aggiuntivi denominata "Sintonizzazione automatica generalizzata".
Selezionando il componente aggiuntivo verrà visualizzata una nuova finestra in cui è possibile selezionare la tabella dati, la tabella di ottimizzazione e il metodo di modellazione. La tabella dati è la tabella contenente le colonne di risposta e fattore, mentre la tabella di ottimizzazione è la tabella di ottimizzazione appropriata corrispondente al metodo di modellazione. Facendo clic sui pulsanti di selezione della tabella verrà visualizzata una finestra di selezione per definire quali tabelle verranno utilizzate a tale scopo. Il metodo di modellazione predefinito è NN. Selezionando il pulsante "Recall" si imposterà il metodo di modellazione su quello che è stato utilizzato in precedenza (tranne quando lo si esegue la prima volta).
Dopo aver selezionato i dati e le tabelle di ottimizzazione e il metodo di modellazione, fare clic su "OK" per aprire la finestra dell'interfaccia successiva in cui le colonne della tabella di dati verranno inserite nei ruoli selezionati Y, Risposta; X Factor; Convalida, ecc. Questa finestra consente anche la selezione del metodo di convalida appropriato (basato sul metodo di modellazione scelto). Ad esempio, la piattaforma NN può accettare Holdback righe escluse, Holdback, Kfold e Colonna di convalida come opzioni di convalida. Ogni piattaforma di modellazione in JMP accetterà solo alcune opzioni di convalida.
Dopo aver inserito le colonne appropriate nei rispettivi ruoli e selezionato le opzioni di convalida appropriate, fare clic su "OK". Ciò avvierà il processo di modellazione in base ai dati e alle tabelle di ottimizzazione fornite al componente aggiuntivo. Si apriranno due nuove finestre. La prima è una tabella di dati di output che inizia con il nome "Output di" seguito dal nome della tabella di ottimizzazione, dal metodo di convalida e dal nome della tabella di dati di input. Questa tabella dei dati di output conterrà tutti i parametri di input per il modello e tutte le statistiche di output pertinenti, a seconda del tipo di dati della colonna Risposta: nominale, ordinale o numerico. L'altra finestra che si apre è una finestra di avanzamento generale della modellazione, che mostra visivamente la distanza del processo complessivo con la tabella di ottimizzazione (potrebbe essere centinaia o migliaia di righe, a seconda della tabella di ottimizzazione).
Dopo che il componente aggiuntivo ha eseguito tutti i passaggi di modellazione definiti nella tabella di ottimizzazione, le statistiche possono essere confrontate con i parametri di ottimizzazione. Ad esempio, R2 generalizzato per l'addestramento, la convalida e il set di test rispetto a N_Boost, ecc. Oppure, la tabella può essere ordinata in base alla statistica di interesse. Le impostazioni ottimali possono quindi essere determinate dall'utente per tornare indietro e funzionare all'interno della piattaforma JMP standard.
Questa è la prima volta che provo un componente aggiuntivo e non è assolutamente privo di bug. Ho dovuto cercare alcune funzioni e utilizzare alcuni script pubblicati dallo staff di JMP, ad esempio come far funzionare un pulsante "Recall". Provalo e se trovi bug nel componente aggiuntivo, fammelo sapere e cercherò di risolverli il prima possibile.
Alcune NOTE sulla funzionalità del componente aggiuntivo:
Il componente aggiuntivo richiede una conoscenza preliminare da parte dell'utente per quanto riguarda i tipi di colonna di risposta prevista (ad esempio, attualmente, la piattaforma JMP BT non può accettare colonne di risposta nominale / ordinale con più di due livelli). Oppure, che alcune piattaforme possono utilizzare solo colonne di convalida con due livelli, ad esempio formazione e convalida. Il componente aggiuntivo è compatibile solo con JMP Pro v15.0 e versioni successive (a causa delle piattaforme NN e XGB a due livelli).
Inoltre, sono presenti colonne specifiche che vengono fornite alla routine di modellazione dalle tabelle di ottimizzazione (tabelle di ottimizzazione incluse). I valori per le diverse "corse" della tabella di ottimizzazione possono essere inseriti manualmente o generati utilizzando la piattaforma DOE in JMP. Si noti che se si utilizza la piattaforma DOE, quando una colonna di ottimizzazione è costante, la piattaforma DOE non la includerà nella tabella di ottimizzazione. Di conseguenza, quando il componente aggiuntivo avvia i passaggi di modellazione, utilizzerà il valore predefinito per il parametro di ottimizzazione a meno che non venga inserito manualmente nella tabella di ottimizzazione finale.
Grazie per aver dato un'occhiata e averlo provato.
In bocca al lupo!,
DS
