Siamo stati molto felici di aver avuto così tanto interesse per il recente Parlando tecnicamente con Screening del modello, una nuova potente funzionalità di JMP Pro 16. Quando crei modelli, non sai mai quale metodo funzionerà meglio su un dato insieme di dati.
Con lo screening del modello, puoi provare più approcci contemporaneamente, valutare le prestazioni del modello e scegliere il modello con le migliori prestazioni, inclusa la personalizzazione delle soglie decisionali in base alle tue esigenze. Questa nuova potente funzionalità ha generato così tante domande che non abbiamo potuto rispondere a tutte. Quindi, li affrontiamo in questo post del blog. Puoi vedere la velocità e la potenza dello screening dei modelli in questo episodio di Technically Speaking .
Kemal Oflus prepara il terreno per mostrare la piattaforma di screening dei modelli.
Domande generali
Quando proviamo ad adattare modelli non parametrici, potremmo ottenere un'elevata prevedibilità, ma perdiamo l'interpretabilità del modello. Come otteniamo quell'equilibrio tra prevedibilità e interpretabilità nei problemi di produzione del mondo reale?
In questo episodio di Analytically Speaking , Galit Shmueli si tuffa nei dettagli di questo argomento con il suo articolo tanto citato, Spiegare o prevedere . Abbiamo metriche come RSquare che riassume le prestazioni del modello in termini di quanto della varianza può essere spiegata dal modello sottostante. Un modello con RSquare più alto è tecnicamente migliore di uno più basso. L'interpretabilità del modello fornisce informazioni sulla relazione tra gli input e l'output. Un modello interpretato può rispondere a domande sul motivo per cui le caratteristiche indipendenti prevedono l'attributo dipendente. Il problema sorge perché all'aumentare della precisione del modello aumenta anche la complessità del modello, a scapito dell'interpretabilità. In questo caso, JMP Profiler ci aiuta a visualizzare il modello sottostante in modo da poter utilizzare l'esperienza in materia per verificare la correttezza e la fattibilità del modello. Un modello con meno parametri è più facile da interpretare. Questo è intuitivo. Un modello di regressione lineare ha un coefficiente per caratteristica di input e un termine di intercetta. Ad esempio, puoi guardare ogni termine e capire come contribuiscono all'output. Passare alla regressione logistica dà più potere in termini di relazioni sottostanti che possono essere modellate a scapito di una trasformazione di funzione all'output che ora deve essere compreso insieme ai coefficienti. Un albero decisionale (di dimensioni modeste) può essere comprensibile, un albero decisionale in sacchi richiede una prospettiva diversa per interpretare il motivo per cui si prevede che si verifichi un evento. Andando oltre, la combinazione ottimizzata di più modelli in una singola previsione può essere al di là di un'interpretazione significativa o tempestiva. Ancora una volta, JMP Profiler è lo strumento perfetto per visualizzare e interpretare i modelli che costruiamo.
Quando si valutano i modelli di regressione, esiste un intervallo standard per una buona metrica RSquare che indica un buon modello o dipende dal contesto?
Ciò dipenderà dal contesto; se si cerca di prevedere il mercato azionario, il 55% di RSquare sarà più che adeguato rispetto a quando si cerca di prevedere se una valvola cardiaca fallirà.
Qual è la differenza tra il set di addestramento e il set di convalida? Puoi entrare più in dettaglio su quale tipo di scenari di dati ci sarebbero in quei set?
Il training set è ciò che usiamo per imparare dai dati (e costruire il modello); il set di convalida serve a convalidare ciò che abbiamo appreso dal set di addestramento. Se sono disponibili dati sufficienti, è consigliabile disporre anche di un set di dati di test per ottimizzare ulteriormente il modello, quindi convalidare i risultati con il set di convalida.
C'è un motivo per non utilizzare PLS?
Nessun motivo particolare, solo che è più difficile da interpretare e non proprio appropriato per i set di dati che abbiamo esaminato durante il webinar.
Alcuni dosaggi presentano un errore maggiore. C'è un modo per inserire l'errore previsto nei modelli?
Se si tratta di una domanda sull'utilizzo di un classificatore, per impostazione predefinita la soglia di classificazione è impostata al 50%, ma a seconda delle circostanze, è possibile modificare questa soglia.
Per quanto riguarda il campione sul caffè, perché il metodo neural boosted aveva una dimensione del campione inferiore rispetto a tutti gli altri modelli (che erano identici tra loro)? Il valore RSquare per il potenziamento neurale ha ricevuto un vantaggio selezionando dati più appropriati?
Questo perché alcuni dei fattori di input selezionati avevano valori mancanti; alcuni algoritmi possono gestire i valori mancanti e quindi utilizzare il resto delle informazioni dall'osservazione data. Tuttavia, poiché le reti neurali non possono, nel campione viene incluso un numero inferiore di osservazioni.
Come si regolano e si confrontano le impostazioni dei parametri di diversi modelli?
Le piattaforme di screening e confronto dei modelli forniscono un modo per mediare / combinare / aggregare più modelli in modo da poter creare un modello di insieme, che è quindi possibile utilizzare per ottimizzare le impostazioni dei parametri.
Sembra che questo processo possa essere soggetto a overfitting. Come lo confronteresti con l'AIC?
I valori AIC sono presentati per i modelli appropriati nella sezione di riepilogo dei singoli modelli della piattaforma di screening dei modelli. I dettagli in aiuto online coprire questo e altro nel rapporto di confronto dei modelli.
Il data scientist non ricopre un ruolo fondamentale che JMP non può? Ad esempio, il data scientist può trovare un equilibrio tra ottenere più veri positivi (TP) a rischio di aumentare il FP in un problema di classificazione. In che modo JMP affronta questo compromesso e lo comunica al modellatore?
Il software non può sostituire il ruolo di un esperto in materia (in questo caso, il data scientist), che è il ponte tra i dati e i casi d'uso applicabili. Tuttavia, gli strumenti e i report forniti da JMP con le metriche di valutazione del modello (RSquare, RSquare corretto, tasso di classificazione errata, matrice di confusione e, soprattutto, il profiler) rendono estremamente semplice la comunicazione dei risultati a diversi livelli dell'organizzazione.
Domande sulle capacità di JMP
Possiamo creare modelli logistici dose-risposta in JMP?
Si Questo inviare nella Comunità e questo uno del partner JMP, Pega Analytics, spiega come eseguire questa operazione in JMP.
È possibile eseguire la modellazione basata su agenti in JMP?
Non ora.
L'utente può specificare i valori dei parametri del modello o si assumono valori predefiniti?
La piattaforma Model Screening è progettata per trovare le impostazioni ottimali dei parametri (ad esempio, il numero di alberi, livelli potenziati, ecc.). È possibile includere termini di interazione per i modelli lineari. Una volta trovato il modello migliore (o una serie di modelli), ogni modello può essere ulteriormente personalizzato.
C'è una colonna di convalida nel tuo foglio di lavoro? Viene compilato automaticamente?
Se hai una colonna di convalida, puoi utilizzarla. In caso contrario, JMP fornisce diversi modi per creare una colonna di convalida. Vedere opzioni di come farlo.
C'è un modo per ottenere l'analisi del modello (come Prediction Profiler) per un modello creato in Python se inserisco i dati e le previsioni in JMP?
È disponibile un profiler Excel nel componente aggiuntivo JMP di Excel che può essere utilizzato solo per i modelli creati in Excel. Tuttavia, JMP può eseguire i tuoi script Python, R o MATLAB e / o scambiare dati avanti e indietro, a condizione che tu abbia accesso al software.
Che dire della creazione di variabili personalizzate che potrebbero funzionare meglio in un modello creato da dati grezzi? Questa piattaforma gestisce questo o è necessario crearli prima per averli come input?
La piattaforma di screening dei modelli utilizza i dati così come sono; se ritieni che dovrebbero esserci alcune variabili composte come i componenti principali, dovranno essere create separatamente. Semplici variabili di interazione come a * bo quadratiche possono essere selezionate tramite la casella di controllo nella finestra di dialogo. Inoltre, ogni nodo nella rete neurale corrisponde anche a una variabile composta che potrebbe avere un significato fisico (ma ancora una volta non abbiamo alcun controllo su quelli).
JMP può incorporare un modello creato in R o Python?
Se si dispone di uno script R o Python che utilizza un modello per prevedere i risultati, è possibile fare in modo che JMP esegua lo script R / Python e utilizzi i risultati come una nuova variabile di colonna, se necessario. Questo carta bianca , "Sinergie di JMP: utilizzo di JMP e JMP Pro con Python e R" è un'ottima risorsa.
Hai mai usato JMP contro i dati testuali?
JMP dispone di una piattaforma Text Explorer incorporata. Questo Discorso di JMP Discovery Summit ha alcuni bei esempi e il aiuto online dà una buona panoramica.
In Prediction Profiler, quando vediamo il comportamento di y rispetto a una delle nostre x, è stabilito, considerando che è l'unica x o assume il comportamento sapendo che ci sono anche altre x nel modello?
Il Profiler fornisce un modo per esaminare e ottimizzare la relazione tra più variabili di input e la variabile di output desiderata. Le variabili di input possono essere impostate per essere indipendenti l'una dall'altra o possono interagire tra loro. Questo video mostra come utilizzare il Profiler. Lo ha scritto il nostro Bradley Jones, Distinguished Research Fellow in R&D Articolo preliminare di JMP per celebrare il 30 ° anniversario del Profiler, una delle nostre visualizzazioni interattive più popolari.
