utilizzando i dati di convalida sull'albero potenziatoHo sviluppato un modello predittivo con albero potenziato. Avevo 30.000 righe di dati di addestramento. Ho 10.000 rimorchi di dati di "convalida". Come eseguo il set di dati di convalida attraverso il modello (ho oltre 800 variabili nel mio modello, quindi ottenere una "formula" non era pratico). Fornisci una soluzione interattiva (non uno script).Progettazione di esperimentiAltroOggetto: utilizzo dei dati di convalida sull'albero potenziatoLa mia preferenza sarebbe quella di aggiungere i dati del test (utilizzando Concatena - dopo aver salvato la colonna della formula di previsione e aver selezionato la casella per valutare le formule).Non vuoi rendere i dati di test un set di convalida perché verranno utilizzati nello sviluppo dei modelli.JMP separerà automaticamente le prestazioni del modello tra i dati di addestramento, convalida e test.
Sono ancora preoccupato per i tuoi ripetuti riferimenti alla complessità del tuo modello.Normalmente, JMP è in grado di gestire colonne formula piuttosto complesse.Se è abbastanza complesso da causare problemi con la valutazione di JMP, allora mi preoccupo se dovresti utilizzare quel modello.Se avessi milioni di righe, potrebbe essere una limitazione hardware, ma con 30.000 righe non dovrebbero esserci problemi a meno che tu non abbia troppe variabili nel tuo modello.Come suggerisci, potresti avere qualcosa come 800 variabili nel tuo modello e sospetto che ciò potrebbe causare problemi per alcuni modelli predittivi.Tuttavia, la mia reazione iniziale sarebbe che non si desidera davvero un modello con 800 fattori e solo 30.000 punti dati (meno se si utilizzano set di dati di convalida e test).Sicuramente puoi ottenere un modello con quasi le stesse prestazioni utilizzando meno fattori.Quindi, penso che il primo passo sarebbe ottenere un modello più gestibile.
Oggetto: utilizzo dei dati di convalida sull'albero potenziatoEcco il mio pensiero in questa fase. Se si dispone di un modello in una tabella di dati JMP che si desidera valutare, è sufficiente aggiungere il nuovo set di predittori di "test" e la risposta alla tabella di dati contenente il modello. Darei al nuovo set di righe un simbolo di tracciamento univoco, quindi in tutti i grafici che generi saprai che quelle sono le "nuove" righe. La colonna "prevista" verrà popolata con i valori per i predittori "test" e quindi utilizzerei semplicemente Graph Builder per i valori effettivi rispetto a quelli previsti e vedrei cosa vedi. Forse mettere in atto un filtro dati locale per le righe utilizzate in "addestramento" e "test"?
Oggetto: utilizzo dei dati di convalida sull'albero potenziatoSembra un po' confuso, ma proverò la prossima settimana quando tornerò online.
Grazie.
Oggetto: utilizzo dei dati di convalida sull'albero potenziatoAh!
Oggetto: utilizzo dei dati di convalida sull'albero potenziatoQ veloce: ho un set di dati di test completamente separato. Lo combino con
il set di dati originale (ovvero, aggiungerlo) - per poi eseguirlo attraverso il mio modello?
Se lo faccio, eseguo l'hardcode/creo una colonna di convalida con 1s per Test
e 0 per l'addestramento (o la convalida) per far funzionare il modello? Non lo sono anch'io
desideroso di creare la "formula" - perché sembra essere troppo grande per il
programma da gestire. Ha senso questo pensiero?
Voglio davvero solo essere in grado di eseguire il set di TEST dal modello e non farlo
sa bene come. (Inoltre, ci lavorerò la prossima settimana (non questa settimana,
sfortunatamente) - da quando ho una famiglia in visita.
I miei ringraziamenti
Oggetto: utilizzo dei dati di convalida sull'albero potenziatoUna piccola ulteriore precisazione da aggiungere @dale_lehman la seconda risposta. Ha ragione nell'affermare che quando si crea una colonna utilizzata per la specifica della categoria di convalida della riga, ad esempio una colonna di convalida, tutto verrà gestito automaticamente dalla piattaforma di analisi quando si esegue la piattaforma. I risultati saranno inclusi nei vari elementi del report della piattaforma per i sottoinsiemi di dati di addestramento, convalida e test. La parte che Dale ha lasciato fuori è stata quando crei quella colonna di convalida che devi articolare nella finestra di dialogo che desideri creare tutte e tre le categorie, formazione, convalida e test, nonché il metodo con cui viene assegnata ciascuna riga. Sembra che tu abbia un numero piuttosto elevato di osservazioni, quindi un incarico puramente casuale è probabilmente un buon punto di partenza.
Oggetto: utilizzo dei dati di convalida sull'albero potenziatoLa tua risposta non aiuta, ma grazie.
Oggetto: utilizzo dei dati di convalida sull'albero potenziatoPredictor Screening è un buon primo passo per capire quali variabili sono importanti. Vedi script da Scripting index, per capire come funziona.
Per prima cosa farei un campionamento della tabella originale per ridurre il numero di righe (menu principale: Tabelle->sottoinsieme...)
Con questo sottoinsieme puoi provare diverse cose in breve tempo, salvare gli script per le idee promettenti e applicarli successivamente al grande set di dati.
Names Default To Here( 1 );
dt = Open( "$SAMPLE_DATA/Boston Housing.jmp" );
obj = dt << Predictor Screening( Y( :chas ), X( :crim, :indus, :nox, :rooms, :age, :distance, :radial ) );
Oggetto: utilizzo dei dati di convalida sull'albero potenziatoSe si crea la colonna di convalida utilizzando la funzione nella piattaforma di modellazione predittiva, JMP esegue automaticamente il modello sui dati di addestramento, convalida e test.Quindi, non devi fare altro.Ora, i tuoi commenti sui problemi nel far funzionare il tuo modello sono una questione diversa: sembra che ci siano problemi con il modello e sospetto che avere 800 variabili nel tuo modello rifletta qualcosa che deve essere corretto.Cercherei modi per ridurre il numero di funzionalità.
Oggetto: utilizzo dei dati di convalida sull'albero potenziatoLo proverò.
Tuttavia, poiché il modello è così grande, la formula di previsione non sembrava nemmeno funzionare affatto, sembra bloccare il programma. Infine, quando voglio davvero eseguire i dati del test, come posso eseguirlo ?? Grazie mille - ksfire1
Oggetto: utilizzo dei dati di convalida sull'albero potenziatoNon capisco la tua domanda.Se si dispone di una colonna di convalida e la si inserisce nella casella Convalida, vengono riportati i risultati del modello per i dati di convalida.Sono d'accordo con l'opinione che potresti volere un modello più semplice e che dovresti provare modelli diversi.Aggiungerei che potresti voler mettere da parte il 10% dei dati come dati di test, poiché i dati di convalida vengono utilizzati nella costruzione del modello e c'è il pericolo di overfitting, in particolare con 800 variabili nel tuo modello.Pertanto, suggerirei di suddividere i dati in set di dati di addestramento, convalida e test, eseguire una varietà di modelli e utilizzare la funzione di confronto dei modelli per vedere come si comportano i modelli sui dati di test.Questo confronto dovrebbe essere automatizzato dopo aver salvato le formule di previsione da tutti i tuoi modelli.
Oggetto: utilizzo dei dati di convalida sull'albero potenziatoCon la formula tutto sarebbe facile. Hai provato? Cos'è successo?
Presumo che tu usi JMP Pro.
Hai provato a costruire un modello meno complesso? Hai provato Predictor Screening o altre tecniche di riduzione variabile? O altre tecniche di modellazione?
Per avere il modello migliore, si dovrebbero confrontare diverse tecniche/insiemi di variabili.
