utilizzando i dati di convalida sull'albero potenziatoHo sviluppato un modello predittivo con albero potenziato. Avevo 30.000 righe di dati di allenamento. Ho 10.000 rimorchi di dati di "convalida". Come eseguo il set di dati di convalida attraverso il modello (ho oltre 800 variabili nel mio modello, quindi ottenere una "formula" non era pratico). Fornisci una soluzione interattiva (non uno script).AnalyticsDOEAltroRi: utilizzo dei dati di convalida su un albero potenziatoCon la formula tutto sarebbe stato facile. Hai provato? Cos'è successo?
Presumo che tu usi JMP Pro.
Hai provato a costruire un modello meno complesso? Hai provato lo screening dei predittori o altre tecniche di riduzione delle variabili? O altre tecniche di modellazione?
Per avere il modello migliore, si dovrebbero confrontare diverse tecniche / insiemi di variabili.
Ri: utilizzo dei dati di convalida su un albero potenziatoNon capisco la tua domanda.Se si dispone di una colonna di convalida e la si inserisce nella casella Convalida, vengono riportati i risultati del modello per i dati di convalida.Condivido l'opinione che potresti volere un modello più semplice e che dovresti provare modelli diversi.Vorrei aggiungere che potresti voler mettere da parte il 10% dei dati come dati di test, poiché i dati di convalida vengono utilizzati nella costruzione del modello e c'è il pericolo di overfitting, in particolare con 800 variabili nel tuo modello.Quindi, suggerirei di suddividere i dati in set di dati di addestramento, convalida e test, eseguendo una varietà di modelli e utilizzando la funzione Confronto modelli per vedere come si comportano i modelli sui dati di test.Questo confronto dovrebbe essere automatizzato dopo aver salvato le formule di previsione da tutti i tuoi modelli.
Ri: utilizzo dei dati di convalida su un albero potenziatoLo proverò.
Tuttavia, poiché il modello è così grande, la formula di previsione non sembrava nemmeno funzionare affatto: sembra che il programma si blocchi. Infine, quando voglio davvero eseguire i dati del test, come posso eseguirlo ?? Grazie mille - ksfire1
Ri: utilizzo dei dati di convalida su un albero potenziatoSe crei la colonna di convalida utilizzando la struttura nella piattaforma di modellazione predittiva, JMP esegue automaticamente il modello sui dati di addestramento, convalida e test.Quindi, non devi fare altro.Ora, i tuoi commenti sui problemi nel far funzionare il tuo modello sono una questione diversa: sembra che ci siano problemi con il modello e sospetto che avere 800 variabili nel tuo modello rifletta qualcosa che deve essere corretto.Cercherei modi per ridurre il numero di funzionalità.
Ri: utilizzo dei dati di convalida su un albero potenziatoLo screening dei predittori è un buon primo passo per capire quali variabili sono importanti. Vedere lo script dall'indice di scripting, per capire come funziona.
Per prima cosa farei un campionamento della tabella originale per ridurre il numero di righe (menu principale: Tabelle-> sottoinsieme ...)
Con questo sottoinsieme puoi provare diverse cose in breve tempo, salvare gli script per le idee promettenti e applicarli successivamente al grande insieme di dati.
Names Default To Here( 1 );
dt = Open( "$SAMPLE_DATA/Boston Housing.jmp" );
obj = dt << Predictor Screening( Y( :chas ), X( :crim, :indus, :nox, :rooms, :age, :distance, :radial ) );
