Il data mining sta cercando pattern e relazioni in (a volte grandi volumi di) dati. Molti metodi, come il partizionamento ricorsivo e le reti neurali, sono estremamente sensibili al campione di dati estratti. Come fai a sapere se stai creando un modello che sarebbe utile per predire i risultati futuri?
Vogliamo un modello ripetibile. Cioè, se usato su dati futuri, avresti un successo simile nel predire il risultato. I data miner separano i loro dati in tre sottoinsiemi diversi per garantire l'accuratezza del modello. Stanno formando dati, dati di convalida e test dei dati. Non esiste una regola fissa per la proporzione di dati in ciascun set di dati, ma una buona regola empirica è 40/40/20.
Creiamo due nuove variabili. La prima variabile assegna valori da una distribuzione uniforme casuale, che assegna in modo casuale un valore compreso tra 0 e 1, inclusi. Successivamente, crea una nuova variabile chiamata "Sottoinsieme" usando l'editor di formule che raggruppa i nostri dati nei tre sottoinsiemi. Se il valore è inferiore a 0,40, questi dati verranno utilizzati per la formazione. I dati tra 0,40 e 0,80 vengono utilizzati per convalidare. I dati superiori a 0,80 vengono utilizzati per testare. Vedi l'editor di formule qui sotto. Restate sintonizzati per un modo più semplice per farlo nella prossima versione di JMP .
I dati di allenamento sono usati per costruire il tuo modello. Quando ti senti come se avessi modellato il modello e non il rumore, esegui il modello sul set di dati di convalida. I risultati, soprattutto se i set di dati sono grandi, dovrebbero essere simili. Se i risultati sono diversi, il modello che hai creato supera i dati (ad esempio, modella il rumore). Ci saranno alcuni avanti e indietro in questo processo. Una volta che i risultati di addestramento e di convalida sono simili, hai trovato un buon modello che ti aspetteresti sia ripetibile. Questo modello è messo alla prova con il set di dati di test. Tutti e tre i modelli dovrebbero avere un adattamento simile; altrimenti, non hai scoperto lo schema sottostante nei dati.
Allena il modello utilizzando i dati di allenamento nascondendo ed escludendo i dati di convalida e test utilizzando il filtro dati in JMP. Rieseguire il modello utilizzando la convalida e quindi verificare i set di dati passando dalla convalida ai dati di test utilizzando il filtro dati.
L'utilizzo del metodo di convalida del treno è particolarmente importante quando si confrontano modelli con metodi diversi. Se, ad esempio, i modelli sono ripetibili per le reti neurali ma non per il partizionamento ricorsivo, avrai scoperto il modello e il metodo migliore per prevedere il risultato in futuro.
Nota del redattore: questa voce è stata originariamente pubblicata da un altro blogger.
Realizzare modelli predittivi migliori rapidamente con JMP ha scritto:
[...] mentre tornava, questo blog presentava un ottimo post sul concetto di formazione, validazione e test set per costruire i tuoi modelli. Per costruire un modello che non sia solo descrittivo ma anche predittivo, [...]
Michael Joner ha scritto:
Nello screenshot dell'editor di formule, ci sono in realtà due chiamate "Random Uniform ()". Ciò si traduce nell'ottenere il 40% nel treno, ma poi nel fare una suddivisione 40/60 sul restante (non treno) 60% dei dati. Quindi, ottieni uno split 40/24/36 con quel codice. Puoi vederlo direttamente creando la colonna formula come descritto e quindi eseguendo la piattaforma di distribuzione su quella colonna formula. Ci sono alcune soluzioni a questo problema. Un modo implica la creazione di due colonne: una colonna di numeri Random Uniform () e la seconda colonna da categorizzare.
