Di solito c'è il desiderio di avere la misurazione più precisa di qualsiasi misura. In teoria, ciò è positivo, ma ai fini dell'analisi dei dati, una maggiore precisione non è sempre migliore.
Di solito è meglio esaminare qualsiasi variabile continua e determinare una ragionevole precisione per i valori registrati. Ad esempio, supponiamo di avere una variabile X, e X ha i valori mostrati nella tabella seguente:
I dati sono registrati in 10 posizioni decimali. Ma se stiamo analizzando questi dati, abbiamo davvero bisogno di tante cifre a destra del decimale? Un modo per esaminarlo consiste nell'esaminare la trama delle stime della deviazione media e standard di questi dati, in funzione del livello di arrotondamento utilizzato. Una buona domanda da porsi è "Quanto sono sensibili le statistiche riassuntive al livello di precisione?"
Una regola empirica
La tabella e il grafico mostrano che non perdiamo molte informazioni nella stima della media anche se arrotondiamo fino alla prima cifra decimale. Una buona regola empirica sulla precisione necessaria per una variabile consiste nel dividere la deviazione standard dei dati non arrotondati per 3 e utilizzare la cifra decimale delle cifre significative principali come livello di arrotondamento. Nell'esempio mostrato qui, la deviazione standard dei dati non arrotondati è 0,3612, quindi 1/3 di quello è 0,12, indicando che una cifra decimale è sufficiente.
Questo importa quando costruisci i modelli?
Recentemente, ho riscontrato un problema di modellazione predittiva in cui il tempo necessario per adattare un modello di albero decisionale era più lungo del desiderato (molte ore di tempo di calcolo). Il set di dati utilizzato era abbastanza grande (diversi milioni di righe). Analizzando il problema, ho scoperto che molte delle variabili di predittore continue (le X o i fattori) sono state registrate in molti decimali. Utilizzando la regola empirica, il tempo di calcolo per l'adattamento di un modello di albero decisionale è diminuito a diversi minuti. Perché è successo? Il algoritmo di partizionamento ricorsivo che costruisce alberi decisionali utilizza i livelli unici di ciascun predittore continuo e crea divisioni binarie in base a ciascun livello univoco per trovare la divisione ottimale. Se i fattori nel modello sono eccessivamente precisi, questo aggiunge una grande quantità di sovraccarico computazionale con spesso pochissimi benefici nella migliore accuratezza del modello. Arrotondare i fattori ha ridotto il numero di livelli unici e ha reso l'algoritmo di adattamento del modello molto più veloce.
Binning Data
In pratica, è anche noto che anche indicatori meno precisi dei livelli di variabili continue possono essere utili e portare a modelli migliori. Un approccio per ridurre la precisione di una variabile predittiva è quello di impiegare binning . Binning assegna semplicemente ogni variabile continua a un livello categoriale. Arrotondamento è un esempio di binning. Un altro esempio di binning consiste nel creare un istogramma dei dati e utilizzare i bin nell'istogramma come predittore. UN il precedente post sul blog descriveva uno strumento di categorizzazione interattivo che puoi usare per fare questo tipo di binning manualmente. UN il terzo esempio di binning consiste nell'utilizzare un approccio supervisionato , dove i bin nel predittore sono scelti in modo da massimizzare la capacità predittiva della variabile binata.
Per il problema dell'analisi dei dati che ho dovuto affrontare, con dati eccessivamente precisi che hanno portato a tempi di calcolo lunghi, avevo 100 variabili predittore che richiedevano un certo livello di categorizzazione. L'approccio di binning interattivo avrebbe richiesto troppo tempo e l'approccio di binning supervisionato è, di per sé, molto intenso dal punto di vista computazionale, quindi ci è voluto un po 'di tempo. Ho deciso di utilizzare un approccio di binning non supervisionato che cerca semplicemente raggruppamenti o cluster nelle variabili predittive, una variabile alla volta.
Dati di binning usando le distribuzioni di miscele normali
Si consideri la variabile leggermente "grumosa" mostrata nell'istogramma sottostante. Una distribuzione di miscela normale usando 3 distribuzioni normali è adatta ai dati (Hotspot> Adatta continua> Miscele normali> Miscela normale 3). Le stime dei parametri della distribuzione della miscela vengono registrate e viene creata una formula binning che assegna una riga a un gruppo in base alla distribuzione nella miscela in cui la riga ha la probabilità associata più elevata.
La variabile binned è un numero intero che conserva l'ordinamento nei dati, quindi può essere utilizzato come variabile continua, ordinale o nominale.
Clicca sull'immagine per vedere la versione animata
Per automatizzare il processo di utilizzo delle normali distribuzioni di miscele per il binning non presidiato, ho creato un componente aggiuntivo JMP ( disponibile per il download su Scambio file JMP: richiede un profilo SAS gratuito).
Come parte della preparazione dei dati per la modellazione, prendere in considerazione la precisione dei dati delle variabili predittive e verificare se la precisione inferiore potrebbe essere utile durante l'analisi. Spero che le idee condivise in questo post ti siano utili mentre lavori per costruire modelli migliori.
Arati Mejdal ha scritto:
Grazie, Sam! Aggiornerò il link nel post
Sam Gardner ha scritto:
Un riferimento che menziona l'utilità del binning è Berry & Linhoff, Data Mining Techniques, 2nd Ed, p 237 e p351. In particolare, affermano "Forse inaspettatamente, i valori di binning possono migliorare le prestazioni degli algoritmi di data mining".
chris dorger ha scritto:
Sam,
interessante regola empirica e facile da ricordare. Hai un riferimento per la sua fonte? Perché funziona?
