55388_it-IT

liliconcom

10 pericoli nei tuoi dati tabellari

Building predictive models from data tables? Watch out for these 10 villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Watch out for these 10 villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Watch out for these 10 villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Watch out for these 10 villains. Image courtesy of prettysleepy on Pixaby.Costruire modelli predittivi da tabelle di dati? Fai attenzione a questi 10 cattivi. Immagine gentilmente concessa da PrettySleepy su Pixaby.

Mi sono immerso nel mondo delle competizioni di data science, in cui le prestazioni predittive su un set di resistenze in cieco posizionano te e i tuoi compagni di squadra in una classifica, con premi e credibilità in gioco. Per avere successo in questi concorsi, devi essere molto efficiente e intelligente con il tuo tempo, poiché ci sono centinaia di piccole decisioni e direzioni diverse che puoi prendere lungo il percorso.Se sbagli o perdi tempo, qualcuno ti sorpassa. A volte, sembra addirittura che ci siano dei pericoli che cercano di farti inciampare di proposito. Sembra un po' la vita reale, vero?

Per ogni buona pratica e abilità con i dati che ho imparato, probabilmente ho commesso 10 volte tanti errori. Nel corso del tempo, ho raccolto un elenco di 10 pericoli a cui prestare attenzione e con cui combattere costantemente. Come descrivo in un post precedente , i dati non ci arrivano mai puliti e questi problemi sono sempre in agguato. Sebbene l'elenco si concentri sui dati tabulari, molti dei problemi si ripercuotono su immagini, testo e altri tipi di dati strutturali.

Questi pericoli sono così reali e pervasivi che possono assumere un carattere malvagio e, infatti, per divertimento ho associato ciascuno a un supercriminale. Nella tabella seguente, vedi se riesci a immaginare questi malfattori che personificano subdolamente i loro pericoli nelle tue tabelle di dati.  

 

Pericolo	Supercattivo	Domande	Risposte	JMP Piattaforme
1. Forma impropria	Mistica , il mutaforma seducente e ingannevole del X-Men	UN. Il tavolo è largo, non alto o impilato? B. Le righe corrispondono a osservazioni distinte da addestrare e/o prevedere e le colonne a obiettivi e caratteristiche?	1. Ispezione visiva 2. Eseguire la manipolazione e la ridefinizione dei dati secondo necessità	Trasponi, dividi, impila, unisci, aggiorna
2. Valori errati	Burlone da Batman , cercando sempre di giocarti brutti scherzi	UN. I valori dei dati sono corretti? B. Cosa può aver causato gli errori?	1. Scansione visiva 2. Grafici e statistiche univariate, bivariate e multivariate 3. Controllare e verificare le origini dati originali, se necessario	Distribuzione, Costruttore di grafici, Multivariato
3. Valori mancanti	Lord Voldemort da Harry Potter , Colui-che-non-deve-essere-nominato può misteriosamente rimuovere i valori-che-dovrebbero-esistere	UN. I valori mancano in modo casuale o esistono schemi sistematici? B. I modelli di valori mancanti sono predittivi?	1. Studiare attentamente il grado e i modelli di mancanza; progettare nuove funzionalità secondo necessità 2. Creare indicatori di valore mancante e verificare se sono correlati con la risposta 3. Nota: l'imputazione in genere non è necessaria per gli alberi con gradiente potenziato	Analizza > Schermo > Esplora valori mancanti, Col. > Ricodifica, Costruttore di grafici
4. Predittori non validi	Il signor Burns da I Simpson , tramando e complottando egoisticamente in modi che rendono la tua vita infelice	UN. Ci sono colonne non fattibili o inappropriate da utilizzare per previsioni future? B. Tutti i potenziali predittori hanno senso dal punto di vista scientifico ed etico?	1. Esamina tutte le colonne e comprendi il significato di ciascuna 2. Elimina le colonne non valide o spostale all'inizio o alla fine della tabella in modo che non vengano selezionate in seguito	Cols > Elimina, Cols > Riordina, sposta le colonne con il mouse nel pannello laterale sinistro
5. Cardinalità elevata	Magneto da Gli X-Men, controlla qualsiasi cosa contenga metallo e può lanciarti molti pezzi tutti in una volta	UN. Quali predittori categoriali hanno un numero elevato di livelli? B. Che tipo di codifiche numeriche hanno senso? C. Le categorie a bassa frequenza dovrebbero essere compresse?	1. Controllare il numero e la frequenza conteggi di livelli 2. Ricodificare i livelli in modo appropriato 3. Calcolare le codifiche numeriche, prestando particolare attenzione se utilizzano informazioni sul target per evitare un adattamento eccessivo	Distribuzione, Cols > Ricodifica
6. Inlier e outlier	Scimmie alate da Il mago di Oz, volando costantemente dentro e fuori, eseguendo gli ordini malvagi della strega cattiva	UN. I valori estremi rientrano entro limiti ragionevoli? B. Alcuni valori vengono ripetuti inaspettatamente con troppa frequenza?	1. Esamina istogrammi e quantili 2. Verificare che i valori insoliti siano corretti 3. Utilizzare la trasformazione logaritmica per valutare distribuzioni continue realmente distorte 4. Distanze di Mahalanobis	Distribuzione, Multivariata, Analizza > Screening > Esplora valori anomali
7. Dati duplicati	Gatti siamesi da Lilli e il vagabondo , con intenzioni doppiamente malvagie e una canzone fastidiosamente orecchiabile	UN. Ci sono righe o colonne duplicate accidentalmente?   B. Ci sono colonne isomorfe? C. I valori ID sono univoci per ogni riga?	1. Scansione visiva 2. Matrice del diagramma di dispersione del clustering bidirezionale	Riepilogo, ordinamento, clustering (per righe), multivariato (per colonne)
8. Squilibrio della risposta	Jabba the Hutt da Guerre stellari , felice di schiacciarti e di infangarti sotto tutto il suo disgustoso grasso	UN. Che tipo di risposta è? B. Per il sistema binario o nominale, le proporzioni sono rappresentative della popolazione che desideri prevedere? C. Per il continuo, ha senso la sua distribuzione?	1. Ispezionare la distribuzione delle risposte 2. Considerare la ponderazione, il sovracampionamento, il sottocampionamento; può dipendere dalle metriche di prestazione desiderate	Distribuzione, Cols > Nuove colonne per creare una variabile di peso
9. Incoerenze tra test e formazione	Occhio di Sauron da Signore degli Anelli , guardandoti sempre per trovare le tue contraddizioni più intime e sfruttarle	UN. Le distribuzioni della risposta e dei predittori sono simili tra le suddivisioni di training, convalida e test? B. I futuri set di test rimarranno nell’ambito o c’è una reale necessità di estrapolazione?	1. Creare una nuova variabile che indichi le divisioni; quindi usalo per esplorare dinamicamente le distribuzioni 2. Utilizzare proiezioni a bassa dimensionalità per confrontare strutture di sottoinsiemi	Adatta Y per X, dove Y rappresenta tutte le variabili e X è l'indicatore diviso, crea grafici a mosaico per variabili nominali e confronti empirici di distribuzione cumulativa per variabili continue, multivariato
10. Perdita di dati	Orsola da La Sirenetta, può accecarti completamente con il suo inchiostro nero corvino, diffondendolo in luoghi indesiderati	UN. Ci sono funzionalità nelle suddivisioni di formazione, convalida e test che utilizzano in modo inappropriato le informazioni della risposta? B. Le colonne ID sono predittive?	1. Cercare relazioni inaspettate e qualsiasi indizio che possa indicare che una funzionalità perde 2. Progettare nuove funzionalità con funzioni semplici per verificare ulteriormente la presenza di perdite	Adatta Y per X, Generatore di grafici, Multivariato, Clustering, Seleziona colonne > Fare clic con il pulsante destro del mouse > Nuova colonna formula

 

Come possiamo affrontare in modo efficiente queste fastidiose cause di problemi, soprattutto quando cospirano insieme e non abbiamo tempo sufficiente per scrivere ed eseguire il debug del codice personalizzato? L'ultima colonna contiene il JMP routine che utilizzo ogni giorno per gestirli: è la mia arma segreta e indispensabile.Con ispirazione da un famoso piccolo supereroe degli anni '50 e l'interfaccia utente rivoluzionaria di Apple MacIntosh, JMP è in costante miglioramento da 30 anni sotto la filosofia guida principale di un'integrazione estremamente stretta di statistiche e grafica, guidata da un mouse.  

Building predictive models from data tables? Look out for ten villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Look out for ten villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Look out for ten villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Look out for ten villains. Image courtesy of prettysleepy on Pixaby.Costruire modelli predittivi da tabelle di dati? Cerca dieci cattivi. Immagine gentilmente concessa da PrettySleepy su Pixaby.

Consulta l'elenco di controllo di Russ Wolfinger sui 10 pericoli da affrontare durante la pulizia e la preparazione dei dati per l'apprendimento automatico.