Forse ... ma i dati disordinati sono un grosso problema.
I grandi dati hanno colpito il mainstream nell'ultimo anno o giù di lì. Lo so perché la BBC ha prodotto diversi programmi che lo coprono. Quello che ho sentito è che non esiste una definizione chiara di cosa siano i big data e perché sia importante. Quando chiedo alle persone se hanno grandi quantità di dati, affermano in modo schiacciante "sì", se hanno migliaia o milioni di file di dati o osservazioni. Allora, chi ha ragione? Dipende.
Al giorno d'oggi, software statistico , compresi quelli progettati per massimizzare la potenza del desktop come JMP Pro , può facilmente gestire set di dati con milioni di righe. Ciò che è più importante è il numero di colonne. Molto alto e set di dati molto ampi sono veramente grandi. Questi possono richiedere metodi statistici standard come il campionamento per costruire modelli utili, portando la costruzione del modello all'interno della potenza di un computer desktop.
Quindi, se i big data sono facilmente gestibili, quali sono le vere sfide affrontate dagli analisti, dagli ingegneri e dagli scienziati di oggi? Abbiamo intervistato i delegati ai due seminari sulla costruzione di modelli tenuti recentemente a Marlow e Edimburgo e abbiamo scoperto una scoperta interessante: tutti i delegati avevano dati confusi.
Ottieni il massimo dai dati disordinati
Hai dati disordinati se hai dati mancanti, celle vuote, valori anomali o voci errate. I metodi statistici tradizionali, come la regressione logistica e lineare, eliminano le righe in cui mancano le celle, risultando in un modello più scadente. I valori anomali eliminano anche il modello, rendendolo meno utile.
John Sall discusso un nuovo modo di affrontare i dati disordinati chiamati "Mancanti informativi" in il suo post sul blog . Questo prende l'uso dei dati mancanti oltre l'imputazione in un nuovo regno: i dati mancanti potrebbero effettivamente informarti di qualcosa che è importante e quindi devono essere inclusi nel tuo modello. Un esempio potrebbe essere un richiedente di prestito che lascia una parte della sua domanda in bianco per nascondere una scarsa storia creditizia; questo sarebbe un risultato critico per un analista di credito da modellare. Se si sta lavorando in un'impostazione di produzione, i dati potrebbero mancare perché il risultato è letteralmente fuori scala, che potrebbe essere informazioni utili da acquisire nel modello. Se si sta modellando l'attività delle sostanze in base alle loro proprietà chimiche, potrebbero mancare dati per, diciamo, la temperatura di decomposizione se il materiale non si vedeva decomporre nell'intervallo di temperatura misurato; quindi se includi queste informazioni nel modello, otterresti migliori previsioni di attività.
Esiste una nuova classe di tecniche di modellazione denominate metodi di restringimento progettati per fornire un modello che predice bene e ha il minor numero di variabili, anche quando si hanno forti correlazioni tra le variabili di input. Il Regressione generalizzata la personalità ti consente di utilizzare questi metodi dalla piattaforma Fit Model. Utilizzato insieme a Missing informativo, ha il vantaggio di utilizzare tutte le righe di dati durante la creazione del modello, anche con dati disordinati.
Metodi basati su albero decisionale sono utili per gestire i valori anomali, poiché il punto in cui si verifica la divisione non è distorto. Gli utenti di JMP Pro ci dicono che stanno costruendo modelli utili senza dover pulire i loro dati a causa di questo e Mancanza informativa : Con solide tecniche di modellazione, potresti essere in grado di saltare la pulizia dei dati e produce ancora un buon modello. Questo è veramente rivoluzionario. Gli alberi decisionali hanno anche il vantaggio di essere visivi, permettendoti di spiegare le tue scoperte ai dirigenti.
Cosa devo fare se ho dati disordinati?
JMP Pro è il software progettato per gestire i tuoi dati disordinati.
Gestiremo un esclusivo workshop pratico nel Regno Unito per i nuovi utenti di questo software 12 giugno , quindi se vorrebbe unirsi a noi a Marlow, fammi sapere .
Se desideri che i tuoi manager vedano come JMP Pro si occupa di questi problemi, puoi chiedere loro di unirsi a webcast sopra 3 aprile quando mostreremo due casi di studio.
Bernard McKeown ha scritto:
Hai ragione, Phil. Anche il sondaggio dei delegati al seminario conferma questo. Questo è il motivo per cui queste tecniche sono così utili.
Phil Kay ha scritto:
C'è qualcuno là fuori che non ha MAI dati disordinati?
Dalla mia esperienza personale, le prove su piccola scala e la progettazione di esperimenti di solito produrranno set di dati completi senza troppi problemi. Tuttavia, entrando nel regno del data mining e della modellazione predittiva ... c'è SEMPRE un aspetto disordinato nei dati.
Volker Kraft ha scritto:
Ciao Mike, supponendo che tu sia nel Regno Unito, ho delle buone notizie: in questo momento stiamo esplorando opportunità per supportare le lezioni relative allo STEM nelle scuole superiori con pacchetti JMP per l'insegnamento. Ti sarei grato se ti mettessi in contatto (volker.kraft@jmp.com) per tenerti aggiornato e saperne di più sulle tue esigenze nell'istruzione superiore.
Bernard McKeown ha scritto:
Ciao Mike, molte scuole ora usano JMP Pro perché questo è un prodotto principale in JMP Academic Suite. Puoi trovare maggiori informazioni a: http://www.jmp.com/uk/academic/ . Penso che tu sia negli Stati Uniti, vero? Se è così, Curt Hinrichs può aiutarti. Se in Europa, allora Volker Kraft è la persona giusta. I dettagli di Volker possono essere trovati su: http://www.jmp.com/uk/software/buy-jmp-academic.shtml .
Mike Clayton ha scritto:
Grazie mille.
Gli studenti devono imparare questi metodi più avanzati, ma le scuole non supportano JMP Pro, quindi qual è la possibilità che i webinar gratuiti dimostrino i nuovi concetti in un modo che le classi STEM delle scuole superiori possano trarre beneficio?
