Migliora il tuo ingegno con questo nuovo libroCome ho menzionato in un post precedente , Kaiser Fung ha un nuovo libro: Numbersense: come utilizzare i Big Data a tuo vantaggio . L'ho letto e mi è piaciuto. Mi ha aiutato a diventare un consumatore più critico delle informazioni analitiche, che è lo scopo del libro di Kaiser.
Ecco un estratto dal libro:
Nell'analizzare i dati, non c'è modo di evitare di avere ipotesi teoriche. Qualsiasi analisi è parte dei dati e parte della teoria. Dati più ricchi supportano molte più teorie, alcune delle quali potrebbero contraddirsi l'un l'altra, come abbiamo notato prima. Ma i dati più ricchi non salvano la cattiva teoria, né salvano le cattive analisi. Il mondo non ha mai finito i teorici; nell'era dei Big Data, la barra di prova viene reimpostata più in basso, rendendo più difficile distinguere tra giusto e sbagliato.Le persone nell'industria che si nutrono di Big Data danno per scontato che più dati generino più buoni. Si deve seguire l'altro?
Quando più persone eseguono più analisi più rapidamente, ci sono più teorie, più punti di vista, più complessità e più confusione. C'è meno chiarezza, meno consenso e meno confidenza ....
Più dati inevitabilmente si traducono in più tempo trascorso a discutere, convalidare, riconciliare e replicare. Tutte queste attività creano dubbi e confusione. C'è un reale pericolo che i Big Data ci spingano all'indietro, non in avanti. Minaccia di riportare la scienza ai secoli bui, mentre le teorie cattive guadagnano terreno raccogliendo prove sbagliate e annegando buone teorie.
I Big Data sono reali e il loro impatto sarà enorme. Per lo meno, siamo tutti consumatori di analisi dei dati. Dobbiamo imparare ad essere consumatori più intelligenti. Ciò di cui abbiamo bisogno è Numbersense .
Ecco la tua occasione per migliorare la tua Numbersense vincendo una copia del libro di Kaiser. (Se sei andato a Discovery Summit all'inizio di questa settimana, dove Kaiser ha partecipato alla nostra discussione sul pannello delle statistiche, hai ottenuto una copia gratuita del libro alla conferenza. Kaiser ha firmato libri per i partecipanti.)
Il primi 25 lettori chi lascia un commento raccontando una sfida che hai affrontato che comporta la raccolta, l'elaborazione o l'analisi di quantità crescenti di dati si qualificheranno per ricevere una copia cartonata gratuita del nuovo libro di Kaiser, Numbersense . Il tuo contributo a questa discussione dovrebbe essere compreso tra 50 e 75 parole. Assicurati di inserire il tuo indirizzo e-mail quando scrivi il tuo commento in modo che possiamo contattarti se sei un vincitore. Solo un libro per commentatore. I commentatori devono risiedere negli Stati Uniti per avere diritto a ricevere un libro. Grazie all'editore di Kaiser, McGraw-Hill, per aver fornito i libri.
Aggiornamento il 1 ° ottobre 2013: questo concorso è ora chiuso. Tutti i libri sono stati assegnati. Grazie per il tuo interesse!
Brett ha scritto: Un problema che ho incontrato con i big data è ... brett ha scritto:
Un problema che ho riscontrato con i big data sono i dati sporchi. Le aziende desiderano utilizzare le informazioni contenute nei database CRM e ERP e ritengono che un po 'di programmazione produrrà modelli utili. Anche con la pulizia dei dati pesante, i dati rimanenti sono così poveri che non ha più alcuna popolazione utile correlabile per l'inferenza.
Dan D ha scritto: Come qualcuno che lavora per il governo ... Dan D ha scritto:
Come qualcuno che lavora per il governo, la raccolta di dati è raramente il problema, ma la capacità di usarlo è sempre difficile. Quanti dettagli puoi inserire senza influenzare la privacy e quali informazioni sono utili alle persone. Come scienziato dei dati, sento sempre che le opinioni di coloro che non sanno nulla dei dati hanno guidato le nostre analisi e decisioni nella giusta direzione.
Chris S ha scritto: Questo articolo è particolarmente a proposito. Io solo ... Chris S ha scritto:
Questo articolo è particolarmente a proposito. Sono appena tornato da un incontro per discutere dell'arma a doppio taglio che la democratizzazione dei dati fornisce. Dare a più persone l'accesso a più dati può essere una cosa molto potente che tutte le organizzazioni vogliono sfruttare, ma esattamente come articolato, il pericolo è che questo porta a confusione e agitazione. La domanda, come sempre, è come massimizzare i benefici riducendo al minimo i costi?
Murray Meehan ha scritto: Lavoro per gli sport di Microsoft ... Murray Meehan ha scritto:
Lavoro per la divisione di intrattenimento sportivo di Microsoft, in un ruolo di analisi incentrato su servizi Web basati su cloud e app client che si basano su di essi. Genero gigabyte di dati di test a settimana sulle funzionalità e le prestazioni del servizio web, quasi tutti ignorati a favore di metriche molto semplici che sono più facili da comunicare tra i team. Quando faccio analisi più complicate, faccio fatica a presentarlo in un modo che i miei colleghi possano capire. Questo è un problema comune nella mia zona.
Glen ha scritto: Alcune delle mie ricerche riguardano la comp ... valletta ha scritto:
Alcune delle mie ricerche riguardano il calcolo distribuito per i big data. Definisco i big data come dati troppo grandi per essere caricati su un singolo computer. Lo strumento più comune per analizzare i big data è Hadoop. Tuttavia Hadoop è stato progettato da scienziati informatici e non funziona bene per problemi statistici iterativi / visualizzazione dei dati / metodi bayesiani. È un momento eccitante per gli statistici per contribuire a quest'area.
Jan Kölling ha scritto: Recentemente ho iniziato i miei studi di dottorato in ... Jan Kölling ha scritto:
Recentemente ho iniziato i miei studi di dottorato in bioinformatica che prevedono l'analisi di grandi quantità di dati biologici da più fonti. Cerco di sviluppare strumenti che aiutino i biologi a rispondere alle loro domande in modo più efficiente e ad esplorare i set di dati oltre il loro incentivo iniziale. Gran parte del mio lavoro riguarda la comunicazione dei vantaggi di una migliore analisi e visualizzazione e la consapevolezza delle insidie che potrebbero invalidare i risultati della ricerca.
Dave ha scritto: Io lavoro in una compagnia elettrica al dettaglio, e ogni giorno 1 ... Dave ha scritto:
Lavoro in un'azienda energetica al dettaglio e dati di utilizzo giornalieri a intervalli di 15 minuti, dati meteorologici, dati di trascrizione del call center, dati di log web, oltre alla crescente necessità di analizzare rapidamente questi dati in un ambiente distribuito, ci inducono a verificare nuove soluzioni . I dati dell'intervallo da soli sono circa 2 GB al giorno. Alcune regressioni ora richiedono settimane su un server unix multicore, il che è inaccettabile.
Dale ha scritto: La più grande sfida di dati che abbia mai avuto ... vallata ha scritto:
La più grande sfida sui dati che abbia mai affrontato personalmente ha riguardato la modellizzazione e il processo decisionale nei mercati dell'elettricità. Il più grande mercato americano, PJM, ha circa 10.000 nodi unici, ognuno dei quali emette dati a frequenza oraria (o superiore). Aggiungendo a tale temperatura, quantità di carburante e prezzi e disponibilità del generatore "si aggiunge una notevole difficoltà a separare un segnale utile per le decisioni commerciali da tutto il rumore.
Maegen di Boston ha scritto: Nella mia azienda, analizziamo un grande ... Maegen a Boston ha scritto:
Nella mia azienda, analizziamo grandi quantità di dati basati su sensori raccolti in ambienti aziendali. La natura in situ dei dati significa che dobbiamo stare molto attenti a trovare schemi nel rumore, e dobbiamo essere costantemente alla ricerca di comportamenti strani sui sensori. Inoltre, la natura dei dati rende difficile l'applicazione immediata degli algoritmi di riconoscimento di pattern tipici: dobbiamo testare accuratamente il nostro insieme di ipotesi. Con il miglioramento del software e dell'hardware, ci troviamo di fronte alla sfida di garantire che le nostre analisi siano riproducibili e (se del caso) comparabili tra i progetti.
AP Williams ha scritto: La nostra più grande sfida è tipicamente ... AP Williams ha scritto:
La nostra più grande sfida è tipicamente quella di evitare l'iniezione dei nostri pregiudizi nelle nostre interpretazioni. Analizziamo i dati di vendita e marketing per determinare l'impatto delle nostre attività sui risultati, ma raramente abbiamo un vero gruppo di controllo. Ciò porta a molte sfide sia nell'analisi dei dati che nella socializzazione dei nostri risultati a causa della natura spesso inconcludente. È difficile uccidere i "draghi" (nozioni preconcette dei nostri stakeholder).
Shen Ting Ang ha scritto: Io lavoro con dati vocali e ci ar ... Shen Ting Ang ha scritto:
Lavoro con dati vocali e ci sono ancora domande che devono ancora essere completamente risolte. Sono stati proposti e utilizzati vari metodi di estrazione delle caratteristiche, ma ognuno di questi ha il proprio insieme di proprietà utili e non così utili. A seconda dell'attività e dei metodi utilizzati, di solito è il caso di tentativi ed errori per determinare la migliore combinazione e, spesso, non esiste una soluzione universalmente migliore.
Anand Chandarana ha scritto: Nel capitale umano analytics sp ... Anand Chandarana ha scritto:
Nello spazio di analisi del capitale umano, la mia più grande sfida sono i proprietari di programmi e altri soggetti interessati che desiderano che i dati realizzino qualcosa dal nulla. "Immondizia, spazzatura" come si suol dire. Se si desidera collegare un insieme di dati (ad es. Dati relativi al sondaggio di impegno) a un altro (ad es., Le valutazioni delle prestazioni), è necessario un collegamento effettivo tra i due e un flusso costante di dati. I dati di valutazione del rendimento o del sondaggio di impegno raccolti su base annuale o addirittura biennale (in quest'ultimo caso) non sono molto utili. I dati dei sondaggi di coinvolgimento sono molto più preziosi quando vengono raccolti tramite sondaggi a impulsi su base trimestrale / continua. Le valutazioni delle prestazioni sono spesso così indifferenziate e inaccurate che raramente sono correlate ad altre metriche del capitale umano.
Chris ha scritto: Con i Big Data arriva la grande responsabilità. Whil ... Chris ha scritto:
Con i Big Data arriva la grande responsabilità. Mentre ci piace pensare che dal punto di vista dell'analisi controlliamo il flusso di idee, mentre più idee escono, ottengono una vita propria. Ho delle sfide nella mia azienda per assicurarmi che il caso che sto facendo sia letto allo stesso modo dagli utenti finali che potrebbero non parlarmi mai, basta vedere alcune diapositive o grafici fuori dal contesto della discussione più ampia.
Anna in Indiana ha scritto: Il mio lavoro attuale e precedente sia ... Anna in Indiana ha scritto:
Il mio attuale e precedente lavoro ruotava attorno a enormi quantità di dati di cartelle cliniche elettroniche. Ci sono molte sfide quando si lavora con questi dati - se si sta tentando di mostrare dati di 10 anni su una mappa, quale codice postale dovresti usare (e se si presenta come un'area ha il 300% della popolazione data in il censimento degli Stati Uniti!)? Se un paziente riporta una razza diversa ad ogni visita, come si determina quale usare? Come possiamo aggregare i dati ad un livello che è significativo e tuttavia protegge la privacy?
Antonio da casa ha scritto: Gestire i big data come semplice ... Antonio da casa ha scritto:
Affrontare i big data come semplici individui è molto difficile. In alcuni casi, gli strumenti web possono aiutare. In un'occasione ho dovuto studiare le informazioni da una fonte web che generava dati senza sosta nel tempo. La scrittura di uno script di google e l'impostazione di un trigger basato sull'ora mi hanno consentito di raccogliere e archiviare statistiche parziali in un foglio di calcolo di Google di pochi minuti. Ciò ha notevolmente semplificato l'analisi finale.
Mike Paulonis ha scritto: File di registro da infrastrutture informatiche ... Mike Paulonis ha scritto:
I file di log dall'infrastruttura del computer sono stati spesso ignorati, sia perché i contenuti sono considerati di basso valore, perché i contenuti sono troppo poco strutturati, sia perché ci sono troppi dati registrati (che continua a crescere). Le tecniche di Big Data sono molto applicabili al difficile problema dell'analisi dei file di log e stanno sbloccando il valore anche per gli utenti non sofisticati.
Arved Harding ha scritto: Mentre affrontiamo grandi insiemi di dati in un ... Arved Harding ha scritto:
Mentre affrontiamo grandi insiemi di dati nel tentativo di raccogliere informazioni utili, potremmo trovarci di fronte a barriere come le persone che lo hanno fatto nell'ambiente di produzione per molti anni. Solo i dati di data mining possono essere un tentativo inutile. Il pensiero sistematico può essere utile: determinare i dati necessari, come e dove ottenere i dati, quindi pulire i dati della spazzatura. Ora, usando il grande computer e gli strumenti statistici di oggi, possiamo iniziare a scavare.
Scott Drumwright ha scritto: Credo che i Big Data siano un evo ... Scott Drumwright ha scritto:
Credo che i Big Data siano un passo evolutivo e non l'ultima moda tecnologica come alcuni pensano. Non sceglierai mai di analizzare meno dati una volta che avrai accesso ad altro. È costruito dentro di noi per voler mappare e spiegare il mondo in cui viviamo completamente. Questa è la prima volta per me che la prossima novità della tecnologia arriva con un avvertimento sulla moralità!
Arati Mejdal ha scritto: Ciao, Mark. Grazie per il tuo commento. Co ... Arati Mejdal ha scritto:
Ciao Mark. Grazie per il tuo commento. I commenti devono essere compresi tra 50 e 75 parole. Il tuo si qualifica!
Mark Ewing ha scritto: Non ero sicuro che il post fosse puntato ... Mark Ewing ha scritto:
Non ero sicuro che il post fosse compreso tra 50-75 parole o se 50-75 parole rappresentavano il range minimo, quindi ho selezionato il mio commento a 75 parole per essere sicuro - mi piacerebbe una copia del libro!
Mark Ewing ha scritto: Lavoro per un grande gruppo internazionale ... Mark Ewing ha scritto:
Lavoro per una grande azienda internazionale e spesso solo i dati che generiamo internamente da vendite, prezzi e altri sistemi sono enormi e archiviati dappertutto. Quando analizziamo questi sistemi, raccogliamo tutti i dati appropriati, ci uniamo correttamente e solo dopo iniziamo ad analizzarli. Perché sto distribuendo le mie soluzioni ai miei clienti, deve essere ottimizzato per la velocità e lo spazio che non è mai un problema facile da risolvere.
Arati Mejdal ha scritto: Ciao, Keith. Grazie per il tuo commento. B ... Arati Mejdal ha scritto:
Ciao, Keith. Grazie per il tuo commento. Ma come puoi vedere dalle regole regalo nel post del blog, questa offerta è aperta solo ai residenti negli Stati Uniti. Non possiamo spedire un libro in Australia. Scusate.
Keith all'EAVI ha scritto: Totalmente d'accordo con i punti di vista ... Keith all'EAVI ha scritto:
Totalmente d'accordo con i punti di vista qui sollevati.
Una delle grandi sfide con l'uso crescente dei big data è la democratizzazione. Sto già vedendo il suggerimento che molte più persone (che non sono necessariamente addestrate all'uso dei numeri) saranno in grado di fare analisi perché sarà più facile per loro avere accesso.
Indica il picco nelle query interne sul motivo per cui questo numero non corrisponde a quel numero (che in realtà non è lo stesso, ad esempio un diverso periodo di tempo, un diverso calcolo).
Non vedo l'ora che una serie di persone abbiano punti di vista completamente contrari dallo stesso insieme di dati e di quelli che si diffondono, e non ci sia un esperto di analisi che ha avuto la prima possibilità di ottenere una storia là fuori.
PS. Sono in Australia quindi ottenere un libro sarà probabilmente difficile ...
James Stiebel ha scritto: Mentre i Big Data offrono un'ottima opportunità ... James Stiebel ha scritto:
Sebbene i Big Data offrano grandi opportunità di approfondimento, fornisce una maggiore quantità di problemi, complessità e confusione (specialmente quando si considerano le interazioni). Quando formando nuovi analisti, evito i Big Data come la peste. Piccole regole dei dati!
La mia esperienza ha dimostrato che Little Data è molto più gestibile, amichevole e prezioso. Con set di dati più piccoli, trovo la mia capacità di testare combinazioni di variabili, simulare il campionamento di più dati e creare più modelli predittivi molto più semplice / più veloce. I Big Data richiedono molto più tempo per essere investiti nella preparazione e analisi dei dati per guidare approfondimenti. Non sono sicuro che i Big Data valgano il grande sforzo.
Kehleboe Gongloe ha scritto: Nel 2008, mi è stato chiesto di organizzare ... Kehleboe Gongloe ha scritto:
Nel 2008, mi è stato chiesto di organizzare e condurre indagini sulla forza lavoro in Liberia. Nessuna precedente esperienza nel fare una tale ricerca e nessun precedente sondaggio sulla forza lavoro condotto in Liberia. Dove e come iniziare è stata una sfida difficile. Il nostro salvatore era il Dipartimento di statistica dell'Organizzazione internazionale del lavoro. Abbiamo raccolto i dati e analizzati, ma il governo ha concesso il permesso di rilasciare i risultati più di un anno dopo. Questa sfida mi ha riportato a scuola e sto studiando statistiche. L'intero concetto di big data mi sta facendo affascinare e sto iniziando a propendere in modo serio.
Sastry Pantula ha scritto: I Big Data forniscono BIG (Busines ... Sula Pantula ha scritto:
I Big Data stanno offrendo opportunità GRANDI (Affari, Industria e Governo), specialmente durante questo Anno Internazionale di Statistica. Sfortunatamente, alcuni nascondono i dati e non li rendono accessibili per fare uso di, testare indipendentemente o addestrare futuri risolutori di problemi. C'è anche bisogno di costruire la capacità degli statistici di tutto il mondo di soddisfare la domanda.
Wilfredo Salinas ha scritto: Nel mio lavoro, dobbiamo analizzare il sal ... Wilfredo Salinas ha scritto:
Nel mio lavoro, dobbiamo analizzare le transazioni di vendita da diverse centinaia di posizioni. Nella nostra analisi ci piacerebbe osservare ogni transazione che accade in ogni minuto, ma i dati sono così travolgenti che dobbiamo ridurli a un paio di ore del giorno. La seconda sfida consiste nell'esportare i dati dal server SQL in un foglio di calcolo. Il nostro limite attuale è di solo 1 milione di righe. Questo ci obbliga a creare più set di file per giorni della settimana, ora del giorno e set di posizioni. Il nostro unico modo per ottenere la "grande immagine" da questo insieme di big data è creare riferimenti collegati. In più occasioni questi collegamenti non si aggiornano o alla fine vengono eliminati. Può essere molto frustrante.
Robert Lochel ha scritto: Negli ultimi 2 anni, ho servito come un ins ... Robert Lochel ha scritto:
Negli ultimi 2 anni, ho servito come istruttore nel mio distretto scolastico. Con l'avvento degli esami Keystone qui in Pennsylvania, è necessario raccogliere dati sulle prestazioni degli studenti durante il loro corso di algebra 1. Lo stato fornisce un Classroom Diagnostic Test (CDT) online, che adatta le domande in base alle risposte degli studenti. Il test fornisce un punteggio, ma poca correlazione predittiva all'esame Keystone reale. Ora che abbiamo il nostro primo ciclo di dati sulle prestazioni degli studenti, ho lavorato per confrontare i punteggi degli studenti Kesytone con i risultati degli studenti CDT al fine di fornire un feedback agli studenti che assumono il CDT e fornire un percorso per il miglioramento.
Glenn Waddell ha scritto: Io sono un insegnante di matematica e un tè delle statistiche AP ... Glenn Waddell ha scritto:
Sono un insegnante di matematica e insegnante di AP Stats in una scuola pubblica. La quantità di dati che generiamo è enorme, ma nessuno ha mai il tempo o l'energia per passare effettivamente e vedere cosa possiamo fare in modo diverso, migliorare, o anche quali tendenze o modelli sono nei dati. Posso insegnare o posso analizzare i dati, ma non posso fare entrambe le cose! Cerco sempre di imparare come fare entrambe le cose meglio.
Chris Bodily ha scritto: Incontro spesso situazioni in cui Bi ... Chris Bodily ha scritto:
Incontro spesso situazioni in cui i Big Data portano a grossi problemi. Molte volte le analisi vengono tentate raccogliendo i dati in un foglio di calcolo per visualizzarli e identificare i set di sotto-dati. Altre volte, i big data implicano grandi report con dozzine o addirittura centinaia di grafici e tabelle. Inoltre, gli individui trascorrono ore nel processo e finiscono con un output che non fornisce ancora le informazioni e le indicazioni necessarie. Con gli strumenti adeguati, è possibile una corretta convalida dei dati e un'analisi efficace porta all'apprendimento. Anche visualizzare i dati in modo efficace può fornire indizi e informazioni prima di qualsiasi altra analisi.
