Potenziare i progetti "Big Data"
Ronald Snee, PhD, Presidente, Snee Associates
Richard De Veaux, C. Carlisle e Margaret Tippit Professore di Statistica, Williams College
Roger Hoerl, PhD, Assistant Professor, Union College
JMP offre una serie di strumenti avanzati per analizzare enormi serie di dati, tra cui partizioni, cluster neurali e k-means. Questi strumenti rendono disponibili metodi statistici ad alta potenza non solo per gli statistici professionisti, ma anche per gli utenti occasionali. Come per qualsiasi strumento, i risultati attesi sono proporzionali alla conoscenza e all'abilità dell'utente. Sfortunatamente, gran parte della letteratura di data mining, machine learning e "big data" può dare agli utenti occasionali l'impressione che se si dispone di un algoritmo abbastanza potente e di molti dati, sono garantiti buoni modelli e buoni risultati. Questa sessione si concentrerà su tre importanti principi che a nostro avviso sono stati sottostimati in letteratura: l'importanza di utilizzare approcci sequenziali per l'indagine scientifica, al contrario di "studi one-shot"; la necessità che la modellazione empirica sia guidata dalla teoria della materia, compresa l'interpretazione dei dati nel contesto del processo e del sistema di misurazione che l'ha generata; e la tipica ipotesi non dichiarata che tutti i dati sono stati creati uguali, e quindi che la quantità di dati è più importante della qualità dei dati. Discuteremo i problemi che possono sorgere quando questi fondamentali vengono ignorati e condividiamo i nostri pensieri ed esperienze su come migliorare i progetti di data mining.
