Potenziamento dei progetti “Big Data”
Ronald Snee, PhD, Presidente, Snee Associates
Richard De Veaux, C. Carlisle e Margaret Tippit Professore di Statistica, Williams College
Roger Hoerl, PhD, Professore associato, Union College
JMP offre una serie di strumenti avanzati per analizzare enormi set di dati, tra cui partizione, clustering neurale e k-means. Questi strumenti rendono disponibili metodi statistici ad alta potenza non solo agli statistici professionisti, ma anche agli utenti occasionali. Come con qualsiasi strumento, i risultati attesi sono proporzionali alla conoscenza e all'abilità dell'utente. Sfortunatamente, gran parte della letteratura su data mining, apprendimento automatico e "big data" può dare agli utenti occasionali l'impressione che se si dispone di un algoritmo sufficientemente potente e di molti dati, buoni modelli e buoni risultati sono garantiti. Questa sessione si concentrerà su tre importanti principi che a nostro avviso sono stati sottovalutati nella letteratura: l'importanza di utilizzare approcci sequenziali all'indagine scientifica, al contrario di "studi one-shot"; la necessità che la modellazione empirica sia guidata dalla teoria della materia, inclusa l'interpretazione dei dati nel contesto del processo e del sistema di misurazione che li ha generati; e la tipica ipotesi non dichiarata che tutti i dati siano creati uguali e quindi che la quantità di dati sia più importante della qualità dei dati. Discuteremo i problemi che possono sorgere quando questi principi fondamentali vengono ignorati e condivideremo le nostre riflessioni ed esperienze su come migliorare i progetti di data mining.
