Améliorer les projets « Big Data »
Ronald Snee, Ph. D., président, Snee Associates
Richard De Veaux, professeur de statistiques C. Carlisle et Margaret Tippit, Williams College
Roger Hoerl, PhD, professeur adjoint, Union College
JMP propose plusieurs outils avancés pour analyser des ensembles de données volumineux, notamment le partitionnement, le clustering neuronal et le clustering des k-moyennes. Ces outils mettent des méthodes statistiques performantes à la disposition non seulement des statisticiens professionnels, mais aussi des utilisateurs occasionnels. Comme pour tout outil, les résultats attendus sont proportionnels aux connaissances et aux compétences de l'utilisateur. Malheureusement, une grande partie de la littérature sur l'exploration de données, l'apprentissage automatique et le « big data » peut donner aux utilisateurs occasionnels l'impression qu'un algorithme suffisamment puissant et une quantité importante de données garantissent des modèles performants et de bons résultats. Cette session se concentrera sur trois principes importants qui, à notre avis, ont été sous-estimés dans la littérature : l'importance d'utiliser des approches séquentielles pour la recherche scientifique, par opposition aux « études ponctuelles » ; la nécessité pour la modélisation empirique d'être guidée par la théorie du sujet, y compris l'interprétation des données dans le contexte du processus et du système de mesure qui les a générées ; et l'hypothèse implicite courante selon laquelle toutes les données sont créées de manière égale, et donc que la quantité de données est plus importante que la qualité des données. Nous discuterons des problèmes qui peuvent survenir lorsque ces principes fondamentaux sont ignorés et partagerons nos réflexions et expériences sur la manière d’améliorer les projets d’exploration de données.
