Verbesserung von „Big Data“-Projekten
Ronald Snee, PhD, Präsident, Snee Associates
Richard De Veaux, C. Carlisle und Margaret Tippit, Professor für Statistik, Williams College
Roger Hoerl, PhD, Assistenzprofessor, Union College
JMP bietet eine Reihe fortschrittlicher Tools zur Analyse großer Datensätze, darunter Partitionierung, neuronales Clustering und K-Means-Clustering. Diese Tools stellen leistungsstarke statistische Methoden nicht nur professionellen Statistikern, sondern auch Gelegenheitsanwendern zur Verfügung. Wie bei jedem Tool hängen die zu erwartenden Ergebnisse vom Wissen und Können des Anwenders ab. Leider vermittelt ein Großteil der Literatur zu Data Mining, maschinellem Lernen und „Big Data“ Gelegenheitsanwendern den Eindruck, dass mit einem ausreichend leistungsstarken Algorithmus und umfangreichen Daten gute Modelle und gute Ergebnisse garantiert sind. Diese Sitzung konzentriert sich auf drei wichtige Prinzipien, die unserer Meinung nach in der Literatur unterbewertet werden: Die Bedeutung sequentieller Ansätze für wissenschaftliche Untersuchungen im Gegensatz zu „One-Shot-Studien“; die Notwendigkeit einer empirischen Modellierung, die sich an der Fachtheorie orientiert, einschließlich der Interpretation der Daten im Kontext des Prozesses und des Messsystems, das sie generiert hat; und die typische unausgesprochene Annahme, dass alle Daten gleich sind und daher die Datenquantität wichtiger ist als die Datenqualität. Wir diskutieren die Probleme, die entstehen können, wenn diese Grundlagen ignoriert werden, und teilen unsere Gedanken und Erfahrungen darüber, wie Data-Mining-Projekte verbessert werden können.
