<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Stanley Young Stanyoung , PhD, PDG, CGStat LLC
Bob Obenchain, PhD, consultant principal, Risk Benefit Statistics LLC
Goran Krstic, Autorité sanitaire Fraser
Les grands ensembles de données (d'observation) présentent généralement des opportunités de recherche, mais aussi des problèmes pouvant conduire à de fausses déclarations. Dans le Big Data, l'erreur type d'une estimation d'effet va jusqu'à zéro lorsque la taille de l'échantillon augmente. Ainsi, même de petits biais peuvent conduire à des déclarations déclarées (mais fausses). En outre, la moyenne du traitement peut être presque dépourvue de sens lorsqu'il existe des interactions avec des facteurs de confusion qui créent une variation locale de la taille de l'effet. Les Data Miners ont besoin de méthodes statistiques capables de traiter simplement et efficacement ces sources de biais. Ici, nous démontrons l'utilisation d'un complément JMP, Moving Median, et d'une nouvelle plate-forme JMP, Local Control, pour l'analyse de deux ensembles de données. Notre première étude de cas illustre la réduction des biais dans un ensemble de données d'épidémiologie environnementale. Notre deuxième étude utilise le contrôle local sur un exemple de série chronologique sur la qualité de l'air. En détectant les interactions, les fouilleurs de données peuvent produire des analyses plus réalistes et plus pertinentes qui réduisent le biais généralement impliqué par la variété et l'hétérogénéité du Big Data.
