Stanley Young, Ph.D. , PDG, CGStat LLC
Bob Obenchain, PhD, consultant principal, Risk Benefit Statistics LLC
Goran Krstic,Autorité sanitaire de Fraser
Les grands ensembles de données (observationnelles) offrent généralement des opportunités de recherche, mais aussi des problèmes pouvant conduire à des affirmations erronées. Dans le Big Data, l'erreur type d'une estimation d'effet tend vers zéro lorsque la taille de l'échantillon augmente ; ainsi, même de faibles biais peuvent conduire à des affirmations (mais fausses). De plus, la moyenne du traitement peut être quasiment dénuée de sens en présence d'interactions avec des facteurs de confusion créant des variations locales dans les tailles d'effet. Les dataminers ont besoin de méthodes statistiques capables de traiter simplement et efficacement ces sources de biais. Nous démontrons ici l'utilisation d'un module complémentaire JMP, Moving Median, et d'une nouvelle plateforme JMP, Local Control, pour l'analyse de deux ensembles de données. Notre première étude de cas illustre la réduction des biais dans un ensemble de données d'épidémiologie environnementale. Notre seconde étude utilise Local Control sur un exemple de série chronologique de qualité de l'air. En détectant les interactions, les dataminers peuvent produire des analyses plus réalistes et plus pertinentes, réduisant ainsi les biais généralement impliqués par la variété et l'hétérogénéité du Big Data.
