El renombrado estadístico, educador y autor, David Hand, tiene el don de hacer lo abstracto más concreto y hacer visible lo invisible. En su último libro, Datos oscuros: por qué importa lo que no sabes , categoriza los diferentes tipos de "datos que no vemos" y las consecuencias de ignorarlos .
Disfruté mucho este libro y lo recomiendo mucho. El capítulo, "Ciencia y datos oscuros: La naturaleza del descubrimiento ”, fue de especial interés, y explicaré por qué, pero primero un poco de antecedentes ...
En 2014, entrevisté a David para Hablando analíticamente , poco después de recibir la Orden del Imperio Británico por investigación e innovación, y el lanzamiento de su muy popular libro, El principio de improbabilidad: por qué ocurren todos los días coincidencias, milagros y acontecimientos raros (que también disfruté mucho y recomiendo). Cuando le pregunté qué lo llevó a la estadística, dijo que cuando era joven le fascinaba la ciencia y quería ser científico. Transmitió que, cuando era joven, pensaba que ser científico significaba que podía ir a una expedición arqueológica por la mañana, encontrar una cura para el cáncer por la tarde y descubrir una nueva estrella por la noche. Finalmente, David se dio cuenta de que si quería ser científico, tenía que especializarse, pero no quería limitar su enfoque.
Afortunadamente, David descubrió "accidentalmente" las estadísticas, que él ve como una infraestructura, para otras ciencias, para el gobierno y esencialmente para "el patio trasero de todos". A través de las estadísticas, David podría ser el científico que quería ser, trabajando en colaboración con otros científicos aportando su experiencia estadística para una amplia variedad de cosas.
Porque los usuarios de JMP son principalmente científicos e ingenieros, muchos de los cuales están haciendo un trabajo fenomenal trabajando en problemas oportunos relacionados con la pandemia (¡donde hay muchos desafíos de datos oscuros!) - JMP se complace en ofrecer el extracto "Datos oscuros y el panorama general" del capítulo "Ciencia y datos oscuros: la naturaleza del descubrimiento".
En este extracto, David explora el tema de la reproducibilidad, enfatizando que la ciencia es un proceso y, a pesar de los desafíos, el proceso no está roto (aunque todos ciertamente nos beneficiaríamos “si inicialmente se sacaran menos conclusiones incorrectas”). Por supuesto, hay muchos factores que contribuyen a la irreproducibilidad, que David cubre bien antes de discutir algunas herramientas para evitar sacar conclusiones incorrectas. Entre esas herramientas se encuentran un mejor diseño de estudios y herramientas más recientes, como el trabajo de Yoav Benjamini y Yosef Hochberg sobre la tasa de descubrimiento falso.
(Por cierto, John Sall tiene una buena publicación de blog sobre este tema, No solo filtrar coincidencias: tasa de falsos descubrimientos y un video corto (vea el segmento 2: 30–8: 50). John usó el término datos "fantasma" en su Charla de la Cumbre Discovery 2017 e hizo un entrevista de blog alrededor de cuatro categorías de datos de nivel superior que no existen).
David hace un trabajo muy completo al categorizar de manera más granular 11 tipos de datos que no existen. Es importante saber qué tipo de datos oscuros puede tener, por lo que esperamos que obtenga el capítulo Datos oscuros extracto y el libro para ayudarlo a abordar sus desafíos de datos oscuros. Porque, como dice David, "los datos oscuros están en todas partes". Para obtener más ejemplos, consulte el blog Dark Data de David, Cómo los datos oscuros nos llevan por mal camino .
