著名な統計学者、教育者、作家であるデビッドハンドは、抽象をより具体的にし、目に見えないものを見えるようにする才能を持っています。彼の最新の本では、ダークデータ：なぜあなたが知らないことが重要なのか 、彼はさまざまな種類の「見えないデータ」とそれらを無視した結果を分類しました 。
私はこの本を大いに楽しみ、強くお勧めします。「科学とダークデータ： Nature of Discovery」は特に興味深いものでした。その理由を説明しますが、最初に少し背景を...
2014年に、私はDavidにインタビューしました。分析的に話す 、彼が研究と革新のために大英帝国勲章を授与された直後、そして彼の非常に人気のある本のリリース、確率の原則：偶然、奇跡、珍しいイベントが毎日発生する理由 （私も非常に楽しんでお勧めします）。何が彼を統計に導いたのか彼に尋ねたとき、彼は若い頃、彼は科学に魅了され、科学者になりたかったと言った。彼は若者として、科学者であることが朝に考古学遠征に出かけ、午後に癌の治療法を見つけ、夜に新しい星を発見することを意味すると考えていたと伝えました。最終的に、デイビッドは科学者になりたいなら専門にならなければならないことに気づきましたが、彼は自分の焦点を狭めたくありませんでした。
ありがたいことに、デービッドは統計情報を「偶然に」発見しました。これは、他の科学、政府、そして本質的には「みんなの裏庭」にとってのインフラストラクチャと見なしています。統計を通じて、デビッドは自分のなりたい科学者になり得、他の科学者と協力して、彼の統計的専門知識をさまざまなことに携わるようにしました。
JMPのユーザーは主に科学者とエンジニアであるため、その多くは、パンデミックに関連するタイムリーな問題（ダークデータの課題が多い！）に取り組んで驚異的な仕事をしています– JMP 提供させていただきます抜粋 「サイエンスデータとダークデータ：発見の性質」の章の「ダークデータと全体像」
この抜粋では、Davidは再現性の問題を調査し、科学はプロセスであることを強調し、課題があってもプロセスは壊れていません（ただし、「誤った結論が最初に出されなかった場合」は確実にメリットがあります）。もちろん、再現性を損なう要因は数多くありますが、Davidは、誤った結論が出ないようにするためのいくつかのツールについて説明する前に十分にカバーしています。これらのツールの中には、より優れた研究デザインや、Yoav BenjaminiやYosef Hochbergの誤った発見率に関する研究など、より最近のツールがあります。
（ちなみに、John Sallはこのトピックに関して素晴らしいブログ投稿をしています。偶然をフィルタリングするだけではない：偽の発見率と短いビデオ （2：30–8：50セグメントを参照）。ジョンは彼の中で「ゴースト」データという用語を使用しました 2017ディスカバリーサミットトークやったブログインタビューそこにないデータの上位4つのカテゴリについて。）
Davidは、そこにない11種類のデータをより詳細に分類するという非常に徹底的な仕事をしています。ダークデータの種類を把握しておくことが重要です。ダークデータの章をご覧ください抜粋そしてその本ダークデータの課題に対処するのに役立ちます。ダビッドが言うように、「暗いデータはどこにでもある」。その他の例については、DavidのDark Dataブログを参照してください。ダークデータがどのように私たちを迷わせているか 。
