저명한 통계 학자이자 교육자이자 저자 인 David Hand는 추상을보다 구체적으로 만들고 보이지 않는 것을 보이게 만드는 재능을 가지고 있습니다. 그의 최근 책에서 다크 데이터 : 모르는 것이 중요한 이유 , 그는 다양한 종류의 "우리가 볼 수없는 데이터"와이를 무시한 결과를 분류합니다. .
나는이 책을 매우 즐겼고 적극 추천한다. "과학 및 다크 데이터 : 'The Nature of Discovery'는 특별한 관심사 였고 그 이유를 설명하겠습니다.하지만 먼저 배경에 대해 설명하겠습니다.
2014 년에 저는 David와 인터뷰를했습니다. 분석적으로 말하기 그는 연구와 혁신에 대한 대영 제국 훈장을 받고 그의 유명한 책을 발표 한 직후, 비 개연성 원칙 : 우연, 기적, 희귀 한 사건이 매일 일어나는 이유 (나는 또한 크게 즐겼고 추천합니다). 내가 그에게 통계로 이끄는 이유를 물었을 때 그는 어렸을 때 과학에 매료되었고 과학자가되고 싶다고 말했습니다. 그는 젊었을 때 과학자가된다는 것은 아침에 고고학 탐험을 떠나 오후에 암 치료제를 찾고 저녁에 새로운 별을 발견 할 수 있다는 것을 의미한다고 생각했습니다. 결국 David는 자신이 과학자가 되려면 전문화해야했지만 초점을 좁히고 싶지 않다는 것을 깨달았습니다.
고맙게도 David는 "우연히"통계를 발견했습니다. 그는 다른 과학, 정부 및 본질적으로 "모든 사람의 뒷마당"에 대한 인프라로 보는 통계를 발견했습니다. 통계를 통해 David는 자신이 원하는 과학자가 될 수 있으며, 그의 통계 전문 지식을 다양한 분야에 적용함으로써 다른 과학자들과 협력 할 수 있습니다.
JMP 사용자는 주로 과학자와 엔지니어이기 때문에 많은 사람들이 전염병 (다크 데이터 문제가있는 곳)과 관련된시기 적절한 문제를 해결하는 놀라운 작업을 수행하고 있습니다. JMP 제공하게되어 기쁩니다 발췌 "과학과 다크 데이터 : 발견의 본질"장의 "다크 데이터와 큰 그림".
이 발췌문에서 David는 과학이 하나의 과정이라는 점을 강조하면서 재현성 문제를 탐구하며, 도전에도 불구하고 과정이 깨지지 않았습니다 (우리 모두가 "처음에 잘못된 결론을 덜 내리면"확실히 이익을 얻 겠지만). 물론 비 재현성에 기여하는 많은 요인이 있습니다. David는 잘못된 결론을 도출하는 것을 방지하기위한 몇 가지 도구에 대해 논의하기 전에이를 잘 다룹니다. 이러한 도구 중에는 더 나은 연구 설계와 Yoav Benjamini 및 Yosef Hochberg의 잘못된 발견 률에 대한 연구와 같은 최신 도구가 있습니다.
(그런데 John Sall은이 주제에 대한 멋진 블로그 게시물을 가지고 있습니다. 우연을 필터링하는 것뿐만 아니라 잘못된 발견 률 그리고 짧은 비디오 (2 : 30–8 : 50 부분 참조). John은 "유령"데이터라는 용어를 2017 Discovery Summit 토크 그리고했다 블로그 인터뷰 거기에없는 약 4 개의 상위 수준 데이터 카테고리.)
David는 거기에없는 11 가지 유형의 데이터를보다 세밀하게 분류하는 매우 철저한 작업을 수행합니다. 어떤 종류의 다크 데이터가 있는지 아는 것이 중요하므로 다크 데이터 챕터를 받으시기 바랍니다. 발췌 그리고 책 다크 데이터 문제를 해결하는 데 도움이됩니다. David가 말했듯이 "다크 데이터는 어디에나 있습니다." 더 많은 예는 David의 Dark Data 블로그를 참조하십시오. 다크 데이터가 우리를 잘못된 길로 이끄는 방법 .
