John Sall explains why we need not be afraid of ghost data.John Sall explains why we need not be afraid of ghost data.John Sall explains why we need not be afraid of ghost data.John Sall explains why we need not be afraid of ghost data.John Sall이 유령 데이터를 두려워할 필요가 없는 이유를 설명합니다.
정량적 및 정성적 데이터. 숫자 및 문자 데이터. 표현식 및 구조화되지 않은 텍스트 데이터. 이는 귀하가 이미 알고 있고 처리 방법을 알고 있는 모든 유형의 데이터입니다.
하지만 아직 들어보지 못한 또 다른 데이터 카테고리가 있습니다. 고스트 데이터 . 그리고 아니요, 그건 제가 할로윈을 위해 만들어낸 것이 아닙니다.
SAS의 공동 창립자이자 부사장인 John Sall은 실제로 존재하지 않는 데이터인 고스트 데이터(Ghost Data)에 대해 생각해 왔습니다. 그는 우리가 유령 데이터를 이해하고 감상해야 한다고 말합니다.
SAS의 JMP 사업부 책임자로서 그는 고객과 대화하고 소프트웨어 개발을 돕습니다. 그는 또한 데이터, 통계, 기술에 관해 많은 것을 읽고 생각합니다. 당신은 그의 글을 읽어본 적이 있을 것입니다. 블로그 게시물 ~에 대한 통계가 꼭 필요한 이유 그리고 데스크탑 컴퓨터가 죽지 않은 이유 . 그는 미국통계협회와 미국과학진흥협회의 회원입니다.그리고 그는 기조 연설자입니다. 디스커버리 서밋 2017(세인트루이스) , 여기서 그는 고스트 데이터에 대해 이야기할 것입니다.고스트 데이터에 대한 내 질문(어리석은 질문 하나 포함)에 대한 그의 답변을 읽어보세요.
고스트 데이터에 대해 알려주세요.
고스트 데이터는 존재하지 않는 모든 데이터를 말하며, 종류도 다양합니다. 예를 들어, 직접 보기 전까지는 존재하지 않는 가상 데이터가 있습니다. 표면적으로는 충분히 실제처럼 보이지만 필요할 때만 구체화됩니다. 희소한 데이터가 있는데, 그 부재는 0을 의미합니다. 희소성은 여러 종류의 분석에서 핵심적인 계산 지원 요소입니다. 누락된 데이터도 있습니다. 이 데이터에는 값을 보유하는 슬롯이 있지만 해당 값을 알 수 없으므로 슬롯이 비어 있습니다. 또 다른 유형의 고스트 데이터는 구성된 데이터인 척 데이터입니다. 이런 종류의 데이터는 "만약에?"라는 답을 얻기 위해 시뮬레이션에 중요합니다. 고스트 데이터에는 더 많은 유형이 있지만 이 네 가지가 데이터 분석에 중요합니다. JMP .
유령 데이터를 두려워해야 할까요?
유령 데이터를 두려워할 필요가 없습니다. 존재하지 않는 데이터일 뿐입니다. 실제 데이터만큼 자연스럽습니다. 우리가 가지고 있는 데이터에 감사하는 것처럼, 존재하지 않는 데이터에도 감사가 필요합니다. 우리는 이를 처리하는 방법, 모델링하는 방법, 실행 방법을 알아야 합니다. 고스트 데이터를 올바르게 처리하는 것은 매우 중요합니다.
고스트 데이터를 처리하는 한 가지 방법은 무엇입니까?
누락된 데이터를 살펴보겠습니다. 과거에는 분석 변수 중 하나가 누락된 행을 건너뛰곤 했습니다. 문제는 결측값이 완전히 무작위가 아닌 경우 이 방법이 결과에 편향을 가져온다는 것입니다. 이제 결측값이 예측 가능하다고 가정하고 결측값을 모델에 직접 통합합니다. 이를 "정보 누락"이라고 합니다. 2008년 금융 위기 이전 몇 년간의 모기지 데이터는 정보 누락의 좋은 예입니다. 모기지 채무 불이행 확률을 모델링할 때 "소득" 및 "소득 대비 부채 비율"과 같은 변수에 대한 결측값이 있는 모든 행이 삭제된 경우 결과는 편향됩니다. 종종 대출 신청자는 해당 값을 제공하면 대출 자격을 상실하게 된다는 것을 알고 있었기 때문에 해당 값을 생략했습니다. 우리가 샘플 데이터와 함께 제공하는 데이터 테이블에서 소득 대비 부채 비율이 누락된 것은 모기지 채무 불이행의 가장 중요한 예측 변수입니다.
할로윈에 유령 데이터로 가고 싶다면 의상은 어떤 모습일까요?
투명 인간, 투명 망토를 사용하는 해리포터, 또는 그것의 메타물질 버전입니다.
좋습니다. 2008년 위기에 대한 언급이 마음에 듭니다!
@jon_stallings DOE에는 고스트 데이터를 처리하기 위한 많은 전략이 있지만...저는 차단을 실험 수행 중에 숨어 있는 요인의 한 가지 소스를 처리하는 수단으로 생각합니다...설계된 실험을 실행한 후에도 누락이 나타납니다. ...DOE에서 온갖 원인으로 인해 응답 값이 누락된 경우가 몇 번이나 있습니까?
이것이 모든 데이터 분석가가 실험 설계 교육이 필요한 이유입니다. 무작위화의 핵심은 고스트 데이터의 영향을 완화하는 것입니다.
