연구, 특히 심리학 분야에서 복제 위기에 대해 들어보셨을 것입니다. 연구를 위한 리트머스 테스트 중 하나는 결과가 재현 가능해야 한다는 것입니다. 즉, 동일한 조건에서 동일한 방법을 사용하여 작업하는 다른 연구자가 유사한 결과를 생성할 수 있어야 합니다. 점점 더 많은 과학자들이 우려하고 있습니다. 발표된 많은 연구는 복제가 불가능합니다. , 데이터를 사용할 수 없거나 결과가 더 큰 모집단에 일반화되지 않는 작은 표본을 기반으로 하기 때문입니다. 일부 연구의 복잡한 특성으로 인해 데이터 분석의 코딩 오류가 발생할 수 있습니다. 오해의 소지가 있는 결과 , 이러한 문제를 찾는 것이 거의 불가능할 수 있습니다. 에 대한 걱정도 많다. 피 -해킹 — 연구자들이 있는 곳 수십 가지 가설을 테스트하고 중요한 가설만 보고합니다. .
이로 인해 마케팅 과학 및 시장 조사 분야에 종사하는 사람들이 잠시 멈추게 됩니다. 위의 많은 비판은 우리의 일상적인 방법에 적용됩니다. 우리는 패턴을 찾기 위해 고객 설문조사를 샅샅이 뒤지고 적합하지 않은 패턴은 무시하는 경우가 많습니다. 경영진에 대한 우리의 보고서는 중요한 발견 사항을 강조하고 데이터 변환, 제외된 주제, 연구 방법론을 포함하여 우리가 거기에 도달한 방법에 대한 세부 정보를 생략합니다. 대부분의 시장 조사 프로젝트의 일정이 짧다는 것은 결과를 빠르게 처리해야 하며 빠르게 작업하면 실수하기가 더 쉽다는 것을 의미합니다.
우리가 가장 측정하고 싶은 것이 개념이라는 사실을 염두에 두지 마십시오. 고객 만족도, 추천 가능성, 제품 매력 등은 모두 우리 비즈니스에 가치 있는 아이디어입니다. 그들은 또한 본질적으로 시끄럽고 오해의 소지가 있습니다. 잠재 고객은 새 자동차의 외관을 좋아할 수 있지만 이것이 해당 자동차를 구매할 것이라는 의미는 아닙니다. 오늘 제공되는 제품에 만족하는 고객은 경쟁업체가 내일 더 낮은 가격에 유사한 제품을 제공하면 분노할 수 있습니다. 추천 가능성은 변호사나 배관공과 같은 전문 서비스에 적합할 수 있지만, 지역 커피숍에는 어떤 의미가 있습니까?
이 중 어느 것도 우리가 업무를 신중하게 수행하지 못하는 이유가 되지 않습니다. 사실, 시장 조사의 특정 문제로 인해 좋은 과학의 규칙을 따르는 것이 더욱 중요하다고 생각합니다. 이전 게시물 .
우리의 (분석) 도구의 결함
전통적으로 통계 분석 도구는 일종의 스크립팅 언어(R, SAS , SPSS) 또는 사용자의 포인트 앤 클릭 작업( JMP , 엑셀). 분석 단계를 재현하려면 연구원이 코드를 문서화하고 대조하도록 의존해야 하거나(쉬운 작업은 아님) 마우스 클릭을 어떻게든 문서화해야 합니다. 두 경우 모두, 모든 것을 기록하는 것은 연구자의 몫이므로 시간이 많이 걸리고 오류가 발생하기 쉽습니다. 연구 과정에 대한 더 나은 문서화의 필요성은 과학자들이 데이터, 코드, 문서를 결합하는 데 도움이 되는 도구 다른 과학자들이 자신의 발견을 재현할 수 있도록 말이죠.
분석 문서로서의 JMP 스크립팅 언어
내가 가장 좋아하는 것 중 하나 JMP 기능은 모든 플랫폼의 빨간색 삼각형 메뉴 아래에 있는 "데이터 테이블에 스크립트 저장" 옵션입니다. JMP는 원래 과학자와 엔지니어를 위해 개발되었습니다. 초기에는 제품이 포인트 앤 클릭 방식으로 만들어졌지만 의도한 사용자는 버튼을 눌러 마우스 클릭을 재현해야 한다는 것이 분명해졌으며 이에 따라 JMP 스크립팅 언어가 탄생했습니다.
데이터 테이블에 스크립트를 저장하면 데이터가 있는 사람은 누구나 분석을 다시 만들 수 있습니다. 또한 추가 탐색, 설정 변경, 행 제외 또는 제외 취소, 다양한 변환 시도 등을 수행할 수도 있습니다. 그런 다음 작업 내용을 데이터 테이블에도 저장하고 다른 동료와 다시 공유할 수 있습니다. 예, 다른 소프트웨어 플랫폼으로도 이 작업을 수행할 수 있지만 JMP의 도구는 제가 본 도구 중 가장 쉽고 직관적입니다.
행 숨기기 및 제외, 공식 열: 자체 문서화 데이터 변경 사항
모든 사람이 귀하의 질문에 주의 깊게 답변하는 것은 아니며, 심지어 기계 측정도 때때로 부정확하거나 오해의 소지가 있습니다. 분석에서 행을 제외하는 데에는 타당한 이유가 있지만, 제외된 모든 행을 문서화하고 작업을 다시 확인하려는 경우 쉽게 사용할 수 있도록 해야 하는 많은 이유도 있습니다.
JMP에서는 분석에서 행을 제외하여 계산된 통계에 영향을 주지 않지만 그래프에는 계속 표시되도록 할 수 있습니다. 당신은 할 수 있습니다 숨기기 및 제외 전혀 보고 싶지 않다면.데이터 테이블에는 행 수가 표시됩니다. 숨겨지고 제외됨 , 따라서 모든 데이터를 사용하고 있지 않다는 것을 항상 알 수 있습니다. 또한 데이터 필터 를 사용하면 하위 그룹을 대화형으로 볼 수 있습니다.
데이터 변환은 회귀 분석의 일반적인 방법입니다. JMP 데이터 테이블 사용 수식 편집기 를 사용하면 새로운 변환된 열을 생성할 수 있으며 항상 해당 열을 수행한 방법에 대한 정확한 기록을 보유할 수 있습니다.
응답 선별: 사고 없는 관계 확인 피 -해킹
얼마나 많은 가설을 테스트하고 있는지 깨닫지 못하거나 "진짜" 오류를 추적하지 않고도 한 번에 하나씩 가설을 테스트하는 것은 매우 쉽습니다. 또한 시간이 많이 걸립니다. 개별 분석을 수행하지 않고도 데이터의 모든 관계를 테스트할 수 있다면 좋지 않을까요? 그리고 데이터에 노이즈만 보이는 것이 아닌지 확인하세요. 당신은 할 수 있습니다 - 응답 선별 플랫폼 .
응답 선별 플랫폼을 사용하면 테스트하려는 모든 쌍별 관계를 지정할 수 있습니다. 각 쌍에 대해 보유하고 있는 데이터 종류(정규, 순서 및 연속)를 감지하고 해당 쌍에 대해 올바른 유형의 테스트를 수행합니다. 결과 보고서 얼마나 많은 테스트를 수행하는지 고려합니다. 귀하가 요청했으며 어떤 관계가 통계적으로 유의미한지에 대한 현실적인 견해를 제공합니다.
이는 쌍별 관계만 테스트하기 때문에 완벽한 기술은 아닙니다. 보고서의 각 지점은 다른 열과의 관계를 고려하지 않고 수행된 테스트를 나타냅니다. 그러나 이는 빠르고 사용하기 쉬우며, 가능한 모든 비교를 통해 해킹하고 확인한 수를 추적하려고 하는 것보다 훨씬 낫습니다.
때때로 답이 확실하지 않아 다시 시도해야 합니다.
시장 조사에 관해 제가 가장 좋아하는 이야기 중 하나는 제가 저희 컨퍼런스에서 보여드릴 예입니다. 지금부터 2주 후에 런던에서 열리는 JMP Explorer 이벤트 . 이는 지역 데이터 과학 그룹의 어떤 이벤트가 가장 인기가 있었는지 알아보기 위해 제가 설계한 MaxDiff 실험입니다. 결과는 – 눈에 띄지 않았습니다. 그러나 그 흥미롭지 않은 결과로 인해 나와 내 팀은 이벤트를 계획하고 고객에게 다가가는 방법에 대해 다르게 생각하게 되었습니다.
시장 조사팀이 모든 분석의 결과를 보여줘야 한다는 압박감을 느낀다면, 그들은 보여줄 결과를 찾을 것입니다 . 이는 우리가 많이 이야기하지 않는 재현성 위기의 또 다른 측면입니다. 부정적인 결과는 연구 팀에 보고 권한을 부여하면 긍정적인 결과만큼 많은 통찰력을 제공할 수 있지만, 그들이 실행하는 모든 프로젝트에서 새로운 것을 보고해야 한다는 압박감을 느낀다면 숨겨진 보석 같은 정보를 결코 찾을 수 없습니다.
보고서는 최종 결과물이 아니다
내가 말했듯이 이전 블로그 게시물 , 데이터가 없고 분석을 재현하는 단계가 없는 정적 보고서는 기회를 놓친 것입니다. 과거 분석은 시장 조사 팀에게 보물창고가 될 수 있습니다. 해당 결과를 쉽고 직관적으로 재현할 수 있는 인프라를 제공한다면 말이죠. JMP는 보고서, 코드, 데이터를 모두 한 곳에 보관할 수 있도록 지원하는 소프트웨어 시스템입니다. 무료로 사용해 보세요 !
예, 위기가 일어나고 있습니다. Logworth는 일종의 "놀라운 지표"입니다. Bayes 요인 및 기타 기술 도구는 관련이 있지만 작업을 추적하고 연구 설계를 문서화하는 능력이 실제로 중요합니다.
또 다른 측면은 결과를 실제로 제시하는 방법입니다. 재현성 주장을 제시하기 위한 InfoQ 일반화 차원의 구현에 대해서는 다음을 참조하세요. https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3035070
그 블로그 게시물은 사랑입니다, Chelsea! 저는 이 정보를 지역 수학 사용자 그룹인 #rtpanalysts와 공유했습니다!
정말 훌륭한 기사지만, 부정직한 분석과 "p-해킹"을 방지할 수 있는 좋은 방법이기도 합니다. 우리는 종종 "진짜 오류"를 추적하지 않습니다.
저는 제가 실행한 모든 분석 스크립트가 테이블에 저장되어 있는 JMP 테이블을 동료들에게 보내는 것을 좋아합니다.
저는 올해 초에 p-hacking에 관해 매우 어리석은 글을 썼습니다. 재미있게 즐기시면 됩니다 
https://medium.com/@chelseaparlett/everyone-p-hacks-a-lighthearted-guide-for-new-academics-55f68c9f78cb
