398695_ko-KR

liliconcom

P-값의 귀환: 과학자와 엔지니어를 위한 통계 전쟁(2021-US-30MP-862)

레벨: 중급

 

Russ Wolfinger, SAS Institute Inc의 과학적 발견 및 유전체학 이사

 

통계 공화국의 내전 기간입니다.프리퀀시스트와 베이지안 파벌이 반 평화적 억지력을 달성하자마자 Scientific Empire, 특히 The Reproducibility Crisis Death Star에서 새롭고 큰 위협이 나타났습니다. JMP 반군이 초기에 발견한 사실을 인지하지 못한 미국 통계 협회(American Statistical Association) 상담가는 P-값이 데스 스타의 원동력이라고 선언했습니다.P-값과 통계적 유의성에 대한 금지가 별을 붕괴시킬 것인가?아니면 더 심각한 요인이 작용하고 있습니까?

 

자동 생성된 대본...

 

스피커	성적 증명서
	이봐.
조던 힐러	내 말 들리니?
러스 울핑거	조던, 내 말 들리니?
조던 힐러	나는 당신이 어떻게 지내는지 알 수 있습니다.
러스 울핑거	멋진 오 젠장 내 배경을 얻을 수 있도록 내 지하실에서 작업이 끝났습니다.
조던 힐러	알았어, 알았어 시간이 얼마남았어.
	우리는 조금 일찍 그리고 예.
	모든 것이 진행됩니다.
러스 울핑거	정말 좋아요 음 그래, 지금 유전학 분야에서 좋은 활동을 하고 있는 사람들이 있어서 당신을 따라잡고 싶었습니다.
조던 힐러	맞아요 맞아요 EA에 유전적인 것들이 나타난다는 얘기를 조금 들었습니다.
	먼저 네.
러스 울핑거	때문에.
	아직 실제로 준비되지 않았지만 johnson과 Luciana Silva가 작업하고 있습니다.
	그리고 그들은 조던이 그것을 손에 넣은 것처럼 농담했습니다.
조던 힐러	글쎄, 당신은 내.
	오라고 했을 때 눈썹이 올라갔다. 아주 재미있다.
러스 울핑거	아니요, 우리는 새로운 방향에 대해 정말 흥분하고 한 번에 한 걸음씩 나아가려고 노력하고 있습니다.
조던 힐러	바로.
러스 울핑거	그리고 우리는 실제로 새로운 것을 얻었습니다. Jeff man이 RD를 옮겨 kelsey를 인수했습니다.
	이제 우리는 제프의 입장을 채우기 위해 인터뷰를 하고 있습니다.
	제품 관리에서 클릭해야 하는 퍼즐의 다음 조각이 될 것이므로 도움을 줄 사람이 필요합니다.
	우리 주변에 몇 가지 질문이 있습니다.
	마케팅 브랜딩 내 말은 그들이 우리가 언급한 것처럼 그들이 좋아한다는 것을 의미합니다. 내 말은 시장이 요즘 어떤지, 그리고 그것이 무엇인지조차 명확하지 않다는 뜻입니다.
	우리는 우리가 조심하고 싶다는 것을 알았고 우리는 정말로 정말로 가치가 있습니다. 설문 조사에 작성한 모든 내용을 읽지 않았습니다. 통찰력있는 의견에 감사드립니다.
조던 힐러	글쎄, 당신은 내가 잠시 동안 시장에서 벗어났다는 것을 알고 있습니다. 그래서 당신은 내가 말하는 모든 것을 소금 한 알로 받아들이십시오.
러스 울핑거	그냥 일종의, 하지만 우리는 모든 사람이 숲의 구석에서 좋은 작은 통찰력을 얻고 모든 사람의 의견을 경청한다면 좋은 게임 계획을 세우는 방법을 원합니다.
조던 힐러	그래 맞아.
러스 울핑거	당신은 내가 어떻게 하는지도 모릅니다.
	배경화면을 켜려면 어떻게 해야 하나요?
조던 힐러	예, 할 수 있습니다. 카메라 아이콘이 있는 위치를 알려드릴 수 있습니다.
러스 울핑거	응.
조던 힐러	작은 당근이 있습니다.
러스 울핑거	자, 가상 배경을 얻었습니다. 이제 시작하겠습니다.
	아 로드하지 마세요.
	load smart virtual hang on it's get me 무슨 일이 일어났는지 모르겠어. 보통 오토바이 업데이트나 뭔가가 나오는 표준 배경을 가지고 있기 때문이다.
	우리는 거기에 갈.
	네.
조던 힐러	멋진.
러스 볼핑거	네, 제 생각에는 건물이 실제로 건물의 다른 쪽 끝을 무너뜨렸을 수도 있다고 생각합니다.
조던 힐러	네 아주 좋아요.
	알겠습니다. 준비가 되면 모든 것이 준비되었는지 확인하기 위해 실행할 작은 체크리스트가 있습니다.
러스 울핑거	예 내 비디오 및 오디오 각도와 조명 및 모든 것이 괜찮아 보입니다.
조던 힐러	괜찮아 보이는 건 다 좋아 보입니다.
	올바른 시간에 올바른 장소에 있는지 확인하고 올바른 항목을 기록합니다.
	당신은 이것이 녹음되고 있다는 것을 알고 있습니다. 저는 당신의 구두 허가에 대해 걱정할 필요가 없습니다. 괜찮습니다.
	예, 마이크 소리가 좋습니다. 배경 소음이 있습니까? 아주 조용한 것 같습니다.
러스 볼핑거	내 경우가 아니면 내가 잘해야 합니다.
	그것은 실제로 일종의 불행한 날이므로 내 이웃이 잔디 깎는 기계를 켤 것이라고 생각하지 않습니다.
조던 힐러	자, 휴대폰과 컴퓨터 알림이 무음으로 설정되어 있는지 살펴보겠습니다. Outlook이 실행 중이거나 팀이 실행 중이거나 이와 유사한 항목이 있습니까?
러스 볼핑거	이제 모든 것을 닫도록 할게요.
	5000만원정도 가지고 있습니다.
	브라우저 탭이 열리면 CPU가 약간 있는 것으로 알고 있습니다.
	네, 그래서 저는 지금 확대/축소에서 내 PowerPoint로 열려 있습니다.
조던 힐러	좋습니다. 어, 디스플레이 해상도를 저에게 확인해 주시겠습니까?
러스 볼핑거	알겠습니다. 디스플레이 설정을 살펴보겠습니다.
조던 힐러	예, 디스플레이 설정은 그것이 어디에 있는지 보여야 합니다.
	표시 및 표시 설정을 표시할 위치입니다.
	응.
러스 볼핑거	내 노트북 1920 x 10에 있습니다.
조던 힐러	완벽해야 합니다. 다른 조언은 가능하면 일반적으로 그렇게 하지 않는 경우 Windows 작업 표시줄을 자동으로 숨기는 것입니다.
러스 볼핑거	괜찮아.
조던 힐러	지금 바로 화면 공유를 시작해 보세요.
	우리가 할 수 있도록.
러스 볼핑거	좋아요, 예, 화면을 공유하는 것이 좋습니다.
	거기에서 우리는 화면으로 이동합니다.
	나는 그것을 클릭하고 오 공유 좋아, 우리가 간다.
	그리고.
	응.
	이것은 내가 이 5가지를 조합하여 즐거운 스타워즈 연결을 가질 수 있기를 바랍니다.
조던 힐러	대단해.
	그래 그래 보자.
	작업 표시줄 설정에서 맨 아래에 있을 수 있다고 생각합니다.
	얘기했다.
	자동으로 예, 당신이라면 그것이 얼마나 그들이 당신이 하기를 원하는지 잘 모르겠지만 그렇게 할 때 혼란스럽다는 것을 알게 됩니다. 하지만 익숙해질 수 있고 처리할 수 있다면 괜찮습니다.
러스 볼핑거	네 그게 편해요.
조던 힐러	좋아, 좋아.
	어 또 뭐야.
	자동적 인.
러스 볼핑거	내가 발표할 때 MAC So를 사용해 보겠습니다.
조던 힐러	네 최대화합니다.
	슬라이드쇼.
러스 볼핑거	나는 그것이 좋아 보이지 않습니다.
	나는 내 키보드를 사용할 수 있습니다. 즉, 괜찮습니다.
조던 힐러	그것은 훌륭합니다.
러스 볼핑거	그러면 화면 어딘가에 나 대신에 내가 조금 있을 것이다.
조던 힐러	그렇군요. 따로 녹음을 하고 포스트 프로덕션에서 알아서 처리해주니 그런 걱정은 전혀 하지 않으셔도 됩니다.
러스 볼핑거	그래 가자 oh 난 몰라 난 내가 정말 좋아하는 일을해야하는지 몰랐어요 그것은 내가 실제로 그 사람을보고 싶은 이야기가 아니 었습니다.
	처음에는 그냥 느낌을 느끼기 위해 바디랭귀지와 어조를 알지만, 실제로는 내내 보여주게 된다면 그게 최선이라고 생각합니다.
조던 힐러	화면을 이미 공유하고 있는 상태에서 시작하고 싶다면 그렇게 할 수 있습니다. 공유를 시작하기 전에 몇 가지 소개만 하고 싶다면 그것도 작동합니다.
러스 볼핑거	오, 그래요. 하지만 우리가 할 수 있다는 말은, 사실 우리가 할 수 있는 일이었습니다. 오오 이미 소유하고 있던 녹음이었습니다.
조던 힐러	그것은 우물입니다. 자동으로 시작된 것 같지만 괜찮습니다. 언제든지 추가할 것입니다.
	후반 작업에서는 적절한 시간에 시작할 것이므로 걱정하지 마십시오.
러스 볼핑거	좋아, 그럼, 당신은 당신이 그것에 대해 말하는 것과 같이 전혀 관여할 의향이 있습니까?
조던 힐러	갈 준비가 되면 카메라를 끄고 마이크를 끈 다음 준비 완료라고 말할 것입니다.
	괜찮아.
러스 볼핑거	좋은 것 같습니다. 그리고 20개의 슬라이드가 있으므로 시간 제한이 있다는 것을 상기시켜 주십시오.
조던 힐러	당신이 30분짜리 논문에 서명한 적이 없다고 생각합니다.
	이제 가상으로 알려야 하므로 시간을 대체할 수 있습니다.
러스 볼핑거	하지만 괜찮을 겁니다. 하이라이트를 찍기 위해 1시간 동안 아무 것도 할 수 없을 것 같진 않은 것 같아요.
	네, 30분이 적당하다고 생각합니다.
	괜찮아.
조던 힐러	좋습니다. 시작하기 전에 다른 작업을 수행하기 위해 무엇을 해야 한다고 생각하십니까? 준비가 되셨습니까?
러스 볼핑거	천천히 한잔.
	네, 그리고 이것은 방송될 것입니다, 이것은 방송될 것입니다. 제 생각에 5일에 그들은 10월 5일이라고 말했습니다.
조던 힐러	방법은 그들이 라이브로 갈 때입니다.
러스 볼핑거	네, 그리고 제 생각에 제가 이메일을 받은 것 같아요. 아마도 제가 방송 직후에 있을 사람 중 한 명일 수도 있고, 그와 비슷한 것일 수도 있습니다.
조던 힐러	아주 좋아 예 좋아 좋아.
러스 볼핑거	그래서, 내가 녹음할 때 좋아해야 합니까? 협약이 무엇인지 또는 무엇을 암시해야 합니까?
조던 힐러	이것이 나중에 사람들을 위한 리소스로 계속 남을 것이기 때문에 하지 말라고 말하고 싶습니다. 컨퍼런스 후에도 사람들이 볼 수 있으므로 그냥 그대로 녹음하고 가져갑니다.
러스 볼핑거	시간 불변의 종류.
조던 힐러	예 바로 그 거예요.
	정확히 맞아.
조던 힐러	괜찮아.
	준비가 되셨다면 제가 카메라와 마이크를 끄고 여기에서 지켜보겠습니다. 준비가 되면 언제든지 시작하세요.
러스 볼핑거	내가 무엇을 끝내면.
조던 힐러	넌 말할 수있다.
	그럼 끝입니다 감사합니다 좋은 밤 되세요.
	그리고 나서 다시 시작하겠습니다.
	그냥 포장해.
러스 볼핑거	좋습니다. 편집자는 필요에 따라 시작 부분을 자릅니다.
	괜찮습니다.
조던 힐러	자, 여기 갈게요 행운을 빕니다 레슬링을 하고 있어요 이걸 보고 싶어요.
러스 볼핑거	감사합니다.
	괜찮아.
러스 볼핑거	p-값.
	그리고 당신이 들은 것처럼, 이 가장 악명 높은 통계에 대해 지난 몇 년 동안, 그리고 심지어 최근에는 2021년에도 이 통계에 대해 약간의 논란이 있었습니다.
	그리고 제가 보고 생각했던 것들을 요약하고 싶습니다. 또한 재미를 위해,
	P-값의 반환.
	우리는 그들이 일종의 호의를 베푸는 기간이 있었고 이제 약간의 부활이 있을 것이라고 생각합니다. 그래서 그것이 어떻게 진행되는지 봅시다.
	시작하기 위해 100년 전, 거의...거의 정확히 100년 후인 1920년대 초반으로 돌아가 보겠습니다.
	이것은 틀림없이 역사상 가장 유명한 통계학자인 RA의 전성기였습니다. Fisher, 그리고 그는 p-값으로 인정받은 사람입니다.
	매우 강력하고 대중적이며 오늘날까지 통계의 개념, 예를 들어 최대 가능성 및 확률에 대한 빈도주의적 스타일의 해석입니다.
	이제 피셔의 당대 핵심 동료 중 한 명이 같은 기관에서조차 Jerzy Neyman과 Egon Pearson이었습니다.
	그리고 처음에 Fisher가 p-값을 제시했을 때 그 유용성과 실제로 적용하는 방법에 대해 상당히 심각한 의견 차이가 있었습니다.
	아시다시피 Neyman과 Pearson은 유명한 가설 테스트 프레임워크를 고안한 사람들입니다. 더 결정적인 이론이었다.
	그리고 그들은 또한 신뢰 구간, 데이터 생성 메커니즘 및 기타 일반적인 것들로 인정받는 것들입니다. 그리고 오늘날 우리가 사용하는 통계는 이 두 가지 초기 방법의 일종의 이상한 혼합이지만 처음부터 논쟁의 대상이 되었습니다.
	이제 세월이 흐를수록
	논쟁은 계속되었고 그들은 고전적 빈도주의자 대 베이지안의 노선을 따라 떨어지는 경향이 있었습니다.
	의견 불일치. 그리고 이것은 종종... 여기에는 많은 측면이 있습니다. 핵심 중 하나는 확률 자체를 어떻게 해석합니까?
	두 진영을 구별하는 두 종류의 대중적 견해는 종종 확률을 객관적 세계에 존재하는 일종의 존재로 보고 실제 세계의 반복으로 측정할 수 있는 것으로 간주합니까?
	아니면 믿음의 정도 면에서 더 우리 머리 속에 있습니까? 그리고 이것은 다음과 같은 측면에서 매우 심오한 의미를 가질 수 있습니다.
	당신이 취하는 통계적 방법과 확률 기반 모델링을 수행하는 방법까지.
	그리고 특히 베이지안은 일반적으로... 베이지안 프레임워크를 세우려면 사전 배포판을 지정해야 합니다.
	모든 매개변수에 대해, 이는 다시 이 매개변수... 매개변수 값이 취할 가능성이 있는 방식에 대한 주관적인 믿음으로 해석됩니다.
	그리고 모델의 복잡성에 따라 일변량, 다변량 등이 될 수 있습니다. 당신은 크랭크를... 베이즈 정리를 통해 크랭크를 돌립니다
	그리고 추론을 하는 사후 확률과 밀도를 얻습니다. 빈도주의자들은 어떤 의미에서는 조금 더 많이 사용하는 경향이 있습니다.
	이 직접 계산의 관점에서 조금 더 먼 방법이나 더 많은 종류의 목표를 사용하면 여기에서 p-값을 얻을 수 있습니다. 이것은 확실히 빈도주의적 스타일의 통계입니다.
	그리고 시간이 지남에 따라 여러 번 비판되고 검토되었습니다. 여기에서 계속 진행하면서 p-값의 일부 측면을 더 깊이 살펴볼 것입니다. 그러나 그것들은...다시 역사적 맥락에서 그것들을 설정하는 종류일 뿐입니다.
	그리고 더 최근에는... 2000년경부터 재현성이라는 주제에 대해 큰 논란이 되었습니다.
	그리고 그 결과... 재현할 수 없는 과학적 결론에 관한 수백 개의 논문과 주제가 있습니다.
	예를 들어, 한 연구실은 어떤 결과를 산출하고 주장을 하고, 다른 연구실은 유사한 실험을 시도했지만 할 수 없었습니다. 그리고 이것은 종종
	큰 논쟁을 불러일으킬 수 있습니다. 왜냐하면...이러한 결론 중 일부는
	중요하고 정책 결정이나 건강 주변...또는 건강 또는 생각하는 모든 분야의 결정을 초래할 수 있습니다. 그리고 많은 사람들이 우리가 재현 가능성 위기의 상태에 있다고 주장할 것입니다.
	이제 이것을 스타워즈 테마에 연결하기 위해 알다시피 은하계를 가로질러 우리가 흔히 볼 수 있는 상상을 해 봅시다.
	일종의 ... 갈등을 일으키고 반항적인 그룹이 항상 나타납니다. 그리고 이 재생산의 위기로 스타워즈, 이 사악한 회의가 소집되는 것을 상상할 수 있다면,
	그들은 이 재현성을 위한 희생양을 찾아야 한다고 결론지었습니다. 그리고 무엇을 ... 누구를 탓할 수 있습니까? 우리는 무엇을 ... 어떤 이야기를 할 수 있습니까?
	그리고 왜 ... 나쁜 통계 방법을 비난하지 않습니까? 사실, p-값은 좋은 취약한 후보처럼 보입니다. 그리고 우리는 팰퍼틴 황제가 이 계획에 만족하고 있으며 그것을 실현하는 데 많은 자원을 투입할 의향이 있음을 알 수 있습니다.
	그 와중에 2000년대 초중후반에 우리는 게놈 재생산을 주제로 소집된 일종의 외부 영역에서 사회를 소집했습니다.
	우리는 차등적으로 발현되는 유전자 목록에서 재현성 부족을 실제로 보았을 때 이 문제에 흥미를 느꼈습니다.
	그리고 한 실험실에서 실험에서 가장 중요한 상위 100개 유전자를 제공하는 벤 다이어그램을 상상할 수 있습니다. 다른 연구실에서 그것을 재현하기 위해 갑니다.
	벤 다이어그램은 거의 겹치지 않습니다. 그리고 이것은 우리가 해결하고 있던 문제입니다. 일종의 직접적인 과학적 재현성 문제입니다.
	그리고 우리는 많은 연구와 연구를 통해 많은 연구실에서 많은 통제를 재실행했습니다. 우리는 여기에서 이 논문을 출판했습니다.
	일부 재현성 질문에 대해 상당히 간단하지만 쉬운 해결 방법을 생각해 냈습니다.
	특히 p-값 및 기타 관련 통계와 관련하여 이진 결정 컨텍스트에서 민감도 특이성을 말합니다.
	그리고 결론은 p-값 자체가 재현 가능하도록 설계되지 않았다는 것입니다. 통계로서 그들의 힘과 의도는 오류율을 제어하는 것입니다.
	특히, 우리는 가양성(false positive)의 고전적인 1종 오류율을 가지고 있으며, 이것이 바로 다음과 같은 영역입니다.
	p-값과 그 이론은 주변에서 개발되는 반면 재현성 문제는 다른 문제입니다.
	그리고 사실, 우리의 사고방식은 재현성을 특이성과 민감성을 넘어선 3차원으로 보는 것, 전형적인 1종 오류율, 2종 오류율입니다.
	그리고 유전체학의 맥락에서 우리는 여기에서 볼 수 있는 화산 플롯이라고 하는 플롯을 만들어 문제를 해결하는 데 도움을 줄 수 있습니다.
	여기서 각 점은 우리가 측정한 유전자이고 두 가지 조건을 비교하고 있습니다. X축을 따라 효과 크기 또는 로그의 측정값이 있습니다. 이 경우에는 log2 폴드 변경이 있고 y 축에는 음수 log10 p-값이 표시됩니다.
	그리고 플롯은 이 두 통계 사이의 관계로 인해 항상 이러한 특징적인 V 모양을 갖는 경향이 있습니다. 여기서 유전자는... 가장 많이 활동하는 곳은 왼쪽 상단과 오른쪽 상단에 있는 유전자입니다. 화산.
	하지만 재현성 측면에서 보면,
	키... 치수가 실제로 X축이고 효과 크기가 더 재현 가능하다는 것이 밝혀졌습니다.
	y축보다 p 값은 일종의 표준화된 신호 대 잡음 척도입니다. 그런 식으로 보고 싶다면 말이죠.
	그래서 문제를 해결하는 방법은 당신이 당신이 아니라는 것입니다 ... 실제로 둘 다 가치가 있으므로 열쇠는이 플롯의 왼쪽 상단과 오른쪽 모서리에서 유전자를 찾는 것입니다. 여기에서 두 기준을 모두 만족시킬 수 있습니다.
	그리고 플롯은 실제로 그렇게 하는 직관적인 방법이며 여기에서 볼 수 있듯이 직사각형 또는 곡선과 같이 선을 그리는 방법에 대한 변형이 있습니다.
	그러나 그것들은 일단 당신이 ... 일단 당신이 주요 개념을 얻었을 때, 그리고 이것이 그 논문의 주요 메시지였습니다. 제 생각에 그것은 여전히 확고한 것입니다. 정말
	전반적으로 많은 관심을 받았습니다. 사실, 재현성은 여전히 큰 위기이며 사람들은 우리가 큰 곤경에 처해 있고 상황이 바뀌어야 한다고 생각합니다.
	지금,
	일종의 p-값이 재현성을 위해 열을 가한 결과로, 틀림없이 선도적인 것 중 하나인 미국 통계 협회(American Statistical Association)
	세계의 통계 학회는 2016년에 p-값에 관한 성명을 발표했습니다. 그들은 일종의 열기를 느끼고 있었고 거기에 메시지를 보내고 도움을 주는 것이 좋은 생각이라고 생각했습니다.
	약간의 걱정을 덜어주고 내가 언급한 몇 가지에 대해 이야기할 수도 있습니다. 그러나 여섯 가지 진술, 그리고 우리는 시간을 위해 자세히 다루지 않을 것입니다.
	그들이 몇 가지 흥미로운 점을 제시했지만, 나는 그들이 어떤 점에서 표를 놓친 것 같아요.
	그리고 지금은 이 발언 자체가 화제를 모았고, 그래서 더욱 선명하게 전선을 그렸고, 이 발언이 도움이 됐는지 상처가 됐는지 의문이다.
	전체 토론에서, 그러나 적어도 그것은...앞으로의 진전이었고 이 진술들에는 좋은 것들이 많이 있습니다.
	그리고 제 생각에는 비판의 일부가 필요 이상으로 까다로웠을 수도 있지만 적어도... 적어도,
	문제를 해결하려고 합니다. 그리고 이것들은...나는 이것들이 가치 있다고 생각합니다...논쟁을 이해하고 우리가 할 수 있다는 점에서 가치 있는 기여로...우리는 p-값을 언제 어떻게 사용할지에 대해 좋은 결정을 내릴 수 있습니다 , 만약에 전혀.
	이제 토론은 American Statistician의 이번 호에서 2019년에 정점에 이르렀습니다. 그리고 나는, 당신이 원한다면 이것을 ANTIPA라고 부릅니다.
	일종의 반 p-값 폭동이 이 저널의 거의 모든 논문이었습니다...이번 호에서는 p-값에 대한 일종의 경멸적이거나 강타적인 내용이었습니다.
	그리고 전체 문제는 Ron Wasserstein이 주도했으며 American Statistical Association의 전무이사입니다.
	그래서, 그 눈에 띄는 위치와 함께, 그것은 많은...많은 의견 불일치를 전면으로 가져왔습니다. 그리고
	내가 권장하는 이 문제에 대한 것입니다. 하지만 이 문제로 이동하여 질문을 해결할 수 있을 거라고 기대하지는 마세요.
	당신이 들어간 것보다 더 많은 질문을 하고 머리를 긁적입니다. 왜냐하면 거기에 서류가 도처에 있기 때문입니다.
	무엇을 해야 하는지에 대한 명확한 메시지가 없습니다. 유일한 분명한 메시지는 p-값이 나쁘고 이에 대해 우리는 무엇을 해야 한다는 것입니다.
	그래서 더 자세한 내용을 알아보기 위해 이 문제를 참조하도록 하겠습니다. 그러나 여기에 나열된 제목 중 일부를 보고 제안되고 있는 몇 가지 사항에 대한 느낌을 얻을 수 있습니다.
	통계적 의미의 구문과 사용을 완전히 포기하는 상당히 급진적인 제안을 포함합니다.
	그리고 아시다시피 JMP 소프트웨어에 다음을 포함할 수 있습니다. 로그 가치 막대, 음수 로그 p-값 막대를 만들거나 출력에 별표를 표시합니다.
	그러나 이 제안은 그것이 나쁘고 더 이상 그렇게 해서는 안 된다고 말하고 나쁜 습관으로 이어집니다. 이것은 실제로 우리에게 흥미로운 문제입니다.
	JMP 사업부와 JMP 사업부 모두에서 2000년 이전에 SAS는 아마도
	역사를 감안할 때 세계의 다른 소프트웨어 회사보다 더 많은 p-값을 생성했습니다. 그래서 그것은 우리가 연구해야 할 자연스러운 주제이며, 만약 우리가 틀렸다면 그것에 대해 화를 내며 앞으로 나아가는 것이 좋을 것입니다. 그러나 그렇지 않다면… 이유,
	p-값을 계속 사용하는 것이 좋은 이유에 대한 몇 가지 논쟁과 실제 근거.
	일종의 급성장하는 문헌이 있는데 이것은 정말 불타오르는 것입니다. 그리고 이에 대한 반응이 꽤 많았고, 블로그 글도 있었습니다.
	그러나 다시 말하지만, 큰... 큰 문제로 바로 뛰어들고 싶다면 이것이 시작해야 할 문제입니다. 그리고 몇 가지 후속 조치가 있었고 그 이후로 많은 일이 있었습니다.
	하지만 지금 이 문제 내에서도 모두 나쁘지는 않았습니다. 그리고 내 생각에 이성의 목소리를 낸 Sander Greenland의 이 기사를 언급하겠습니다.
	논란 내내. 또한 그는 검색하고 찾을 수 있는 웹 전반에 걸쳐 여기 저기에 여러 블로그 게시물을 작성했습니다. 그리고 그는 제안했다
	우리가 좋아하는 로그 척도에 머물면서 화산 플롯에서 사용하고 있다는 것을 기억하고 p를 볼 수 있는 방법이 있습니다.
	p-값, 정보의 비트와 고전적인 Shannon 정보 엔트로피 기준에 대한 직접적인 연결이 있습니다. 그리고 물론 로그를 취하면 밑을 바꾸는 것이 매우 쉽습니다. 곱하거나 나누기만 하면 로그 밑이 10이 될 수 있습니다. 그래서
	저는 개인적으로 여기에 실제로 어떤 가치가 있다는 이 평가에 동의하는 경향이 있습니다. 단지 로그 p-값을 보는 것뿐입니다.
	또한 여기 하단의 녹색 상자에 나열된 두 개의 논문을 참조하십시오. Benjamini는 2019년 JSM에서 멋진 공식 Rietz 강의를 했고, 그 후 제약 업계에서 Eric Gibson의 논문도 훌륭한 통찰력으로 정말 잘 읽었습니다.
	여기를 살펴보겠습니다. p-값이 정말 문제입니까? 그리고 당신은 시작할 수 있습니다...별...우리가 조금 뒤로 물러날 수 있다면,
	문제는 그것들이 너무 자주 사용된다는 것입니다.
	자동차 운전. 그리고 당신은 상상할 수 있습니다. 누군가 끔찍한 사진과 사고를 올리고 우리가 필요하다고 말하면서...우리는 함께 운전을 중단해야 합니다. 너무 위험합니다.
	사람들은 차를 다룰 수 없습니다. 당신은 ... 당신은 수백만 명의 사람들이 매일 안전하게 운전하고 자동차, 가족 및 업무상의 필요를 매우 잘 활용할 수 있다는 사실을 무시할 것입니다. 그래서
	내 생각에 이러한 비판 중 일부는 일방적이거나 편향된 경향이 있으므로 모든 논쟁과 마찬가지로 양면을 찾고 해결책을 찾는 데 도움이 됩니다. 또는 주장하는 것이 사실이 아닌 경우, 있는 그대로 제자리에 두십시오.
	p-값의 역할을 대체하기 위해 등장한 명확한 대안이 없다는 이 문제도 있습니다. 그들이 오용되고 때때로 해석하기가 다소 까다로운 통계라는 것은 의심의 여지가 없습니다.
	그러나 문제는 우리가 그것들을 전혀 사용하지 않을 경우 JMP에서 그것들을 모두 버리기로 결정했다고 가정해 봅시다.
	물론 신뢰 구간, 베이지안 측정 사후 확률 등 많은 제안이 있었습니다.
	그러나 그들 중 많은 사람들이 p-값 자체가 가지고 있는 것과 동일한 비판에 속합니다. 따라서 문제는 재현성 문제로 돌아가서
	연구 결과가 잘 재현되지 않을 때의 핵심은 무엇입니까? 무슨 일이 일어났습니까? 그리고 우리가...사악한...사악한 이야기에서 물러나면 고려할 수 있는 것들이 많이 있습니다.
	실험적 디자인 자체와 같은 것에 대해 생각해보면, 우리는 많은... 거기에 많은 문제가 있을 수 있다는 것을 압니다.
	우리는 JMP에서 사용자가 실제로 견고한 실험을 설계하도록 돕고, 종종 편향되거나 던지거나...실험을 엉망으로 만들 수 있는 혼란 및 기타 요인을 방지하는 것을 매우 진지하게 생각합니다.
	또한 데이터 수집, 정리 측면에서 보드 전반에 걸쳐 실수가 있을 수 있습니다.
	그리고 p-값은 실제로 해킹에 취약합니다. 우리가 하는 것처럼 유전체학 분야에서 많은 것을 생성합니다.
	가장 중요한 것만 선택하고 싶다면, 여러 테스트 등의 고전적인 문제에 빠지게 될 것입니다. 말할 것도 없이, 우리의 출판 프레임워크는 견고하고... 과학에 도움이 되는 만큼 강력하지만 거기에는 편견이 있습니다.
	그리고 물론, 모두가 좋아하는... 일종의 선의의 싸움을 좋아합니다.
	그래서 이것에 대한 약간의 관점을 얻기 위해서는 과학의 역사를 되돌아보면 항상 주제에 대한 논쟁이 있었다는 것을 깨닫는 것이 중요하다고 생각합니다.
	예리한 사람들, 자신이 추구하는 것에 대해 열정적인 정말 똑똑한 사람들
	그리고 그들이 다른 것에 동의하지 않는다면, 하나의 불꽃이 날아갈 가능성이 높습니다. 그리고 그것은 일종의...그것의 거칠고 굴욕적인 것입니다.
	또한 모든 사람들이 p-값의 정의를 정말로 이해하고 있다는 사실을 모든 사람이 듣고 있는지 확인하는 것도 좋습니다.
	어떤 면에서는 요다와 비슷하다고 생각합니다. 역논리입니다. 따라서 먼저 귀무 가설이 참이라고 가정하는 아이디어가 있는 경우
	그런 다음 우리가 관찰한 것, 즉 꼬리 부분보다 더 극단적인 것을 관찰할 확률은 얼마인지 질문합니다.
	null과 모델은 물론 모델 자체도 참이라고 가정하면? Yoda 문법과 같은 일종의 역방향 논리입니다.
	그래서 종종 베이지안이 말하는 정확한 질문을 다루지 않을 수도 있습니다. 당신이 정말로 원하는 것은 확률과 같습니다... 가설이 참일 확률,
	p-값이 아니므로 이를 아는 것이 좋습니다. 베이지안 접근 방식보다 그 확률을 원한다면 좋은... 좋은 방법일 것입니다. 그리고 다시, p-값은 재현성이 아니라 오류 제어를 위해 실제로 존재합니다.
	그리고 약간의 연결을 통해 베이지안 대 빈도주의 논쟁이 우리의 좋은 친구인 스티브 우버(Steve Uber)가 데탕트(detente)라고 명명한 수준에 도달했다고 말하고 싶습니다.
	예를 들어 1987년부터 시작된 이 연결처럼 종종 과소평가되는 연결이 있습니다.
	만약 당신이 본다면... 우리가 분포와 함께 한 면만을 보는 일방적인 테스팅의 관점에서 본다면, 이 논문에서 그들이 JASA(?)에서 발표한 것이 밝혀졌습니다.
	단측... p-값의 한쪽은 실제로 Baysean 사후 확률과 직접 관련될 수 있습니다(이는 빨간색과 파란색으로 표시됩니다.
	여기에서 볼 수 있는 분포) 강조 표시된 두 꼬리 영역은 정확히 동일하며 하나는 p-값입니다.
	다른 하나는 베이지안 사후(Bayesian posterior)이며, 둘 다 단측입니다. 그래서 우리는 여러분이 같은 답을 얻을 수 있는 이와 같은 상황을 얻을 수 있습니다. 같은 답을 얻게 될 것입니다.
	베이지안 관점을 취하든 빈도주의적 관점을 취하든 상관없습니다. 이런 종류의 결의안은 사실 꽤 훌륭하고 마음에 새기기에 좋은 것 같아요.
	그리고 나에게 그것들은... 당신이 할 수 있을 때 일방적인 테스트를 사용하는 이유입니다. 나는 또한 우리 동료에게 플러그를주고 싶습니다.
	신뢰 곡선이라는 새로운 추가 기능을 개발 중인 Brian Fricke.
	그리고 그가 아직 하지 않았다면 곧 JMP 커뮤니티에 올릴 것이라고 믿습니다. 그가 실제로
	모델 스크리닝 결과와 관련하여 p-값을 살펴보고 k-겹 교차 검증 유형 프레임워크에서 이러한 결과를 비교하는 좋은 방법입니다. 그러니 기회가 되시면 꼭 확인해 보시기 바랍니다.
	이제 여기서도 다시 관점을 얻으려고 합니다.
	또 다른 비교 또는 관점은 예측 모델링 예측과 설명 사이의 훌륭한 구별이라고 생각합니다.
	그리고 이것은...이것은...이것은 좀 더 철학적인 구분이지만 통계적 방법과 관련하여 제 생각에는 많은 의미가 있다고 생각합니다.
	10년 전, 11년 전인 Galit Shmueli의 멋진 논문이 있습니다. Statistical Sciences에는 여기에서 많은 주요 문제를 설명하고 있습니다.
	하지만 저는 우리가... 알다시피, 머신 러닝 데이터 과학이 요즘 폭발적으로 성장하고 있기 때문에 그것들을 키웠습니다. 그리고 대부분의 기계 학습자는 이 다이어그램의 왼쪽에 살고 싶어합니다.
	예측하는 사고방식을 가지고 있다면 상황이 조금 단순화되는 경향이 있습니다.
	여기서 목표는 더 나은 좋은 예측을 생성하는 것이며 많은 재현성 질문이 사라지기 시작합니다.
	예측을 잘하는지 알기 때문에 과적합 없이 미래나 새로운 관찰을 합리적으로 예측할 수 있습니다.
	그리고 많은 질문은 관련성이 없는 것 같지만, 제 생각에는 더 높이 쏘아붙이고 과학 시스템을 이해하려고 노력한다면,
	그것이 더 가시가 될 수 있는 곳입니다. 그리고 저는 p-값이 이것의 오른쪽에 더 관련성이 있는 경향이 있다고 생각합니다. 여기서 여러분은 사물을 설명하려고 합니다.
	통계적 방법이 오류를 생성하는지, 그렇다면 어떤 종류의 오류인지, 내가 보고 있는 통계가 얼마나 특이한지 알고 싶으실 것입니다.
	등등. 따라서 이러한 것들을 염두에 두고 공부하고 있는 이 시나리오에 적용하는 것이 중요합니다.
	당신은 당신이 정말로 그것에 대해 걱정하는 모든 것이 좋은 예측을 하는 상황에 있을 수 있으며, 그렇다면,
	p-값을 취하십시오. 그러나 JMP에서 우리가 잘 알고 사랑하는 고전적인 디자인 실험 환경에 있는 경우
	그러면 이 모든 더 어려운 질문이 등장하지만, 문제를 해결할 수 있다면 그 결과도 훨씬 더 큽니다. 그 체계를 이해하고 설명할 수 있다면 당연히 예측도 할 수 있기 때문에 나는 설명을 과학적인 측면에서 더 높은 목표로 본다.
	그리고 물론 우리는 이제 ... ANOVA로 완전한 원을 그리게 될 것입니다. ANOVA는 Fisher가 100년 전에 대중화한 것이기도 합니다. ANOVA가 포함된 도구가 있습니다.
	과학적 문제를 실제로 해결하고, 그것을 분해하고 무슨 일이 일어나고 있는지 보고, 설명 목표를 달성할 수 있는 곳입니다.
	그리고 나는 p-값이 그 핵심 부분이 될 수 있다고 생각합니다. 고전적인 ANOVA 테이블을 생각하면 그 최종 출력은 일반적으로 F 테스트의 p-값입니다.
	특정 효과가 실험에서 관찰된 노이즈보다 통계적으로 유의한지 여부를 나타냅니다.
	제 생각에 그 통계를 꼬리 부분에서 계산하는 것은 종종 매우 유용한 일입니다. 그리고 왼쪽에 약간의 JMP 출력이 표시되고 p-값이 표시됩니다.
	다시, 로그 스케일에서. 저는 그런 종류의 플롯이 실험에서 진행되는 상황에 대한 매우 가치 있고 매우 빠르고 직관적인 시각적 요약이라고 생각합니다.
	또한 Deborah Mayo의 이 책과 그녀가 매우 활발하게 활동하는 블로그 시리즈를 참조하십시오. 훌륭한 자원입니다. 나는 그것을 읽는 것을 즐긴다. 그리고
	이것은 실제로... 그녀는 통계 철학자에 가깝습니다. 비록 그녀가 많은... 많은 핵심 문제를 알고 있지만
	몇 가지 심오한 문제에 대해 자세히 살펴보고 p-값과 같은 통계가 실제로 내에서 좋은 영향을 미치는 이유를 자세히 설명합니다. 그녀는 프로 가치 진영에 더 가깝고
	그녀의 가장 큰 장점은 그녀가 가혹한 테스트라고 부르는 것입니다. 방법을 시도하고 적용하는 곳에서...실제로 그것을 혼란에 빠뜨리고 오류를 찾아내는 것입니다.
	그리고 이것은 좋은 것입니다...제 생각에는 가능하면 항상 반대 관점을 취하는 훌륭하고 견고한 과학이라고 생각합니다.
	스스로 구멍을 뚫고, 항상 결점을 찾고, 실제로 레이어를 벗겨내기 시작할 때 처음에 보이는 것이 항상 그렇지 않을 수도 있다는 겸손한 관점을 취하는 것입니다. 그래서 확실히 추천하는 책이다. 확인 해봐.
	그리고 마무리를 하자면... 이 강연에서 더 많은 조언을 하자면,
	확실히 p-값에 대한 비판 중 일부는 .05 미만인지 여부를 맹목적으로 보고 이를 기반으로 빠른 결정을 내리는 사람들이라고 생각합니다.
	.05는 종종 최상의 기준이 아님을 명심하십시오. 그건... 그건 Fisher까지 거슬러 올라가는 또 다른 경험 법칙입니다.
	100년이 넘은 것이므로 귀하의 설정에 맞지 않을 수 있습니다. 저는 유전체학을 알고 있으며 게놈 전체의 연관성 연구에 대해 말하자면, 우리는 종종 훨씬 더 엄격한
	다중 테스트 문제를 처리합니다. 그러나 그것은 거기에 있으며 다시 말하지만, p-값의 정의를 알고 있다면 이러한 절단을 수행할 위치에 관해 현명한 결정을 내릴 수 있습니다.
	그리고 다시, 나는 가능한 한 일방적인 테스트를 고려하는 것에 대해 반복하고 싶었습니다. 뿐만 아니라 설명과 예측 사고방식 사이의 이 멋진 이분법이나 일종의 헤겔적 변증법도 고려했습니다.
	이제 여기에 내가 만든 작은 밈이 있습니다. 일부 사람들에게 약간의 재미를 주기 위해서입니다. 하지만 가끔은 기분이 좋아
	커뮤니티는 실제로...논란을 계속해서 계속해서...그들의...출판물을 이끌어내거나 또는 단지 내러티브를 계속 진행하기를 원합니다.
	그래서, p-값은 이런 종류의 일에 취약한 상태로 남아 있고 아마도 미래에 그럴 것입니다. 하지만 결국에는 적절하게 사용할 때 실제로 매우 가치가 있다고 생각합니다.
	이제 마지막으로 한 가지만 언급하고 싶었습니다. 제가 언급한 2019 ASA 저널 기사에 대한 응답으로,
	그 당시 ASA의 회장인 Karen Kafadar는 많은 핵심 질문에 대한 결정적인 답변이 되기를 바랐던 것을 모으기 위해 태스크포스를 소집했습니다.
	그리고 그녀는 내가 생각하기에 최고 수준의 통계학자와 연구원들로 구성된 패널을 모았습니다. 그곳에는 우리가 사랑하는 Dick De Veauz, JMP의 큰 지지자, Brad Efron 등을 비롯한 몇몇 이름이 있습니다.
	그리고 그들은 이 태스크 포스를 소집했고, 함께 모여서 아주 좋은 촘촘한 답변을 작성했습니다.
	그러나 그 출판이 차단된 것으로 밝혀져 거의 2년 동안 차단되었다. 그리고 나는 이것을 따르고 있었고 실제로 Dick과 Karen과 편지를 주고받았습니다.
	그것이 언제 나올지에 대해, 그리고 그들은 두어 개의 저널에 그것을 출판하기로 결정한 것으로 밝혀졌습니다.
	몇몇 저널은 그것을 받아들이고 싶어하지 않았기 때문에 약간 떠돌아다녔고 겨우 한 두 달 전에 마침내 출판되었습니다.
	그리고 나는 당신이 그것을 살펴보기를 강력히 권장합니다. 매우 짧습니다. 생각보다 정말 짧습니다.
	그러나 나에게 그것은 정말로 많은 핵심 질문에 답합니다. Deborah Mayo의 블로그에서 전체 텍스트를 볼 수 있습니다.
	게시하고 내가 확인하려는 경우 하단에 링크를 제공하거나 온라인에서 검색할 수 있습니다. Annals of Applied Statistics에 게재되고 있다고 생각합니다.
	그리고 저는... 제 생각에는 그것이 실제로 일종의...좋은 답변이라고 생각합니다. 그리고 아마도 p-값을 둘러싼 논쟁을 어느 정도 해결해 줄 것입니다.
	나에게 그것은 매우 견고해 보이지만, 나는 당신이 그것을 확인하도록 권장하고 우리는 앞으로 시간이 지남에 따라 Stat Wars 내에서 상황이 어떻게 돌아가는지 봐야 할 것입니다. 그때까지는 우주의 질서가 회복될 것 같다고 약속하고 싶습니다. 언제 일어날지 지켜봐야 할 것입니다. 매우 감사합니다.

브레이크아웃통계 및 모델링