756792_ko-KR

liliconcom

여러 연구 평가를 위한 JMP 추가 기능 및 스크립트(2021-US-30MP-902)

스탠 영, CGStat CEO
워렌 킨지에르스키, 앨버타 대학교 역학자

Paul Fogel, 컨설턴트, 파리

연구자들은 매년 동일하거나 유사한 질문을 다루는 여러 연구를 메타분석에서 함께 평가하는 수천 건의 연구를 생성합니다. 이러한 연구와 기반 연구의 신뢰성을 이해할 필요가 있습니다. 본 연구에서는 개별 연구의 신뢰성과 개별 연구 정보를 결합하는 통계적 방법, 일반적으로 위험 비율과 신뢰 한계를 살펴보고자 합니다. 현재까지 약 100건의 메타분석 연구와 기반 연구의 완전 표본 또는 무작위 표본을 검토했습니다. JMP 추가 기능과 스크립트를 개발하여 메타분석 연구의 신뢰성 평가, p-값 플롯(추가 기능 두 개), Fisher의 p-값 결합(스크립트 하나)을 용이하게 했습니다. 간단히 말해, 메타분석 연구는 통계적으로 신뢰할 수 없습니다. 본 발표에서는 여러 사례를 통해 문헌에 제시된 주장의 절반 이상이 재현 가능성이 낮다는 관찰 결과를 뒷받침하는 결과를 제시합니다.

자동 생성된 대본...

스피커	성적 증명서
스탠 영	하하.
사라 다우트	당신이 할 수 있도록 허용합니다.
스탠 영	지금 모든 것을 보세요.
	알았어요. 아, 안 돼요. 제가 직접 슬라이드를 보여드릴까요?
사라 다우트	네, 네, 그냥 일반적인 회의와 같아요.
	좋아, 알았어. 내가 가까이 있다면 모든 것을 가지고 있는지 확인해. 알았어, 녹화 중이야. 내가 해야 할 일이 있어. 카메라를 끄고 알려줄게.
	좋아요.
스탠 영	전체 화면으로 만들려면 이제 정렬만 하면 됩니다.
	두 번째는 그 방법을 설명하는 것입니다.
사라 다우트	그 바닥과 같은 곳인데, 34%에 대한 행동에 대한 참고 사항이 적혀 있는 곳인데, a처럼 보이는 곳입니다.
	배 아래로, 응, 미안해. 나쁜 일이야, 그 사람의 반대편에.
	네, 그 사람이에요.
스탠 영	하하.
사라 다우트	가세요. 제 말은, 저는 가겠습니다. 잠시 후에 시작하겠습니다. 하지만 저는 제 자신을 만나러 갈 겁니다. 시작하기 전에 질문이 있으신가요?
스탠 영	아니면 슬라이드와 함께 나를 녹화할 건가요?
사라 다우트	네 네 그들은 당신이 그것을 가지고 있다고 물었습니다.
	카메라는 여기 위에 있어요.
	그거면 괜찮아요.
	오른쪽.
	괜찮은.
스탠 영	이제 갈 준비가 됐어요.
사라 다우트	저는 음소거하겠습니다. 질문이 있거나 중단해야 할 사항이 있으면 말씀해 주세요. 그렇지 않으면 말씀드리겠습니다.
스탠 영	가다.
	오늘은 여러 연구 평가를 위한 JMP 추가 기능과 스크립트를 소개해 드리겠습니다. p-해커를 잡는 방법, 통계 부정행위를 저지르는 사람, 또는 대부분의 과학적 주장이 왜 틀렸는지에 대한 이야기라고 할 수도 있겠습니다.
	먼저 퍼즐의 각 부분과 그것들이 어떻게 연결되는지 설명하겠습니다. 대부분의 주장은 실제로 재현에 실패합니다. 이것들은 과학적 주장입니다.
	저와 제 공동 저자들은 이것이 p-해킹 때문이며 심각한 문제라고 주장합니다. 메타 분석과 P-값 플롯을 사용하여 이를 잡을 것입니다. 이것이 바로 사기꾼을 잡는 방법입니다.
	JMP 추가 기능과 스크립트는 위험 비율과 신뢰 한계에서 얻은 P값이며, 메타 분석에서 도출되었습니다.
	그리고 피셔의 P-값 결합은 메타 분석 기술과 유사한 오래된 기법입니다. 그리고 p-값 플롯을 제시하고, 이를 정리하여 보기 좋게 만들어 줄 간단한 스크립트를 준비하겠습니다.
	그림.
	음, 하늘에 토끼가 보이네요. 하늘에 구름이 많아서, 날씨 좋은 날 밖에 앉아서 주위를 둘러보면 토끼를 찾을 수 있을 거예요.
	그러니까 이건 우연한 사건이에요. 물론 토끼들이 실제로 하늘에 있는 건 아니죠.
	겔만과 로켄은 실제로 작은 기사를 발표하여 과학의 통계적 위기에 대해 언급했습니다. 즉, 사람들이 통계를 잘못 사용하고 있다는 것입니다. 오늘 우리는 이 주제에 대해 이야기해 보겠습니다.
	역학 실험을 해봅시다.
	빨간색, 흰색, 파란색 10면체 주사위가 있습니다. 이 주사위들은 숫자가 됩니다(이 경우에는 .046). 눈앞에서 이 과정이 실제로 일어나는 것을 직접 확인해 봅시다.
	이제 P값이 나왔습니다. 무작위로 계산한 거예요. 직접 해보셨잖아요. 정말 재밌는데, 한 번 더 해 볼까요?
	빨간색, 흰색,
	그리고 파란색.
	이제 이 작업을 60번 반복하면 여기 표를 채울 수 있습니다. 10면체 주사위를 사용해 시뮬레이션한 결과입니다. 4열 15행에 P값이 표시되어 있습니다. 따라서 P값은 60개입니다. 제가 계산한 가장 작은 P값은 .004입니다.
	그리고 60개의 P값을 사용하면 확률을 계산할 수 있습니다. 약 95%의 경우, 적어도 하나의 P값이 .05 미만일 것입니다.
	여기 제 딸이 한 실험이 있습니다. P값이 0.05 미만인 실험이 세 개 있었는데, 여기 동그라미로 표시해 놓았습니다. 역학자 실험은 정말 쉽습니다.
	제 아내 팻도 할 수 있는 일인데, 주사위를 굴려 좋은 이야기를 만들어서 쓸 수 있는 논문이 세 개나 있거든요.
	P값에는 기대값이 붙어 있습니다. 오른쪽에는 P값이 .004, .016, .012입니다. 각 P값에는 정규분포 편차가 붙어 있습니다. .004의 경우 정규분포 편차는 2.9가 되는 것을 볼 수 있습니다. 왼쪽에는
	표본 크기, 기대 편차, 그리고 가장 작은 P-값에 대한 기대 P-값과 그 편차입니다. 따라서 400이 있다면
	우리가 살펴보고 있던 질문들에 대해, 예상 P-값은 .00487이고 편차는 2.968이 될 것입니다. 이제 이 편차가 기본 실험에서 메타 분석 계산으로 전달되는데, 이 부분은 앞으로 진행하면서 살펴보겠습니다.
	역학에서 주장하는 것 중 몇 가지가 사실일까요? 저는 2011년에 논문을 발표하면서 관찰 연구에서 나온 주장들을 인용했습니다.
	그리고 관찰 연구의 각 주장에 대해, 저는 정확히 동일한 질문을 다룬 무작위 임상 시험을 찾았습니다. 그래서 12개 연구에서
	52가지 주장을 제기하고 검증할 수 있습니다.
	긍정적인 항목을 보면 52개 주장 중 하나도 올바른 방향으로 복제되지 않았습니다.
	역학자들은 주장에 대해 52건 중 0건을 기록했습니다. 실제로 통계적으로 유의미한 주장이 5건 있었지만, 관찰 연구에서 주장된 것과는 정반대였습니다.
	우리는 다음을 살펴볼 것입니다.
	미친 질문입니다. 시리얼이 인간의 성별을 결정하나요? 그럼 아침 시리얼을 먹으면 남자아이를 낳을 확률이 더 높을까요? 네, 첫 번째 논문에서 그렇게 말했잖아요.
	이 논문은 그들의 최고 생물학 저널인 Royal Society B에 게재되었습니다. 따라서 이 세 명의 공동 저자는 아침 시리얼을 먹으면 남자아이를 낳을 확률이 더 높다고 주장했습니다. 임신 기간과 그 전후에 아침 시리얼을 먹으면 됩니다.
	저와 제 동료 두 명은 이걸 보고 데이터를 요청했습니다. 데이터를 받은 후, 첫 번째 논문에 대한 반론을 내놓았는데, 그 논문에서는 시리얼에 의한 성별 선택은 다중 검사에서 위양성일 가능성이 높다고 했습니다.
	임신 직전... 임신 예상 시점, 그리고 임신 직전 시점까지. 각 설문지에는 131가지 식품이 포함되어 있었고, 총 262회의 통계적 검정이 이루어졌습니다.
	해당 테스트에 대한 P값을 계산하고 가장 작은 것부터 가장 큰 것까지 순위를 매기고 정수에 대해 그래프로 표시합니다(맨 아래에 있는 순위).
	꽤 괜찮은 45도 선처럼 보이는 게 보이시죠? 그러니까 균등 분포를 보고 있는 겁니다. 그들의 주장은 그 왼쪽 아래에서 나왔는데, "음, 여기 작은 P값이 있네요."라고 했습니다. 작은 P값은 시리얼을 먹으면... 아침 시리얼을 먹으면 더 많은
	남자아이 아기들.
	통계적으로는 분명히 거짓 양성입니다.
	P-값 플롯. P-값 플롯을 자주 사용하게 될 겁니다. 왼쪽에는 참일 가능성이 높은 귀무 가설에 대한 P-값 플롯이 있습니다.
	노인의 장기적인 운동 훈련은 사망이나 사망 위험으로 이어지지 않습니다. 오른쪽은 흡연과 폐암입니다.
	그리고 페이지 전체에 걸쳐 P값이 0에 매우 가깝게 추적되는 것을 볼 수 있고, 오른쪽에는 몇몇 P값이 뒤떨어져 있습니다. 오른쪽 그림은 실제 효과의 증거이고, 왼쪽 그림은 귀무가설, 즉 효과가 없음을 뒷받침합니다.
	이 강의에서 메타 분석을 사용할 예정이므로 메타 분석에 대해 이야기해 보겠습니다. 왼쪽을 보면 깔때기가 있는데, 많은 논문들이 그 깔때기로 떨어지는 것을 볼 수 있습니다.
	역학자나 메타 분석을 하는 사람은 자신이 보기에 좋은 논문을 골라 추가 분석에 활용합니다. 오른쪽에서... 일종의
	증거 계층 구조. 여러 연구에 대한 메타 분석이 고려됩니다.
	높은 수준의 정보부터 시작해 맨 아래로는 전문가 의견 등등이 나열돼 있죠. 피라미드를 따라 위로 올라갈수록
	사람들은 증거가 더 낫다고 주장합니다.
	두 편의 메타분석 논문 예시를 살펴보겠습니다. 첫 번째 논문은 Orellano의 논문입니다.
	일산화질소, 오존,
	작은 입자 등등. 그리고 그것은 모든 곳에서 데이터를 수집했습니다...
	세계, 그리고 이것은 다음에 의해 후원되었습니다.
	WHO, 이건 고품질의 자금 지원, 고품질의 논문이에요.
	이건 메타 분석입니다. 메타 분석에 나온 주장들이 타당한지 살펴보겠습니다.
	아래는 정말 웃겼어요. 붉은 고기와 가공육 섭취 패턴과 기본적으로 폐암과 심장마비 위험에 대한 내용이에요.
	영양학 문헌에는 붉은 고기를 먹으면 안 된다는 내용이 많이 나와 있습니다. 이게 말이 되는지 한번 알아보겠습니다.
	퍼즐의 각 부분을 다시 살펴보고, 그것들이 어떻게 맞춰지는지 살펴보겠습니다.
	우리는 공개된 문헌을 통해 대부분의 주장이 재현에 실패한다는 것을 알고 있습니다. 이를 과학의 위기라고 합니다. P-해킹은 문제입니다. P-해킹은 이것저것 시도하며 수많은 실험을 한 후, P값이 0.05 미만으로 나오면,
	당신은 논문을 쓸 수 있습니다.
	우리는 메타 분석과 P값 플롯을 사용해 기본적으로 P 해킹을 하는 사람들을 잡을 것입니다. 저는 P 해킹을 일종의 통계 부정행위라고 부릅니다.
	다른 사람들은, 아시다시피, 조금... 조금 다르게 설명했습니다. 우리는 JMP 추가 기능을 사용할 것입니다. 이 JMP 추가 기능은 Paul Fogle이 작성했습니다.
	이를 통해 메타 분석 논문을 작성하고 P-값 플롯을 빠르고 쉽게 생성할 수 있습니다. 또한 Fisher의 P-값 결합에 대해서도 설명하고...
	JMP에서 나오는 양방향 플롯을 가져와서 왼쪽과 오른쪽 여백을 더...더 보기 좋게 정리하는 작은 스크립트를 만들어 보세요.
	글쎄, 여기 대기 오염에 장기간 노출되는 것이 있습니다.
	천식을 유발한다고 하잖아요. 왼쪽에 나무 그림이 있는데, 그게...
	마치 크리스마스 트리처럼 보이네요.
	평균값은 점으로 표시되고 신뢰 한계는 양쪽으로 뻗어 나가는 수염입니다. 왼쪽에는 논문 이름이 있고... 이 저자들이 선정한 논문들이 있으며, 오른쪽에는
	위험 비율과 신뢰 한계. 이제 위험 비율과 신뢰 한계를 긁어내어 다음 항목에 넣을 수 있습니다.
	JMP 데이터 세트, 오른쪽에 JMP 데이터 세트가 보입니다.
	이제 P값 플롯입니다.
	폴 포글이 쓴 글은 위험 비율과 P... 그리고 신뢰 한계를 P값으로 변환할 것입니다.
	여기서 우리는 그것이 이루어졌음을 볼 수 있습니다.
	신뢰 한계는 표준 오차를 알려줍니다.
	위험 비율과 표준 오차를 사용하여 Z 통계량을 계산할 수 있습니다. 그리고 Z 통계량을 사용하여 P-값을 구할 수 있습니다. 오른쪽에서 JMP에서 몇 번 클릭하면 나타나는 P-값 플롯을 볼 수 있습니다.
	여기서 다시 왼쪽에는 대략적인 P-값 플롯이 있고 오른쪽에는 작은 스크립트를 사용한 후 0선을 추가하고 .05에 대한 점선을 추가하고 숫자를 정리하고 확장합니다.
	X축과 Y축입니다. 이제 우리는 그 안에 있는 모든 연구를 살펴보고 판단할 수 있지만, 다소 이상한 점을 발견하게 됩니다.
	여기에는 .05 미만의 P값이 몇 개 있고 그 다음에는 P값이 올라가는 경우가 많아서 모호한 상황이 발생합니다.
	일부 P값은 주장이 맞는 것처럼 보이고, 다른 P값은 그저 무작위적인 결과처럼 보입니다.
	피셔의 P값 결합 공식을 살펴보겠습니다. 왼쪽에 공식이 있습니다. P값에 자연로그를 취해 -2를 곱한 값을 더합니다.
	그러면 카이 제곱이 나옵니다. 표에서 카이 제곱을 찾아보세요. 이 메타 분석에는 P 값이 있습니다. P 값 아래에 -2ln이 있는데, 합산에 상당한 영향을 미치는 작은 P 값이 몇 개 있다는 것을 알 수 있습니다.
	조금만 생각해 보면, 합계도 모든 합계와 마찬가지로 이상치가 조작되어 균형이 상당히 바뀔 수 있습니다.
	따라서 소수의 작은 P-값(.0033, .0073)이 카이제곱 합에 극적으로 영향을 미칩니다. 사실, 합산은 견고하지 않습니다. 하나의 이상치, 즉 극단적인 이상치 하나가 전체 방정식을 뒤엎을 수 있습니다.
	이제 P-해킹이 작은 P-값을 초래할 수 있다는 점을 명심하세요.
	과학자들은 연구 결과가 의미 있는 것이 아니면 아예 발표조차 하지 않는 경우가 많습니다.
	그리고 만약 그들이 의미 있는 것을 발견한다면, 일반적으로 그렇게 할 것입니다. 그래서 출판 편향이 발생합니다. 전체 문헌은 작은 P값으로 가득 차 있습니다.
	그리고 이건 아마도... 빙산의 일각일 겁니다. 빙산 아래에는 발생할 수 있는 모든 출판물이 있지만, 통계적으로 유의미하지는 않았습니다.
	이제 대기 오염 연구를 살펴보겠습니다. 2012년의 무스타픽
	JAMA에 논문을 발표하고 6가지 전형적인 대기 오염을 살펴보았습니다.
	일산화탄소, 아산화질소, 미세먼지(PM 2.5), 이산화황 등
	이 P-값 플롯을 보면 모두 하키 스틱처럼 보입니다. 0.05 미만의 P-값이 여러 개 있습니다.
	하지만 45도 선을 따라 올라가는 상당수의 P값이 있는데, 이는 효과가 없음을 나타냅니다.
	우리는 혼합된 연구를 검토하고 있다고 주장합니다. 유의미한 연구와 유의미하지 않은 연구가 혼합된 연구를 검토하고 있습니다.
	그리고 우리는 중요한 연구들이 대부분 P-해킹에서 비롯되었다고 주장합니다. 다른 방법들도 있겠지만, 우리는 P-해킹이 핵심이라고 생각합니다. 그러니까 여기 왼쪽을 보시면,
	빨간색 상자에는 중간값을 표시합니다.
	연구에서 수행할 수 있는 모델이나 테스트의 수는 Mustafic의 논문에 나와 있는 연구와 같습니다.
	우리는 그 수를 세었다
	결과, 예측 변수, 공변량을 모두 곱하면 중앙값, 즉 검색 공간이 되는데, 중앙값 검색 공간은 12,288입니다.
	즉, 저자들은 평균적으로 P값이 0.05 미만일 가능성이 12,000번, 즉 중앙값 기준으로 12번의 기회를 가졌습니다. 즉, 통계적으로 유의미한 결과를 얻을 수 있는 상당한 여유가 있었습니다.
	여기서는 영양 연구에 대한 간단한 계산을 살펴보겠습니다. 총 15개의 연구가 있습니다. 논문의 저자, ​​즉 제1저자입니다.
	그리고 상단에는 결과, 예측 변수, 공변량, 검정, 모델, 그리고 검색 공간이 표시됩니다. 예를 들어, 딕슨처럼 세 가지 건강 결과를 살펴보고 51개의 결과를 얻었다면, 결과는 다음과 같습니다.
	그들의 연구에 사용된 음식들은... 그것들이 예측 변수가 될 것입니다. 이제 그들이 공변량을 사용한다면,
	그러면 검색 공간이 상당히 늘어날 겁니다. 딕슨의 경우, 이론적으로 2천만 가지의 분석이 가능했을 겁니다.
	검색 공간 열을 살펴보면 수행 가능한 분석의 수가 상당히 많다는 것을 알 수 있습니다.
	영양 연구는 코호트를 대상으로 진행되었습니다. 코호트는 수집된 사람들의 집단입니다.
	처음에는 질문을 통해 측정한 다음, 시간이 지나면서 기다렸다가 건강에 미치는 영향을 살펴봅니다.
	각 코호트는 해당 코호트가 사용하는 데이터 세트의 이름을 갖습니다.
	그리고 집단이 한번 모이면, 그걸 이용해서 수천 개의 질문을 던질 수 있죠.
	만약에
	그 질문 중 하나에 대한 P-값이 유의미하게 나옵니다.
	그리고 그들은 논문을 쓸 수 있다고 생각하고, 실제로 그렇게 하는 경우가 많습니다.
	그래서 마지막 두 열에서 우리는 논문의 수를 봅니다.
	발생할 수 있는 것들입니다. 더 많은 것들이 있습니다... 저희는 Google Scholar를 사용해서 실제로 확인해 보았습니다. 문헌에 게재된 논문 수는 다음과 같습니다.
	각 코호트와 관련이 있습니다. 덧붙이자면, 우리는 이러한 논문들을 많이 살펴봤지만, 어떤 논문에서도 다중 검정이나 다중 모델링에 대한 조정은 없었습니다.
	영양 역학, 환경 역학, 이런 것들이 우리가 여기서 이야기했던 것들입니다. 영양 역학은 식품 섭취 빈도 설문지(FFQ)라는 설문지를 사용합니다.
	FFQ에서는 여러 가지 음식을 섭취할 수 있습니다.
	처음에는 61가지 식품으로 시작했는데, FFQ 연구에서는 800가지 식품이 포함된 걸 본 적도 있습니다. 제가 그 설문지를 작성하는 사람이 되고 싶지는 않네요.
	하지만 시간 경과에 따라 FFQ를 사용하는 논문의 수는 다음과 같습니다.
	1985년 이래로... 이 기술은 1986년에 발명되었고... 1985년 이래로 74,000건의 FFQ 논문이 발표되었는데, 우리가 살펴본 바에 따르면 이 논문들 중 어느 것도 다중 검정에 맞게 조정되지 않았으며, 모두 상당히 큰 통계적 검색 공간을 가지고 있었습니다.
	환경 역학에 관한 논문 제목에 있는 "대기 오염"이라는 단어를 구글 검색해봤습니다.
	그리고 여기서 우리는 시간이 지남에 따라 대기 오염에 관한 논문이 28,000~29,000편이나 쓰였다는 것을 알 수 있습니다.
	제가 아는 한, 많은 자료를 조사한 결과, 이 논문들 중 어느 것도 다중 테스트나 다중 모델링에 맞게 조정되지 않았으며, 이 논문들은 모두 큰... 기본적으로 이 논문들은 모두 매우 큰 검색 공간을 가지고 있습니다.
	메타 분석은 체계적 고찰 및 메타 분석이라는 이름으로 불리며 최근에는 2005년부터 시작되었습니다.
	저널에는
	논문 제목에 그 용어를 사용했습니다. 그래서 2005년부터 논문 제목에 "체계적 고찰"과 "메타분석"이라는 단어가 나오는지 물어봤는데, 처음에는 연간 1,500편 정도의 논문이 나오던 걸 볼 수 있습니다.
	5년 동안 1,500편의 논문이 발표되었고, 마침내 2021년에
	총 27,000건의 논문이 접수되었으니, 이는 소규모 산업에 속합니다. 이러한 논문들은 비교적 쉽게 제작될 수 있습니다.
	중국에서는 보통 10명이나 5~15명으로 구성된 팀이 일주일에 한 건의 메타 분석을 수행할 수 있습니다.
	그리고 그들의 급여는 그들이 발표한 논문의 수 등에 따라 평가됩니다.
	제가 아는 한, 이 연구들의 절반은 관찰 연구이고 나머지 절반은 무작위 임상 시험에서 나온 것입니다.
	지금까지 살펴본 모든 연구, 특히 관찰 연구에서는 사실상 이러한 연구 중 어느 것도 하키 스틱처럼 보이지 않았습니다. 작은 P값이 있는 반면 완전히 무작위로 보이는 P값이 많이 있습니다.
	이 모든... 사실상 모든 연구는 여러분의 세금이나 누군가의 세금으로 운영된다고 말씀드리고 싶습니다. 공공 자금으로 엄청나게 지원받는다고 할 수 있죠.
	많은 주장이 통계적 근거가 없습니다. 기본 논문은 다중 검정 및 다중 모델링을 보정하지 않습니다. 기본 논문에는 분석 검색 공간이 매우 넓습니다.
	그리고 우리는 환경 역학과 영양 역학에서 대부분의 사람들이, 증거에 근거하여, 신뢰할 수 없다는 예를 보았습니다.
	제가 말했고 다른 사람들도 말했듯이, 우리는 과학과 통계적 재앙을 겪고 있으며 메타 분석과 P값 플롯을 사용하면 이러한 주장이 사실인지 아닌지 검증할 수 있습니다.
	여기 네 가지 스모그 상황이 있습니다. 왼쪽 위는 1952년 런던입니다.
	오른쪽은 1948년 로스앤젤레스입니다.
	왼쪽 아래는 싱가포르인데... 정확한 연도는 기억이 안 나네요. 그리고 베이징이 있는데, 둘 다 최근 사진입니다.
	런던 안개의 경우, 사망자 통계 분석 결과... 일일 사망자 수 등을 종합적으로 보면 1952년 런던에서 3~4일 동안 4,000명 이상이 사망한 것으로 나타났습니다. 이로 인해 역학자들은 누가 살인자인지에 관심을 갖게 되었습니다.
	나머지 세 장의 슬라이드나 세 장의 사진에서는 해당 기간 동안 사망자가 증가했다는 보고가 없습니다.
	런던에서는 석탄을 태우고 있었다는 점이 문제입니다.
	난방과 그 외 모든 것에 대해 온도 역전 현상이 있었고, 공기 중 산이 입자에 의해 폐 하부로 운반되어 감염되기 쉬운 사람들, 특히 노약자의 사망률이 증가했다는 주장이 제기되었지만, 현재는 그렇지 않습니다.
	전 세계적으로요. 전 세계적으로 온갖 종류의 오염이 있지만, 그것과 관련된 사망률 급증은 보이지 않습니다.
	사기요? 하하. 저는 사기를 좋아해요.
	이거 사기인가요? 대기 오염은 치명적입니다. 예를 들어, FFQ 연구에서 나온 주장, 즉 커피를 마시면 췌장암에 걸릴 확률이 높아진다는 주장은 사실이 아닐 가능성이 높습니다.
	자연 오존 농도가 치명적일까요? 저도 그 말이 틀린 것 같습니다. 환경적 에스트로겐이요. 관찰 연구를 이용한 메타 분석에서 나온 주장은 모두 사실이 아닙니다.
	대중 문헌에 나타난 증거를 살펴보면, 대개 대학에서 나온 과학적 주장의 80%가 무작위 임상 시험과 같은 엄격한 검증을 거친 결과 재현에 실패했다는 사실을 기억하세요.
	감정과 공포. 실용 정치의 궁극적인 목표는 끝없는 홉고블린(모두 상상의 존재)으로 사람들을 위협함으로써, 사람들을 위협하고, 두려움에 떨게 하며, 안전한 곳으로 인도해 달라고 아우성치게 하는 것입니다.
	엉터리 속임수, 기만, 그리고 능숙한 설득이나 피해자에 대한 교묘한 조종을 포함한 신뢰 게임. 그래서 HL 멘켄은 1930년대에 실용적인 정치는 대체로 공포 정치라고 말했습니다.
	이 강연의 마지막 부분에서 이 글의 저자들에 대해 이야기해 보겠습니다. 저는 스탠 영이고, genetree@bellsouth.net으로 연락 가능합니다. 워런 킨지어스키는 캐나다 역학자이며, 지난 몇 년간 저와 긴밀히 협력하여 다음과 같은 논문들을 작성해 왔습니다.
	오늘 여기서 본 내용을 바탕으로 합니다. 폴 포겔은 매우 흥미로운 통계학자로, 파리에 살고 있으며,
	사용할 수 있는 애드인과 스크립트가 있습니다. 스크립트를 사용하면 메타 분석에서 평가까지 한 시간도 채 걸리지 않고 완료할 수 있다고 말씀드릴 수 있습니다.
	저는 National Association of Scholars 보고서인 Shifting Sands Report 1을 추천하고 싶습니다. 이 URL을 클릭하면 해당 페이지로 이동할 수 있습니다.
	이 보고서는 길고 복잡하지만, 대기 질과 건강 영향에 대해 다루는 간단한 통계 보고서입니다.
	그리고 이와 함께 저는 다음과 같은 주장을 할 것입니다. 이 영상을 시청하는 누군가가 무슨 일이 일어나고 있는지 시도하고 싶어한다면, 우리는 당신에게 JMP에 대한 스크립트와 추가 기능을 제공하고, 그러면 나는 당신을 도울 것입니다.
	메타 분석에 대한 당신의 특정 분석을 살펴보고 해석해 보세요. 그럼 이만 마치겠습니다. 질문에 답해 드리겠습니다. 감사합니다.

고급 통계 모델링자동화 및 스크립팅기본 데이터 분석 및 모델링소비자 및 시장 조사데이터 혼합 및 정리데이터 탐색 및 시각화실험 설계대량 맞춤화예측 모델링 및 머신 러닝품질 및 공정 엔지니어링신뢰성 분석결과 공유 및 전달