スピーカー | 成績証明書 |
| スタン・ヤング | ははは。 |
| サラ・ダウト | 許可してください。 |
| スタン・ヤング | 今すぐすべてを見てください。 |
| わかった、いや、私の側からスライドを走らせるか。 |
| サラ・ダウト | はい、通常の会議と同じように。 |
| さあ、大丈夫、大丈夫、近くにいるならすべてを把握していることを確認してください、わかりました、録音中です、そうする必要があります、念のためカメラをオフにします、それから。 |
| わかった。 |
| スタン・ヤング | これを全画面表示にするには、並べ替えるだけです。 |
| 2番目はその方法についてです。 |
| サラ・ダウト | それはその下のようなもので、34％に対する彼らの行為に関する注意事項が書かれており、それはaのように見えるものです。 |
| ボートを降りて、ああ、そのことについては申し訳ありませんが、その人の反対側で。 |
| はい、あの人です。 |
| スタン・ヤング | ははは。 |
| サラ・ダウト | あなたは行きます、つまり私は行きます、すぐに始まりますが、私は自分自身に会うつもりです、始める前に何か質問はありますか？ |
| スタン・ヤング | それとも本当にスライドだけでなく私も録画するつもりですか？ |
| サラ・ダウト | そうそう、彼らはあなたがそれを持っているように尋ねました。 |
| カメラはここにあります。 |
| それ以上は大丈夫です。 |
| 右。 |
| よし。 |
| スタン・ヤング | 準備はできています。 |
| サラ・ダウト | 私は自分自身をミュートするつもりです。質問がある場合、または停止する必要がある場合は、お知らせください。そうでない場合は、許可します。 |
| スタン・ヤング | 行く。 |
| 今日は、複数の研究を評価するための JMP アドインとスクリプトを紹介します。 あるいは、これを、ハッカーを捕まえる方法、統計を使って不正行為をする人々、またはほとんどの科学的主張が間違っている理由と呼ぶこともできます。 |
| まず、パズルのパーツとそれらがどのように組み合わされるかを説明します。 ほとんどのクレームは実際には再現できません。 これらは科学的な主張です。 |
| これは p-hacking によるものであり、大きな問題であると、私も共著者も主張しています。 メタ分析と P 値プロットを使用して犯罪者を捕まえるつもりです。これが詐欺師を捕まえる方法です。 |
| JMP アドインとスクリプトは、リスク比と信頼限界からの P 値です。 それらはメタ分析から得られます。 |
| 次に、フィッシャーによる P 値の組み合わせです。これは、メタ分析テクノロジーに似た古代の手法です。 次に、p 値プロットを提示します。それをクリーンアップして、見栄えの良いものにするための小さなスクリプトがあります。 |
| 写真。 |
| さて、空にウサギが見えます。 空には雲がたくさんあるので、天気の良い日に周りを見渡せば、ウサギを見つけられるかもしれません。 |
| したがって、これはランダムイベントです。 もちろんウサギは実際には空にいるわけではありません。 |
| ゲルマンとローケンは実際に小さな記事を発表し、科学における統計の危機について述べました。そのため、人々は統計を間違って使用していると彼らは言います。そしてそれが今日私たちが話すことです。 |
| 疫学実験をしてみましょう。 |
| 赤、白、青の 10 面体のサイコロがあります。 これらは数字になります (この特定の場合は .046)。 これが実際に目の前で起こるのを見てみましょう。 |
| これで P 値が得られました。 それはランダムです。 あなた自身がやったのです。 とても楽しいので、もう一度やってみませんか？ |
| 赤、白、 |
| そして青。 |
| これを 60 回実行すると、ここの表に記入できるようになります。 これは10面体のサイコロで行ったシミュレーションです。 また、P 値が 4 列 15 行で表示されます。 つまり、P 値は 60 になります。 私の最小の P 値は 0.004 です。 |
| 60 個の P 値を使用すると、確率を計算できます。 約 95% の確率で、少なくとも 1 つの P 値が 0.05 未満になります。 |
| こちらは娘が作ったもの。 彼女の P 値は 3 つあり、0.05 未満でした。ここでは丸で囲まれています。 疫学者の実験はとても簡単です |
| 私の妻のパットでもそれができるし、サイコロを振って良い物語を紡ぐことに基づいて書くことができる論文が 3 つあります。 |
| P 値には期待値が付加されます。 右側では、P 値が .004、.016、および .012 になります。 各 P 値には正常偏差が付加されます。 私の .004 の標準偏差は 2.9 などであることがわかります。 そして左側には、 |
| サンプルサイズ、予想される偏差、最小の P 値に対する予想される P 値、次に偏差です。 つまり、400 個あった場合 |
| 私たちが調べていた質問の場合、予想される P 値は 0.00487 で、偏差は 2.968 になります。 この偏差が基礎実験からメタ分析の計算に持ち込まれ、作業を進めるにつれてそれがわかることになります。 |
| 疫学における主張はどれくらい真実ですか? 私は 2011 年に論文を発表し、観察研究でなされた主張を採用しました。 |
| そして、観察研究のそれぞれの主張について、まったく同じ質問を検討したランダム化臨床試験を見つけました。 12 件の研究では、 |
| 作成および検証できる可能性のある 52 件の主張。 |
| 正の下の列を見ると、これらの 52 のクレームのうち、正しい方向に複製されたものはゼロです。 |
| つまり、疫学者らの主張は、52 件中 0 件だったということになります。 実際には統計的に有意な主張が 5 つありましたが、それらは観察研究で主張されたものとは反対の方向でした。 |
| 見てみましょう |
| クレイジーな質問。 穀物で人間の性別が決まるのか？ では、朝食用シリアルを食べると、男の子が生まれる可能性が高くなりますか? そうですね、最初の論文にはそう書かれていました。 |
| この論文は、英国王立協会 B の主要な生物学ジャーナルに掲載されました。 そこで、これら 3 人の共著者は、朝食用シリアルを食べると、妊娠中およびその前後に朝食用シリアルを食べると、男の子が生まれる可能性が高くなる、と主張しました。 |
| 私の同僚の2人と私はこれを見て、データを求めました。 私たちはデータを入手し、穀物による性選択は多重検査の偽陽性である可能性が高いという最初の論文への反論を発表しました。 |
| 受胎直前…受胎予定時期、そして受胎直後。 それぞれのアンケートには 131 の食品が含まれており、合計 262 の統計テストが行われました。 |
| これらのテストの P 値を計算し、最小から最大の順にランク付けし、整数に対してプロットします (これが最下位のランクです)。 |
| かなり良好な 45 度の線のように見えます。 そこで、一様分布を調べます。 さて、彼らの主張はその左下から来ており、「ここには小さな P 値がある」と彼らは言いました。 P 値が小さいことから、シリアルを食べると...朝食用シリアルを摂取すると、より多くの摂取量が得られることがわかります。 |
| 男の子の赤ちゃん。 |
| かなり明らかに統計上の偽陽性です。 |
| P 値プロット。 したがって、P 値プロットを多用することになります。 左側には、真である可能性が高い帰無仮説の P 値プロットが表示されます。 |
| 高齢者の長期にわたる運動トレーニングは死亡率や死亡リスクにはつながりません。 右側は喫煙と肺がんです。 |
| そして、ページ全体にわたって、かなりゼロに近い大量の P 値が追跡されており、右側にはいくつかの残骸が見られます。 つまり、右側の図は実際の効果の証拠であり、左側の図は帰無仮説の裏付けであり、効果はありません。 |
| この講義ではメタ分析を使用するので、メタ分析について話しましょう。 左側にはじょうごがあり、たくさんの紙がそのじょうごに落ちているのが見えます。 |
| 疫学者やメタ分析を行う人は、質の高いと思われる論文を選び、それをさらなる分析に使用します。 右側に、... のようなものがあります。 |
| 証拠の階層。 多くの研究にわたるメタ分析が考慮されています |
| 上位レベルの情報、その下に専門家の意見などがあります。 つまり、ピラミッドを上に登るほど、 |
| 人々は証拠のほうが優れていると主張している。 |
| メタ分析の論文の例を 2 つ見ていきます。 最初の論文は Orellano によるものです。 |
| 一酸化窒素、オゾン、 |
| 小さな粒子など。 そしてそれはあらゆるところからデータを収集しました...あらゆるところから |
| 世界、そしてこれは |
| WHO、これは高品質の資金、高品質の論文です。 |
| そしてメタ分析です。 そのメタ分析の主張が成り立つかどうかを見ていきます。 |
| 一番下は本当に面白かったです。 赤身肉と加工肉の摂取パターンと、基本的に肺がんと心臓発作のリスク。 |
| 栄養学の文献には、赤身の肉を本当に食べるべきではないというものがたくさんあります。 それが意味があるかどうか、見てみましょう。 |
| 戻ってパズルのパーツを見て、それらがどのように組み合わされるかを見てみましょう。 |
| 私たちは、公開されている文献から、ほとんどの主張が再現できないことを知っています。 これを科学の危機といいます。 Pハッキングが問題です。 P ハッキングとは、これを試したり、あれを試したりする多くのテストを実行し、0.05 未満の P 値が見つかった場合に、 |
| 論文を書くことができます。 |
| 基本的に P ハッキングをしている人々を捕まえるために、メタ分析と P 値プロットを使用します。私は P ハッキングを統計を使った一種の不正行為と呼んでいます。 |
| 他の人は、ご存知のとおり、ほとんど...少し違った方法で説明しています。 JMP アドインを使用します。 これらの JMP アドインは Paul Fogle によって作成されました。 |
| また、メタ分析の論文から始めて、P 値プロットを迅速かつ簡単に作成できるようになります。 フィッシャーによる P 値の組み合わせについても説明します。その後は... |
| JMP から得られる双方向プロットを取得し、それをクリーンアップする小さなスクリプトを使用して、左右のマージンをより魅力的にします。 |
| さて、ここで大気汚染に長期的にさらされると、 |
| 喘息を引き起こす、と彼らは言います。 左側には、いわゆる樹形図があります。 それは... |
| まるでクリスマスツリーのように見えます。 |
| 平均値は点として与えられ、信頼限界は両側に出るひげになります。 左側には論文の名前が表示されます...これらの著者によって選択された論文、右側には |
| リスク比と信頼限界。 今では、多くの場合、リスク比率と信頼限界を削り取って、それらを |
| JMP データ セットなので、右側に JMP データ セットが表示されます。 |
| 次に P 値プロットです。 |
| Paul Fogle が書いたものは、これらのリスク比と P... および信頼限界を P 値に変換します。 |
| ここでそれが完了したことがわかります。 |
| 信頼限界により標準誤差が得られます。 |
| リスク比と標準誤差を使用して、Z 統計を計算できます。 そして、Z 統計を取得して P 値を取得できます。 ここの右側では、JMP で数回クリックした場合と同じように、P 値プロットが表示されます。 |
| ここでも、左側には大まかな P 値のプロットがあり、右側には、小さなスクリプトを使用した後、ゼロの線を追加し、.05 の点線を追加し、クリーンアップして展開しています。上の数字 |
| X 軸と Y 軸。 それで、私たちは今、その物体に含まれていたすべての研究を見て判断することができますが、かなり奇妙なことがわかります。 我々は、 |
| ここではすべて、0.05 未満の P 値がいくつかあり、その後、多くの P 値が上昇しているため、あいまいな状況が生じています。 |
| P 値の中には、その主張が正しいように見えるものもあれば、単にランダムな結果であるように見えるものもあります。 |
| フィッシャーの P 値の組み合わせを見てみましょう。 左側に式があります。 P 値を取得し、自然対数を取得し、それらの合計に -2 を掛けます。 |
| そしてそれはカイの二乗を与えます。 表でカイの二乗を調べます。 これは...このメタ分析で、P 値が得られます。 P 値の下には -2ln があり、合計に実質的に追加される小さな P 値がほとんどないことがわかります。 |
| 少し考えてみれば、合計は他の合計と同様に、操作された外れ値の影響を受けて、バランスが大幅に変化します。 |
| したがって、いくつかの小さな P 値 (.0033、.0073) がカイ 2 乗の合計に劇的に追加されます。 実際、この合計は堅牢ではありません。 1 つの外れ値...極端な外れ値が全体...方程式全体を傾ける可能性があります。 |
| ここで、P ハッキングは小さな P 値につながる可能性があること、また、 |
| 多くの場合、科学者は、重要でない研究が出た場合、それを出版することさえしません。 |
| そして、何か重要なことを見つけた場合、通常はそうするでしょう。 つまり、出版バイアスが存在します。 文献全体には小さな P 値が散在しています |
| おそらくこれは氷山の一角でしょう。 氷山の下には、起こり得る出版物がすべてありますが、統計的に有意ではありませんでした。 |
| 次に大気汚染の研究を見てみましょう。 2012年のムスタフィック |
| 彼はJAMAに論文を発表し、6つの典型的な大気汚染を調べました。 |
| 一酸化炭素、亜酸化窒素、小さな粒子（PM 2.5）、二酸化硫黄など。 |
| これらの P 値プロットを見ると、それらはすべて本質的にホッケーのスティックのように見えます。 .05 未満の P 値が多数あります。 |
| しかし、かなりの数の P 値が 45 度の線に沿って上昇しており、効果がないことが示されています。 |
| 私たちは混合物を見ていると主張しています。 私たちは重要な研究と重要でない研究を組み合わせて検討しています。 |
| そして私たちはさらに、重要な研究の大部分が P-ハッキングから来ていると主張しています。 他にも考えられる方法はありますが、私たちは P ハッキングが問題だと考えています。 ここで左側を見ると、 |
| 赤いボックスには中央値を示します |
| ムスタフィックの論文に記載されている研究で実施できるモデルやテストのこと。 |
| 私たちはその数を数えました |
| 結果、予測変数、共変量をすべて掛け合わせると、検索スペースと呼ばれる中央値は 12,288 になります。 |
| これは、著者らには、平均して 12...中央値で 12,000 回、0.05 未満の P 値を取得する機会があったことを意味します。 彼らには統計的に有意な結果を得る十分な余地がありました。 |
| ここでは栄養学に関する単純な数え方を見ていきます。 ここには 15 件の研究があります。 著者、または論文の最初の著者。 |
| そして、上部には結果、予測変数、共変量、テスト、モデル、検索スペースが表示されます。 たとえばディクソンのように 3 つの健康上のアウトカムを調べた場合と、51 の健康上のアウトカムがあった場合の結果 |
| 彼らの研究に含まれる食品、それは...それらが予測因子となるでしょう。 ここで共変量を使用すると、 |
| これにより、検索スペースが大幅に増加します。 そしてディクソンの場合、理論的には 2,000 万通りの可能な分析があったことがわかります。 |
| また、検索スペースの列を見てみると、実行できる可能性のある分析が多数表示されます。 |
| 栄養調査はコホートを対象に実施されました。 コホートとは集められた人々のグループのことで、 |
| 最初は質問によって測定され、その後時間をかけて健康への影響を調べます。 |
| これらの各コホートには、そのコホートが使用するデータ セットの名前があります。 |
| そして、コホートが集められると、無数の質問をするために使用できます。 |
| もし |
| これらの質問の 1 つの P 値は有意であることがわかります |
| そして、彼らは論文を書くことができると感じており、実際に論文を書くことができることがよくあります。 |
| 最後の 2 つの列には、論文の数が表示されます。 |
| それが起こる可能性があります。 それはさらに...Google Scholarを使用して、実際に調べてみました。 これらは文献に掲載された論文の数です |
| これらの各コホートに関連付けられています。 付け加えておきますが、私たちはこれらの論文を数多く検討しましたが、これらの論文のどれにも複数のテストや複数のモデリングに対する調整はありませんでした。 |
| 栄養疫学、環境疫学、これらがここで話したものです。 栄養疫学では、食物頻度質問票（FFQ）という質問票が使用されます。 |
| FFQ では、いくつかの食べ物を食べることができます。 |
| 当初は 61 種類の食品から始まり、800 種類の食品があった FFQ 研究をいくつか見たことがあります。 私ならそのアンケートに記入する人間にはなりたくありません。 |
| ただし、ここに示されているのは、FFQ を使用する論文の数の推移です。 |
| 1985 年以来...この技術は 1986 年に発明されました...1985 年以来、74,000 の FFQ 論文がありましたが、私たちが調べた限りでは、これらの論文はどれも複数のテスト用に調整されておらず、すべての論文にかなり大きな統計検索スペースがありました。 |
| 環境疫学については、論文のタイトルにある「大気汚染」という単語で Google 検索してみました。 |
| そして、時間の経過とともに、大気汚染について書かれた論文が 28,000 ～ 29,000 件あることがわかります。 |
| 私の知る限り、よく調べたところ、これらの論文はどれも複数のテストや複数のモデリングに適応していません。また、これらの論文はすべて大きな検索スペースを持っています...本質的に、これらの論文はすべて非常に大きな検索スペースを持っています。 |
| メタ分析はシステマティック レビューとメタ分析という名前になり、最近では 2005 年から |
| 雑誌には |
| 論文のタイトルにその用語を使用しました。 そこで 2005 年から、論文のタイトルに「システマティック レビュー」と「メタ分析」という言葉が含まれているかどうかを尋ねました。ご覧のとおり、最初は年間 1,500 件の論文という低水準でした。 |
| その 5 年間で 1,500 件の論文が発表され、最終的に 2021 年には |
| 合計27,000の論文があるので、これは家内産業です。 これらの書類は比較的簡単に入手できます。 |
| 中国では多くの場合、10 人または 5 ～ 15 人のチームが、週に 1 つのメタ分析を実行できます。 |
| そして彼らの給料は、出版した論文の数などによって評価されます。 |
| 私の知る限り、これらはすべて...これらの研究の半分は観察研究であり、半分は...ランダム化臨床試験からのものです。 |
| 事実上、これらのどれも、そしてこれまで私たちが調べたすべての研究、特に観察研究において、このようなホッケーのスティックのようなものはありません。完全にランダム。 |
| 言っておきますが…基本的にこれらの研究はすべて、あなたの税金、または誰かの税金によって資金提供されています。 彼らは公的資金から非常に贅沢な資金を提供されている、とも言えます。 |
| 多くの主張には統計的な裏付けがありません。 ベースペーパーは複数のテストや複数のモデリングを修正しません。 基礎論文には大きな分析検索スペースがあります。 |
| そして、環境疫学や栄養疫学から、証拠に基づいて言えば、ほとんどの人が信頼できないという例を見てきました。 |
| 私は言います、そして他の人も言っています、私たちは科学と統計の災害を経験し、メタ分析とP値プロットを使用していますが、これらの主張は真実であるかどうかを検証することができます。 |
| ここではスモッグの 4 つの状況を示します。 左上は1952年のロンドン。 |
| 右は1948年のロサンゼルス。 |
| 左下はシンガポールですが、正確な年は覚えていません。 そして、北京があります。 それらは最近のことです。 |
| ロンドンの霧の場合、死亡の統計分析...毎日の死者数などあらゆるものから、1952年のロンドンでは3～4日間に4,000人以上の死者が発生したことが示されています。 このことが疫学者の、何が殺人者なのかについての関心を引き起こした。 |
| 他の 3 枚のスライドまたは他の 3 枚の写真では、これらの期間中に死亡の増加は報告されていません。 |
| ロンドンでは石炭を燃やしていたということだ |
| 暖房やその他すべてに。 気温の逆転があり、空気中の酸が粒子によって肺の下部に運ばれ、感受性の高い人、通常は高齢者や虚弱な人の死亡者数が増加したという主張があるが、現在はそんなことは起こっていない。 |
| 世界中で。 世界中にはあらゆる種類の汚染が存在しますが、それに関連して死亡率が急増していることは見られません。 |
| 詐欺？ ははは。 私は詐欺が大好きです。 |
| これらは詐欺ですか？ 大気汚染は命を奪います。 FFQ 研究によるあらゆる主張、たとえば、コーヒーを飲むと膵臓がんになる可能性が高くなります。 これはおそらく真実ではない主張の 1 つです。 |
| 自然レベルのオゾンは人を殺しますか? それも真実ではないと思います。 環境エストロゲン。 観察研究を使用したメタ分析から得られた主張。 |
| 覚えておいていただきたいのは、公的文献の証拠は、通常は大学から出される科学的主張全体の 80% が、ランダム化臨床試験などの厳密なテストでは再現できなかったということです。 |
| 感情と恐怖。 実際の政治の全体的な目的は、すべて想像上のホブゴブリンを際限なく登場させて国民を脅し、国民を脅し、怖がらせ、したがって安全に導いてほしいと騒がしくさせ続けることである。 |
| 巧妙な説得や被害者の巧みな操作を伴う、軽薄な詐欺、欺瞞、信頼ゲーム。 だからHL 1930年代のメンケンは、現実的な政治は主に恐怖政治であると述べた。 |
| この講演では、この本の著者についての説明を終わります。 私は Stan Young です。genetree@bellsouth.net までご連絡ください。 ウォーレン・キンジャースキーはカナダの疫学者で、ここ数年私と非常に密接に協力して論文を書いています。 |
| 今日ここで見たことに基づいています。 ポール・フォーゲルは非常に興味深い統計学者で、パリに住んでおり、この論文の執筆を担当しました。 |
| 使用できるアドインとスクリプト。 このスクリプトを使用すると、メタ分析から評価までおそらく 1 時間弱で完了できると思います。 |
| National Association of Scholars のレポート、Shifting Sands Report 1 をお勧めします。この URL からアクセスできます。 |
| このレポートは長くて複雑ですが、大気の質と健康への影響について述べた単純な統計レポートです。 |
| それとともに、私は次の主張もします。これを見ている誰かが何が起こっているのかを試したいと思ったら、私たちはあなたに JMP のスクリプトとアドインを提供します、そして私はあなたを手伝います |
| メタ分析の特定の分析を見て解釈します。 それではこれで終わります。どんな質問にも答える準備ができています。 ありがとう。 |
