756792_ja-JP

liliconcom

複数の研究を評価するためのJMPアドインとスクリプト（2021-US-30MP-902）

CGStat CEO スタン・ヤング
ウォーレン・キンジャースキー、疫学者、アルバータ大学

ポール・フォーゲル、コンサルタント、パリ

研究者は毎年何千もの研究を発表しており、同一または類似の疑問を扱った複数の研究をメタ分析でまとめて評価しています。これらの研究とその基礎となる研究の信頼性を理解する必要があります。私たちの考えは、個々の研究の信頼性だけでなく、個々の研究情報を統合するための統計的手法（通常はリスク比とその信頼限界）も検討することです。私たちはこれまでに約100件のメタ分析研究と、その基礎となる個々の研究の完全標本または無作為標本を調査しました。メタ分析研究の信頼性評価を容易にするために、JMPアドインとスクリプトを開発し、p値プロット（2つのアドイン）、フィッシャーのp値結合（1つのスクリプト）を提供しています。つまり、メタ分析研究は統計的に信頼できるものではありません。私たちのプレゼンテーションでは、複数の例を用いて、文献で主張されているものの半分以上は再現性が低いという観察を裏付ける結果を共有します。

自動生成されたトランスクリプト...

スピーカー	トランスクリプト
スタン・ヤング	ハハハ。
サラ・ダウト	許可します。
スタン・ヤング	今すぐすべてを確認してください。
	わかりました。ああ、いや、私の側からスライドを実行しますか。
サラ・ダウト	ええ、通常の会議と同じです。
	はい、わかりました。すべてが揃っているか確認してください。Outlook が近い場合は、録画を開始します。カメラをオフにする必要があります。参考までに。
	わかった。
スタン・ヤング	これを全画面にするには、並べ替えるだけです。
	それをどうやって行うかの2番目。
サラ・ダウト	それは、その下の方に、34% の行動に関する注意事項が書かれている部分で、次のようになります。
	ボートを下りて、はい、そのことについては申し訳ないのですが、その反対側の人はひどいです。
	一つは、そうだ、あの男。
スタン・ヤング	ハハハ。
サラ・ダウト	さあ、始めましょう。つまり、私はもうすぐ始めますが、私自身に会うつもりです。始める前に何か質問はありますか。
スタン・ヤング	それとも、スライドだけでなく私も録画するつもりですか。
サラ・ダウト	ええええ、彼らはあなたがそれを持っているように頼みました。
	カメラはここにあります。
	大丈夫ですよ。
	右。
	よし。
スタン・ヤング	出発の準備はできました。
サラ・ダウト	ミュートにします。質問がある場合や停止する必要がある場合はお知らせください。それ以外の場合は許可します。
スタン・ヤング	行く。
	今日は、複数の研究を評価するためのJMPアドインとスクリプトをご紹介します。あるいは、pハッカー、統計で不正行為をする人、あるいはほとんどの科学的主張がなぜ間違っているのかを突き止める方法と呼んでもいいでしょう。
	まず、パズルのピースとそれらがどのように組み合わさるかを説明します。ほとんどの主張は実際には再現できません。これらは科学的な主張です。
	私は、そして共著者たちも、これはpハッキングによるものであり、重大な問題だと主張しています。メタ分析とp値プロットを用いて、これを見破るつもりです。これが詐欺師を捕まえる方法です。
	JMPのアドインとスクリプトは、リスク比と信頼限界から得られるP値です。これらはメタ分析から得られます。
	そしてフィッシャーのp値の組み合わせ、これはメタ分析技術に似た古い手法です。そしてp値プロットを提示します。これを整理して見やすい形にする小さなスクリプトがあります。
	写真。
	空にうさぎが見えますよ。空には雲がたくさんあって、天気の良い日に外に座って周りを見回せば、うさぎが見つかるかもしれませんよ。
	つまり、これはランダムな出来事です。もちろん、ウサギたちは実際に空にいるわけではありません。
	ゲルマン氏とローケン氏は実際に短い記事を発表し、科学における統計的危機について述べました。彼らは、人々が統計を誤って使用していると主張しており、それが今日私たちが話すことです。
	疫学実験をしてみましょう。
	10面サイコロ、赤、白、青があります。これらは数字になります（この場合は0.046）。実際に目の前でこの現象を見てみましょう。
	これでP値ができました。ランダムです。自分でやってみましたね。とても楽しいですね。もう一度やってみませんか？
	赤、白、
	そして青。
	これを60回繰り返すと、この表を埋めることができます。これは10面サイコロを使って行ったシミュレーションです。4列15行にP値が表示されています。つまり、60個のP値です。私の最小のP値は0.004です。
	60個のP値があれば、確率を計算できます。約95%の確率で、少なくとも1つのP値が0.05未満になります。
	これは娘が行ったものです。P値が0.05未満のものが3つありました。丸で囲んであります。疫学者の実験を行うのはとても簡単です。
	私の妻パットでもそれができるし、サイコロを振って面白い話を作り上げれば書ける論文が 3 つあるとも言っています。
	p値には期待値が付与されます。右側には、p値が0.004、0.016、0.012となっています。それぞれのp値には正規偏差が付与されています。私のp値が0.004の場合、正規偏差は2.9になります。左側には、
	サンプルサイズ、期待偏差、そして最小P値と偏差の期待P値です。つまり、400のサンプルがあったとします。
	検討していた質問では、期待P値は0.00487、偏差は2.968でした。この偏差がベース実験からメタ分析の計算に引き継がれ、このことについては後ほど見ていきます。
	疫学における主張のうち、どれだけが真実なのでしょうか？私は2011年に論文を発表し、観察研究でなされた主張を取り上げました。
	そして、観察研究におけるそれぞれの主張について、全く同じ問題を扱ったランダム化臨床試験を見つけました。つまり、12の研究には
	作成およびテストできる 52 の主張。
	肯定的な列を見ると、52 件のクレームのうち正しい方向に複製されたものは 0 件です。
	つまり、疫学者たちは52の主張のうち0件しか反論できなかったのです。統計的に有意な主張は実際には5件ありましたが、それらは観察研究で主張されていたものとは逆の方向でした。
	これから見ていくのは
	奇妙な質問ですね。シリアルが人間の性別を決めるのでしょうか？つまり、朝食にシリアルを食べると男の子が生まれる確率が高くなるということですか？最初の論文ではそう書かれていました。
	この論文は、王立協会B（Royal Society B）という、彼らの最高峰の生物学ジャーナルに掲載されました。3人の共著者は、朝食用シリアルを食べると男の子が生まれる可能性が高くなる、妊娠前後に朝食用シリアルを食べるべきだと主張しました。
	私と私の同僚2人がこれを調べ、データを求めました。データを入手した後、最初の論文に対する反論を発表しました。「穀物による性選択は、多重検定による偽陽性である可能性が高い」というものです。
	妊娠直前、妊娠を予測した時期、そして妊娠した時期の前後です。それぞれのアンケートには131種類の食品が含まれており、合計262の統計検定が行われました。
	これらの検定のP値を計算し、最小から最大の順に順位付けし、整数に対してプロットします（これが最下位の順位です）。
	かなり良い45度の線が見えますね。つまり、一様分布を見ているということです。彼らの主張はその左下から出てきて、小さなP値があると言っています。小さなP値は、シリアルを食べると…朝食用シリアルはより多くの…
	男の子の赤ちゃん。
	明らかに統計上の誤検知です。
	p値プロット。これからp値プロットをよく使います。左側は、真である可能性が高い帰無仮説のp値プロットです。
	高齢者の長期的な運動トレーニングは、死亡率や死亡リスクにはつながりません。右側には喫煙と肺がんが示されています。
	ページ全体にわたって、P値がゼロにかなり近い値を示しており、右側に少し外れた値も見られます。つまり、右側の図は実際の効果の証拠であり、左側の図は帰無仮説、つまり効果なしの証拠です。
	この講義ではメタ分析を使うので、メタ分析についてお話ししましょう。左側にはファネルがあり、たくさんの論文がファネルに流れ込んでいるのがわかります。
	疫学者やメタ分析を行う人は、質の高い論文を選び、それをさらなる分析に使用します。右側には、
	証拠の階層構造。多くの研究を対象としたメタ分析が考慮される。
	上位レベルの情報、そして最下層では専門家の意見などが網羅されています。ピラミッドの上層に行くほど、
	人々は証拠の方が優れていると主張します。
	メタ分析論文の例を2つ見てみましょう。1つ目はOrellanoによる論文です。
	一酸化窒素、オゾン、
	小さな粒子などです。そして、あらゆる場所からデータを収集しました
	これは世界が後援し、
	WHO、これは質の高い資金、質の高い論文です。
	これはメタ分析です。そのメタ分析の主張が正しいかどうかを見ていきます。
	一番下のものは本当に面白かったです。赤身肉と加工肉の摂取パターンと、主に肺がんと心臓発作のリスクの関係です。
	栄養学の文献には、赤身の肉は食べるべきではないという意見が数多くあります。それが本当に正しいのかどうか、検証してみます。
	戻ってパズルのパーツを見て、それらがどのように組み合わさるかを見てみましょう。
	公開文献から、ほとんどの主張が再現できないことが分かっています。これは科学の危機と呼ばれています。Pハッキングは問題です。Pハッキングとは、あれこれと試しながらたくさんのテストを実行し、P値が0.05未満だと判断すると、
	論文を書くことができます。
	私たちはメタ分析とP値プロットを使用して、基本的にPハッキングをしている人々を捕まえます。Pハッキングは、統計を使った一種の不正行為だと私は呼んでいます。
	その他は、ちょっと…ちょっと違う言い方をしますね。JMPのアドインを使います。このJMPアドインはPaul Fogle氏によって開発されました。
	これらにより、メタ分析論文から始めて、p値プロットを迅速かつ簡単に作成できます。また、フィッシャーのp値の組み合わせについても説明し、その後…
	JMP から出力される二元配置プロットを取得してクリーンアップし、左と右の余白がより魅力的になるようにする小さなスクリプトがあります。
	大気汚染への長期的な曝露と
	喘息を引き起こすと言われています。左側にはツリー図というものがあり、これが…
	まるでクリスマスツリーのようです。
	平均値は点で示され、信頼限界は両側に伸びるヒゲで示されています。左側には論文名（これらの著者によって選ばれた論文）があり、右側には
	リスク比と信頼限界。今では、リスク比と信頼限界を削り取って、
	JMP データ セットです。右側に JMP データ セットが表示されます。
	次にP値のプロットです。
	Paul Fogle が書いたものは、リスク比と P... および信頼限界を P 値に変換します。
	ここで、それが実行されたことがわかります。
	信頼限界により標準誤差が得られます。
	リスク比と標準誤差を使えば、Z統計量を計算できます。そして、Z統計量からp値を得ることができます。右側には、JMPで数回クリックするだけで表示されるのと同じように、p値プロットが表示されています。
	ここでも、左側には大まかなP値プロットがあり、右側には小さなスクリプトを使用してゼロラインを追加し、0.05の点線を追加し、数値をクリーンアップして拡張しています。
	X軸とY軸です。それで、その中のすべての研究を見て判断することができますが、奇妙なことに気づきます。
	ここでは、いくつかの P 値が 0.05 未満であり、多くの P 値が上昇しているため、あいまいな状況になっています。
	いくつかの P 値は主張が正しいように見えますが、他の P 値は単にランダムな結果であるように見えます。
	フィッシャーのP値の結合を見てみましょう。左側に式があります。P値と自然対数をとり、それを合計して-2倍します。
	それでカイ二乗が得られます。表でカイ二乗を調べてください。このメタ分析にはP値があります。P値の下に-2lnとありますが、合計に大きな影響を与える小さなP値がほとんどないことがわかります。
	少し考えてみると、合計は他の合計と同様に、外れ値が操作される可能性があり、バランスが大きく変化します。
	そのため、いくつかの小さなP値（.0033、.0073）がカイ二乗検定の合計に劇的な影響を与えています。実際、この合計は頑健ではありません。1つの外れ値、あるいは極端な外れ値が、全体を、つまり方程式全体をひっくり返す可能性があります。
	ここで覚えておいていただきたいのは、PハッキングはP値を小さくする可能性があり、また、
	科学者は、研究結果が重要でない場合は、それを発表すらしないことがよくあります。
	そして、もし何か重要な発見があれば、通常はそうするでしょう。つまり、出版バイアスが存在するのです。文献全体は小さなP値で溢れています。
	これはおそらく氷山の一角でしょう。氷山の下には、統計的に有意ではないものの、起こり得た可能性のある発表がいくつもあります。
	大気汚染に関する研究を見てみましょう。2012年のムスタフィック
	JAMAに論文を発表し、6つの典型的な大気汚染物質について調査した。
	一酸化炭素、亜酸化窒素、微粒子（PM 2.5）、二酸化硫黄など。
	これらのP値プロットを見ると、どれも基本的にホッケーのスティックのように見えます。P値が0.05未満のものもいくつかあります。
	しかし、45 度の線に沿って上昇する P 値が相当数あり、これは効果がないことを示唆しています。
	我々は、重要な研究と重要でない研究が混在していると主張しています。
	さらに、重要な研究は主にPハッキングから生まれていると主張しています。他にも方法はありますが、Pハッキングこそが​​重要だと私たちは考えています。左側を見てください。
	赤い枠の中に中央値を示します
	研究で実行できるモデルやテスト、つまりムスタフィックの論文に掲載された研究。
	私たちは、
	結果、予測変数、共変量をすべて掛け合わせると、検索空間と呼ばれる中央値が得られ、検索空間の中央値は 12,288 になります。
	つまり、著者らは平均で12回、中央値では12,000回、P値が0.05未満になる機会があったことになります。統計的に有意な結果を得るための十分な余裕があったのです。
	栄養に関する研究について、単純な集計を見てみましょう。ここには15件の研究があります。論文の著者、あるいは筆頭著者です。
	上部には、アウトカム、予測変数、共変量、検定、モデル、探索空間が表示されています。アウトカムは、例えばディクソンのような3つの健康アウトカムを調べ、51の
	彼らの研究で使用されている食品は…予測因子となるでしょう。共変量を使うと、
	それは探索空間を大幅に拡大するでしょう。そして、ディクソンの場合、理論的には2000万通りの分析が可能だったことがわかります。
	また、検索スペースの列を下にスクロールすると、実行できる分析が多数表示されます。
	栄養研究はコホートを用いて行われました。コホートとは、集められた人々の集団のことです。
	最初は質問で測定され、その後時間の経過とともに健康への影響が調べられます。
	これらの各コホートには、コホートが使用するデータ セットの名前があります。
	そして、コホートが一度組み立てられると、無数の質問をすることができます。
	もし
	これらの質問の1つに対するP値が有意であることが判明した
	そして彼らは論文を書けるような気がして、実際に論文を書くことがよくあります。
	最後の2つの列には論文数が表示されています
	発生する可能性のあるもの。さらに…Google Scholarを使って実際に調べてみました。これが文献に掲載されている論文の数です
	これらのコホートそれぞれに関連付けられています。これらの論文を多数検討しましたが、いずれの論文にも多重検定や多重モデリングの調整は含まれていません。
	ここでお話ししたのは、栄養疫学と環境疫学です。栄養疫学では、食品摂取頻度調査票（FFQ）という質問票を用います。
	FFQ では、いくつかの食品を食べることができます。
	当初は61種類の食品からスタートしましたが、FFQ調査の中には800種類もの食品が対象になったものもありました。私はあのアンケートに答えたくありません。
	しかし、ここでは、時間の経過とともに FFQ を使用する論文の数を示します。
	1985 年以来...この手法は 1986 年に発明されました...1985 年以来、FFQ 論文は 74,000 件発表されています。私たちが調べたところ、これらの論文はいずれも多重検定に合わせて調整されておらず、統計的検索空間がかなり広範でした。
	環境疫学では、論文のタイトルにある「大気汚染」という単語をGoogleで検索しただけです。
	ここで、時間の経過とともに、大気汚染について 28 ～ 29,000 件の論文が書かれてきたことがわかります。
	私が知る限り、いろいろ調べた結果、これらの論文はいずれも多重検定や多重モデリングを調整しておらず、基本的にすべて非常に大規模な検索空間を持っています。
	メタ分析はシステマティックレビューやメタ分析という名前で呼ばれ、最近では2005年から
	ジャーナルは
	論文のタイトルに「システマティックレビュー」と「メタアナリシス」という言葉が使われているかどうかを調べ始めたのは2005年です。当初は年間1,500件という低水準でした。
	この5年間で1,500本の論文が発表され、2021年には
	合計27,000枚の紙が印刷されており、これは家内工業と言えるでしょう。これらの紙は比較的簡単に印刷できます。
	中国では、多くの場合 10 人または 5 ～ 15 人で構成されるチームが、1 週間に 1 件のメタ分析を実行できます。
	そして彼らの給料は、論文を何本出版したかなどによって評価されます。
	私の知る限り、これらはすべて...これらの研究の半分は観察研究であり、残りの半分は...ランダム化臨床試験から得られたものです。
	事実上、これらのどれも、そしてこれまで私たちが調べたすべてのもの、特に観察研究においては、いくつかの P 値が小さく、完全にランダムに見える P 値が多数あるような、ホッケースティックのような外観をしていません。
	これらの研究は、基本的にすべて、皆さんの税金、あるいは誰かの税金によって賄われています。言い換えれば、公費によって非常に潤沢に資金提供されているということです。
	多くの主張は統計的な裏付けがありません。ベース論文は多重検定や多重モデリングを補正していません。ベース論文の分析探索空間は広大です。
	そして、環境疫学や栄養疫学からの例を見てきましたが、証拠に基づくと、ほとんどの人は信頼できないと言えます。
	私も他の人も言っているように、私たちは科学と統計の大惨事に見舞われており、メタ分析とP値プロットの使用によって、これらの主張が真実かどうかは検証できるのです。
	ここにスモッグの状況を4つ示します。左上は1952年のロンドンです。
	右は1948年のロサンゼルスです。
	左下はシンガポールですが、正確な年は覚えていません。そして北京です。これらは最近のものです。
	ロンドン霧の場合、死亡者数、つまり毎日の死亡者数などを統計的に分析すると、1952年のロンドンでは3日間または4日間で4,000人以上が死亡したことが示されています。これが疫学者が死因は何なのかに興味を持つきっかけとなりました。
	他の 3 つのスライドまたは他の 3 つの写真では、その期間中に死亡者数の増加は報告されていません。
	ロンドンでは石炭を燃やしていた
	暖房などあらゆる用途に。気温逆転現象が発生し、空気中の酸が粒子によって肺の下部に運ばれ、感受性の高い人、通常は高齢者や虚弱者の死亡者数が増加したという説があるが、今はそうではない。
	世界中で様々な汚染が発生していますが、それに伴う死亡率の急上昇は見られません。
	詐欺？ははは。詐欺は大好きだよ。
	これらは詐欺ですか？大気汚染は死をもたらします。例えば、FFQの研究でコーヒーを飲むと膵臓がんになる可能性が高くなるという主張は、おそらく真実ではないでしょう。
	自然レベルのオゾンは人を殺しますか？それも真実ではないと思います。環境エストロゲン。観察研究を用いたメタ分析から得られた主張はすべて。
	覚えておいていただきたいのは、公開されている文献の証拠によれば、通常は大学から発信される科学的主張の 80% は、ランダム化臨床試験などの厳密にテストされた場合に再現できなかったということです。
	感情と恐怖。現実政治の唯一の目的は、人々を次々と架空の妖怪で脅し、人々を脅かし、恐怖に陥れ、安全な場所へ連れて行ってほしいと大声で叫ばせることにある。
	詐欺、欺瞞、詐欺行為、巧みな説得や巧妙な操作を伴う詐欺行為。1930年代にHL・メンケンは、実際の政治は主に恐怖政治であると述べました。
	この講演の最後は、この論文の著者の方々とお話しします。私はスタン・ヤングです。連絡先はgenetree@bellsouth.netです。ウォーレン・キンジャースキーはカナダの疫学者で、ここ数年、私と緊密に協力して論文を執筆してきました。
	これらは今日ここで見てきたことに基づいています。ポール・フォーゲルはパリ在住の非常に興味深い統計学者で、この報告書の執筆を担当しました。
	使えるアドインやスクリプトがあります。これらのスクリプトを使えば、メタ分析から評価までをおそらく1時間弱で実行できるでしょう。
	National Association of Scholars のレポート「Shifting Sands Report 1」をお勧めします。この URL からアクセスできます。
	このレポートは、空気の質と健康への影響について述べた、長くて複雑ですが、シンプルな統計レポートです。
	そして、私は次のことを主張します。もしこれを見ている誰かが何が起こっているのか試してみたいのであれば、私たちはJMPのスクリプトとアドインを提供し、そして私があなたを助けます。
	メタ分析の具体的な分析を見て、解釈してください。それではこれで終わりにします。ご質問があればお答えします。ありがとうございます。

高度な統計モデリング自動化とスクリプト基本的なデータ分析とモデリング消費者・市場調査データのブレンドとクリーンアップデータの探索と可視化実験計画法マスカスタマイゼーション予測モデリングと機械学習品質およびプロセスエンジニアリング信頼性分析結果の共有と伝達