今週、ネイトシルバーは何でも聞いて 「Redditとチャットしてください。いくつかの非常に良い質問がありました。国際統計年 「統計の最大の悪用は何ですか」ネイトはそれに答えた：「過剰装備」。
この回答は、特にライフサイエンスの問題に適用された場合の予測モデリングに関する私たちの議論に非常に関連しています。臨床試験では、試験適応を適用するために患者の反応を予測したいと思うかもしれません。あるいは、どの被験者が深刻な不利な経験や死を経験する可能性が高いかを理解したいと思うかもしれません。ゲノミクスの問題については、さまざまな病状の原因となっている対立遺伝子を同定するか、またはin vivo遺伝子発現データと化学構造に基づいてさまざまな化学物質の毒性効果を予測することを望みます。
オーバーフィットモデルがデータ内の信号と同様にノイズにフィットするときに発生します。過剰に適合した予測モデルが新しいデータセットに適用される場合、モデルのパフォーマンスはしばしば非常に劣っています。たとえば、独立した予測子の数が調査中の観測値の数と等しく、正則化が行われていない最も極端な場合を考えましょう。このシナリオでは、各共変量を使用して単一の観測値の応答を予測できるため、モデルはトレーニングデータに対して毎回完全な予測を達成します。ただし、このモデルには、結果の予測に役立たない多くの変数が含まれている可能性があります。結果？モデルが新しいデータセットに使用されるとき、適合はひどいです！これは、モデルがデータの最初のセットに固有のものでありすぎる（つまり、モデルが過剰に適合している）ためです。
それでは、なぜライフサイエンスにとってそのような懸念が過剰に当てはまるのでしょうか。さて、金融、小売、および電気通信における商用データマイニングアプリケーションとは異なり、ライフサイエンス分野のデータセットは通常、観測値よりも桁違いに多くの予測変数を持っています（p >> n）。 これらの「ワイドデータ」インスタンスでは、（上記の最悪のシナリオのように）予測モデルでデータをオーバーフィットすることは非常に簡単です。新しい薬の安全性を評価するために、人類に知られているすべての検査が数日または数週間にわたって行われる初期段階の臨床試験を想像してみてください。予測子の数が簡単に数百万に拡大する可能性があるSNPの分析はどうですか。ご覧のとおり、ライフサイエンスに過剰適合する可能性は非常に大きいです。
正確で一般化可能な予測を達成することを目的として、新しいデータセットに適用できる有用なモデルをどのように生成することが可能ですか。モデル構築プロセスの一環として、いくつかの共変量が不要かどうかを評価するために、モデルを1つ以上の独立したデータセットに対してテストまたは検証する必要があります。しかし、これは私たちの目的にとってどのように実用的なのでしょうか。商用アプリケーションでは、通常、モデルを検証するために相互に排他的なサブセット（学習セットまたはトレーニングセット）を定義し、モデルを検証するため（検証セット）に十分なデータがあります。しかしながら、生命科学からの観察は、費用、時間、および被験体または実験試料を得ることの困難さのために、より制限される傾向がある。
ライフサイエンスの検証方法では、残りの観測値を使用して利用可能なデータの小さなサブセットに対する結果を予測し、このプロセスをすべてのサブセットに対して繰り返す必要があります。図1は5重交差検定の例を示しています。データは5つの相互に排他的なセットに分割され、それぞれが利用可能な観測値の20％を表します。予測モデルは、データの80％（青い四角）でトレーニングされてから、テストセット（赤い四角）で検証されます。データの各区画（すなわち各正方形）がテストセットとして機能するように、この演習をさらに４回繰り返す。
さらに、シミュレーションを使用して、サブセットの生成方法の違いを説明できます。例えば、上記の交差検証の演習は、データの新しい区画を生成して交差検証を実行するたびに10回繰り返すことができます。シミュレーションの実行後、10 x 5 = 50のモデルになります。私の最終的なモデルを開発するために、私は50の利用可能なモデルの大部分で選ばれるそれらの予測子を選ぶでしょう。次に、この一連の予測値を完全なデータセットに使用して最終モデルを作成できます。
そのため、次回のジャーナル記事が特定の結果を予測する最善の方法としてモデルを宣伝するときは、慎重にこのモデルにアプローチしてください。著者らが彼らのモデルを新しいデータに適用したのか、それともその予測性能を評価するために正直な交差検定法を適用したのかを検討してください。そうでなければ、あなたはそれを使って自分自身を害しているかもしれません。
JMPクリニカルそして JMPゲノミクス利用可能な予測モデルの大規模なセットを持っています。さらに、クロスバリデーション、学習曲線（「私のトレーニングセットは十分に大きいですか？」という質問に答えるためのもの）および予測変数削減のための堅牢なツールが、ライフサイエンスアプリケーションに役立つ予測モデルを開発するために利用できます。
詳しくは、こちらをダウンロードしてください。加える （で動作します JMP 10 ）またはこのオンデマンドを見るウェブキャスト （これはアドインを利用します）。アドインとウェブキャストは、臨床試験からのデータと次世代シーケンシングを使ったゲノミクス研究を使った上記の方法を説明しています。
リチャード・ジアンブローネ書きました：
いい議論。私は現在統計モデリングのクラスを取っているので、このトピックは私にとって頭の痛いところです。私はあなたが与えた過剰装備の例が好きです。RedditのNate Silverに言及してくれてありがとう。私はRedditが何であるかわかりません。連絡がない、もう一度！
