モデリングにおける検証について説明する一連のブログ投稿の最初の投稿へようこそ。付き合ってください - これが最も刺激的なトピックのように聞こえないかもしれないことは理解しています。しかし、これは最新のデータ分析を可能にする重要な方法です。検証がなければ、サポート ベクター マシンやニューラル ネットワークなどの高度な機械学習アルゴリズムはほとんど役に立ちません。データから学習するプロセスを大幅に簡素化するかなり「愚かな」アプローチと見なすこともできますが、データを生成したプロセスやシステムを最大限に理解し、慎重に適用する必要もあります。検証を理解することは、現代のデータ分析で成功するための基礎です。
今後の投稿では、ホールドバックとクロス検証の基本と、JMP Pro の検証列の作成ツールを使用してこれがいかに簡単であるかについて説明します。適切な相互検証 (BCV) と適切なブートストラップ分析 (BBA) を確保する必要性を示す科学と工学のケーススタディをいくつか紹介します。また、計画された実験などの小規模データ用の自己検証済みアンサンブル モデル (SVEM) などの最先端のアプローチについても説明します。科学者やエンジニアが自信を持って最新のデータ分析を適用できるようにする上で、JMP が他に類を見ないほど役立つ理由が理解できれば幸いです。まず、一般化可能性の必要性について話します。
汎用性と複製の危機
このシリーズのトピックは、JMP チーフ データ サイエンティストの Chris Gotwalt および KPA グループ会長の Ron Kenett とのディスカッションから生まれました。一般化可能性が統計における正式なプロセスであるだけでなく、人間の本質の一部でもあることについて話しました。
ロン: 「私たちは常に一般化します。あるレストランでの経験から、同じチェーンの別のレストランでの経験がどうなるかを推測します。あるいは、あるエンジニアリング プロジェクトから別のエンジニアリング プロジェクトに推測することもあります。」
クリス： 「それが学習というものよ。このようなことのほとんどは、JMP データ テーブルでは起こりません。」
Chris Gotwalt, JMP Chief Data ScientistChris Gotwalt 氏、JMP チーフデータサイエンティスト
Ron Kenett, Chairman of the KPA Groupロン・ケネット、KPAグループ会長
学術研究においては、再現性が常に重要です。あらゆる研究結果を独立して再現できることが科学の基礎です。心理学と医学の分野におけるいくつかの深刻な問題が広く認識されるようになり、2010 年代初頭に「複製危機」という用語が初めて作られて以来、特にホットなトピックとなっています。しかし、特定の業界では一般化も最前線にあります。一般化により再現性が高まります。
クリス: 「製薬のような規制された業界では、主張が一般化可能であり、「真実」として擁護できることを知ることが常に重要です。あなたの薬が臨床試験の結果に基づいて約束したよりも、一般の人にとって安全性や有効性が著しく低い場合、あらゆる面でコストがかかることになります。しかし、JMP ユーザーは産業上の問題解決や改善に取り組むことが多いのです。」
ロン: 「私たちは一般化可能性を、情報の品質に影響を与える 8 つの側面の 1 つとして定義しました。この問題に対処することで、データ分析から得られる情報の品質が向上します。」
一般化可能性は無視できますが、それを誤ると依然として高い代償が伴います。実験から結論付けた解決策が本番環境に導入したときに機能しない場合は、高価な材料、製造時間、そして研究開発で問題を再度解決するために戻って取り組むすべての労力が無駄になる可能性があります。逆に、正しく対処し、自分のソリューションに自信を持っていれば、無駄を避け、イノベーションのペースを加速することができます。
最新の分析における一般化可能性
「小さな」データの世界では、一般化できない推論を行うリスクを理解するために、p 値などの統計的尺度を使用します。これらのツールは、少数のデータ サンプルを使用して、実際に関心のある大規模な人口やシステムについて信頼できる洞察を生成できるようにするために発明されました。残念ながら、p 値は誤解され、誤用され、さらには悪用される可能性があります。
Ron: 「多くの人は p 値を仮説が成り立つ確率として理解していますが、これは誤解を招きます。その教え方はほとんど正しいが、その使い方はほとんどが間違っている。」
これらの問題や、先に述べた複製危機の原因に関係しているにもかかわらず、p 値は主に科学者や技術者にとって有益な役割を果たしてきました。データが大きくなり、人工ニューラル ネットワークのような新しいモデリング手法が使用されるようになると、汎用性を確保するためにさまざまなツールを検討する必要があります。
このシリーズの次回の投稿では、科学と工学の例を使ってこれを説明しますので、ぜひご参加ください。まず、一般化しない結果を生成する方法を示します。開発者が設けたあらゆる保護のおかげで、JMP ではこれは実際には非常に困難です。これは、JMP のツールがこの種の問題からどのように保護されるか、また検証によって自信を持って分析を適用することがどのように容易になるかを理解するのに役立ちます。
もっと詳しく知る：
このシリーズから学ぶことをとても楽しみにしています。
テレビから面白いドキュメンタリー映画を見ているようです。
これが一般化可能性についての投稿であることを考えると、「p 値は主に科学者やエンジニアによく役立っている」という記述はやや誤解を招きやすいと思います。 p 値は（おそらく）、サンプルから抽出元の母集団への一般化可能性を考えるのに役立つかもしれません。しかし、ほとんどではないにしても、多くのアプリケーションでは、サンプルから多少異なる母集団 (異なる期間、異なる場所、異なる人々など) への一般化が必要になります。 p 値は、次の仮定がなければ、そのような状況では実際には役に立ちません。あなたが推論している母集団は、サンプルが抽出された母集団と本質的に同じです。この仮定は工学分野では合理的かもしれませんが、社会科学ではそれほど合理的ではありません。推論が行われている母集団に対するサンプルの適切性は、p 値に依存して何とか処理することによってごまかされることが非常によくあります。
