モデリングの検証について説明する一連のブログ投稿の最初の記事へようこそ。 私と一緒にいてください - これが最もエキサイティングなトピックのように聞こえないかもしれないことを理解しています. しかし、これは最新のデータ分析を可能にする重要な方法です。 検証がなければ、サポート ベクター マシンやニューラル ネットワークなどの高度な機械学習アルゴリズムはほとんど役に立ちません。 また、データから学習するプロセスを大幅に簡素化するかなり「ばかげた」アプローチと見なすこともできますが、データを生成したプロセスまたはシステムを十分に理解して、注意して適用する必要もあります。 検証を理解することは、現代のデータ分析で成功するための基本です。
今後の投稿では、Holdback と Cross Validation の基本と、JMP Pro の Make Validation Column ツールを使用するとこれがいかに簡単かについて説明します。 Befitting Cross Validation (BCV) と Befitting Bootstrap Analysis (BBA) を保証する必要性を説明する科学と工学のケース スタディを紹介します。 また、設計された実験などの小規模なデータ用の自己検証アンサンブル モデル (SVEM) などの最先端のアプローチについても説明します。 科学者やエンジニアが最新のデータ分析を自信を持って適用できるようにするために、JMP が他に類を見ない有用性を持っている理由を理解していただければ幸いです。 まず、一般化の必要性について説明します。
一般化可能性と複製の危機
このシリーズのトピックは、JMP のチーフ データ サイエンティストである Chris Gotwalt と、KPA Group の会長である Ron Kenett との話し合いから生まれました。 一般化可能性について話しました。それは、統計における形式的なプロセスであり、人間性の一部でもあります。
Ron Kenett, Chairman of the KPA GroupKPAグループのロン・ケネット会長
ロン: 「私たちは常に一般化しています。 あるレストランでの経験から、同じチェーン内の別のレストランでの経験がどうなるかを推測します。 または、あるエンジニアリング プロジェクトから別のプロジェクトへと推測します。」
Chris Gotwalt, JMP Chief Data ScientistChris Gotwalt、JMP チーフ データ サイエンティスト
クリス：「それが学習です。 これのほとんどは、JMP データ テーブルでは発生しません。」
学術研究では、再現性が常に重要でした。研究の結果を独立して再現できることが科学の基礎です。 2010 年代初頭に「複製の危機」という用語が最初に造られて以来、心理学と医学の分野でいくつかの深刻な問題が広く認識されて以来、特にホットな話題となっています。 しかし、一般化可能性は、特定の業界でも最前線にあります。 一般化可能性は再現性を高めます。
クリス：「医薬品のような規制された業界では、主張が一般化可能であり、「真実」として弁護できることを知ることが常に重要でした.臨床試験の結果に基づいて約束したよりも、一般集団での安全性または有効性が著しく低い場合、あらゆる面で費用がかかります. しかし、JMP ユーザーは、産業上の問題の解決と改善に取り組んでいることが多いのです。」
Ron: 「一般化可能性を、情報の質に影響を与える 8 つの次元の 1 つと定義しました。 それに対処することで、データ分析から得られる情報の質が向上します。」
一般化可能性は無視できますが、それを誤ると大きな代償が伴います。 実験から導き出された解決策が製品化されたときに機能しない場合は、高価な材料、製造時間、および R&D で問題を解決するために戻らなければならないすべての労力を無駄にした可能性があります。逆に言えば、正しく解決でき、ソリューションに自信があれば、無駄を省き、イノベーションのペースを速めることができます。
最新の分析における一般化可能性
「小さな」データの世界では、p 値などの統計的尺度を使用して、一般化されない推論を行うリスクを理解します。 これらのツールは、データの小さなサンプルを使用して、実際に関心のあるより大きな人口またはシステムに関する信頼できる洞察を生成できるようにするために発明されました. 残念ながら、p 値は誤って解釈されたり、誤用されたり、悪用されることさえあります。
ロン: 「多くの人は、p 値を仮説が成立する確率として理解していますが、これは誤解を招きます。 教え方はほとんど正しいが、使い方はほとんど間違っている。」
これらの問題と、前述の複製の危機の原因に関係しているにもかかわらず、p 値は主に科学者やエンジニアに役立ちました。 より大規模なデータと人工ニューラル ネットワークなどの新しいモデリング手法では、一般化可能性を確保するためにさまざまなツールを検討する必要があります。
このシリーズの次の投稿に参加していただければ幸いです。この投稿では、科学と工学の例でこれを説明します。 一般化しない調査結果を生成する方法を示すことから始めます。 開発者が実施したすべての保護のおかげで、JMP ではこれは実際には非常に困難です。 これは、JMP のツールがこの種の問題からどのように保護するか、および検証によって自信を持って分析を簡単に適用できるようにする方法を理解するのに役立ちます。
