検証に関する概念的な質問私よりも統計学の知識が豊富な方が、この疑問を解明してくれることを期待しています。JMPには、クロスバリデーションを含むすべての予測モデリングのための堅牢な検証機能があります（ただし、Fit Modelプラットフォームでは検証セットの使用機能を除き、JMPには対応していません）。データサイエンティストは、データをトレーニングデータセットと検証データセット（場合によってはテストデータセット）に分割するのが一般的です。しかし、従来の統計手法（重回帰分析、ロジスティック回帰分析）を用いた研究成果の大半は、検証を一切行っていません。なぜそうなるのか、ずっと疑問に思っていました。考えられる可能性としては、(1)統計的有意性が高いため検証は不要だと考えられている、(2)変化の遅い従来の慣行、(3)予測ではなく推論に重点が置かれている（Briemanの2つの文化に沿って）。いずれにせよ、検証を使用しない正当な理由が理解できないので、皆さんのご意見をお聞かせください。
予測モデリングと機械学習検証に関する概念的な質問検証の欠如の多くは、特に変化の遅い他の慣習や伝統と相まって、あなたの2番目の選択肢に起因しているのではないかと私は考えています。 学術界は重要な研究結果のみを発表する傾向があるという考えを受け入れ、「出版しなければ滅びる」という格言を受け入れるならば、出版前に極めて厳密な理解を深めることを、少なくともある程度は、自然に阻害することになります。これは、 多くの科学研究が再現不可能であるという最近の発見の一部を説明できるかもしれません。私の意見では、科学界が検証をより積極的に受け入れ、「ありふれた」研究結果もより積極的に発表するならば、より容易に再現できる結果が得られる一方で、それほど刺激的ではなくなるだろうと予想されます。
ただ、間違っている可能性や、一般化しすぎている可能性も十分にあります。私もあなたと同じように、他の人の意見を聞きたいと思っています。
検証に関する概念的な質問まず、検証とはどういう意味か定義してください。一つの考え方としては、ある推論空間からデータセットを収集し、それをランダムに分割し、一部だけをモデル開発に使用し、残りは提示されたデータからそのモデルがどの程度正確にデータを予測するかを検証するといったものが考えられます。これは一般的に受け入れられている手法かもしれませんが、私の考える検証とは異なります（おそらく私だけがそう思っているのでしょう）。
私の信念の一つは、モデルを真に「検証」するには、物理的な「サンプル」を作成し、モデルがそれらの実際のサンプルをどれだけ正確に予測したかを評価する必要があるということです。私にとって検証とは、モデルが未来（変化する状況）をどれだけ正確に予測できるかということです。十分に広い推論空間（これは非常に困難で多くのリソースを必要とする場合があります）にわたって、研究を適切に設計すれば、モデルは未来予測においてより良いパフォーマンスを発揮するはずです。
検証に関する概念的な質問私が言っているのは最初の定義（あなたが気に入らない方）で、文献ではそれが検証と呼ばれているものだと思います。もちろん、ほとんどすべてのモデルは最終的にはサンプル外予測に使用され、分割では将来の変化する状況に対応できません。何も（少なくとも完璧には）対応できません。結局のところ、あなたの2番目のアイデアは必要です。たとえ最初の意味でモデルを「検証」したとしても、そのパフォーマンスを監視し、使い続けるのに十分な性能があるかどうかを確認する必要があります。しかし、出版されている論文のほとんど（データサイエンスジャーナルを除く）は、最初の種類の検証さえ行っていないのです。私はその理由を尋ねているのです。
検証に関する概念的な質問@スタットマンとジェド・キャンベルの意見にはすべて同意します。ただ一つ付け加えるとすれば、もしかしたら4つ目の「理由」があるのかもしれません。モデリングを含む拡張された問題解決プロセスの要件としてモデル検証が教えられるまでは、文献にその内容がほとんど記載されないでしょう。これは「変化の遅い歴史的慣行」の、一つの要素、あるいは結果に過ぎません。
検証に関する概念的な質問こんにちは@dlehman1さん、
興味深い概念的な質問をしていただきありがとうございます。これまでの皆さんのコメント、つまりこの場合の「検証」の意味を定義することが重要であるという点には概ね同意します。ただし、検証には両方の意味があると言えるでしょう。つまり、モデルの予測精度を向上させるためのホールドアウトセットと、モデルの予測能力をテストするための新しいサンプルを生成することです。
私にとっては、どちらも重要であり、実行する必要があります。1 つはモデルを改善するためのもので、もう 1 つは、特にモデルの精度が低くなる傾向があるパラメーター空間の境界に近い新しいサンプルを生成するときに、モデルが機能することを確認するためのものです。
出版された論文が検証を用いない傾向にある理由については、あなたとジェド・キャンベルがコメントした点とほぼ一致しています。つまり、従来の慣習はなかなか変化しないということです。しかし、これは科学界において、堅牢なモデルよりも有意な結果を求める傾向が強いためでしょう。私の専門は物理学ですが、物理学者はある状況を想定した単純なモデルを作成し、それを他の状況に外挿することで有名です。例えば、単振り子を考えてみましょう。これはほぼすべての基礎物理学の問題の基礎となるモデルですが、実際には最高のモデルとは言えません。他の非理想的な状況でもモデルを機能させるために、何度も微調整や変更が加えられてきました（原子の電子状態の軌道力学に電子スピンを追加する必要があることを考えてみてください）。
私にとって、この単純な振り子はそれほど堅牢なモデルとは言えません。しかし、データの中に何か重要なものを「発見」したいという興味と欲求を満たすものです。確かに素晴らしいスタートであり、私たちは皆、どこかから始める必要があります。しかし、より一般化された分野で活用できる、より広範で堅牢なモデルを構築しようとすると、議論された両方の定義において検証が必要になります。
より「平凡な」結果が、最終的には科学においてより堅牢で優れたモデルや予測能力につながる可能性はあるが、科学界における文化的変化が必要であり、派手で目を引く新たな発見を軽視する必要があるだろう。
要するに、歴史的慣習の変化が遅いだけでなく、科学界において、科学においてどのような成果がどのように認められるべきかについて、文化的な変化も必要だということです。いわば、優先順位の見直しと言えるでしょう。
DS
検証に関する概念的な質問私が提供できるものは次のとおりです:
「文献は発展するにつれて、問題の科学的側面と論理的側面が比較的軽視されているという点で、不均衡な傾向にあるように思われる。これはおそらく予想通りのことかもしれない。なぜなら、多くの著者は、たとえ才能ある数学者であったとしても、明らかに自然科学のいずれの分野においても、具体的な教育的分野に心を捧げたことがなく、現場での実験に個人的な責任を負ったことも、関係する題材について直接的な経験もしていないからだ。」
サー・ロナルド・フィッシャー、講演。内線百。ナット。科学研究、パリ、第110号：13-19（1962年）
検証に関する概念的な質問これは私がよく目にする一般的な見解であり、その精神には確かに賛同します。しかし、社会科学を扱う場合には不十分だと思います。多くの問題（最低賃金の影響、競争政策、ソーシャルメディア利用の心理的影響など）は、物理科学のように科学的実験に適応できるものではありません。だからといって、人々が優れた科学的実践を無視することを正当化できるわけではありませんが、そのような研究分野をどのように進めるべきかという点において、（私の考えでは大きな）ギャップが残ります。そして、これは検証の問題にも関連していると思います。私の考えでは、これらの分野では最初の種類の検証（ランダム分割）がより重要になります（ただし、あなたが指摘したように、それだけでは十分ではありません）。
検証に関する概念的な質問こんにちは@dlehman1さん、
社会科学については良い指摘ですね。DOEを再現したり、「新しいサンプル」を生成したりする際に、過去の実験結果が後々の参加者の回答に影響を与えないようにするのは、はるかに困難です。ある人の人生経験は、他の人と全く同じではありません。
これを逆手に取って、社会科学へのアンケートとして考えてみましょう。社会科学コミュニティに次のような質問をしてみるのも良いでしょう。「自分のテーマを研究する際、分析やモデル構築において検証の概念を用いていますか？」「なぜ検証を用いる、あるいは用いないのですか？」「検証を用いる慣行についてご存知ですか？」自由回答形式の質問をいくつか用意することで、回答者がより多くの情報や追加情報を明らかにする機会が得られます。多種多様な回答が得られると思いますが、少なくとも具体的な内容ではなく、概念的／一般的な考え方から見て、より一般的な回答がいくつかあるかもしれません。
DS
検証に関する概念的な質問うーん、調査やサンプリング計画や DOE の開発、あるいはそのようなツールから得られたデータの解釈に社会科学分野で働く主題専門家を関与させるのは不十分でしょうか?
なぜそれらは「物理科学と同じように科学的実験に適さない」のでしょうか？測定システムは非常に難しいことは認めますが、検証（データのサブセットを検証すること）によってどのように改善されるのでしょうか？
検証に関する概念的な質問それは非常に奇妙なコメントだと思います。関税がGDPに与える影響を推定したいとしましょう。実験は実行が難しく、費用もかかり、時間もかかります。その間に他の多くのことが変化します（もちろん、私たちは今まさにそのような実験を行っています！）。これは社会科学における実験とは全く異なります。しかし、社会科学にもそのような実験は存在しますし、時には自然実験（例えば、大きな変動を示す既存の関税制度など）を利用できる場合もあります。ですから、社会科学における実験を否定するわけではありませんが、あなたがそれを物理科学と同じくらい実現可能だと信じているとは考えにくいです。そして、医学はその中間にあると考えています。RCTは数多くありますが、費用と倫理的な懸念から、通常、私たちが望むよりもはるかに小さなサンプル数になっています（そのため、私たちが望む多くのサブグループ分析が省略されています）。
検証によって状況がどのように改善されるのかとお尋ねですね。理想的な実験を置き換えるほどではないと思いますが、理想的な実験がない場合には必要だと思います。もしモデルが現在のデータで機能しないのであれば、なぜ将来も機能すると信じるべきなのでしょうか？
検証に関する概念的な質問確かに私は変わっているし、おそらくあなたとは考え方が違うでしょう。もしあなたが列挙型と分析型の違いを理解しているなら、私は完全に分析型アプローチに偏っていることをお伝えします（私は熱心な決定論者です）。有向サンプリング（仮説に基づく）と実験（推論空間を広げながら同時に設計精度を高める方法に重点を置く）の両方を用います。説明的研究にはそれほど「興味」がなく、むしろ予測モデリングに興味があります（どちらも役に立つかもしれませんが）。
実験はどれも「理想的」ではありません（そもそも理想的だったかどうかは分かりません）。だからこそ私は、研究者に複数の異なる実験／サンプリング計画を作成することを常に提案（そして推奨）しています。それぞれの計画は、得られる潜在的な知識（例えば、何が帰属可能か（モデル）、何が交絡しているか、何が制約されているか（推論））について評価し、その潜在的な知識を必要なリソースと比較する必要があります。
政治的な議論はしたくありません。あらゆる結果には原因があると信じています。分野は問いません。どの分野にも、データ収集ツールの使用に関する課題はあります。だからといって、ツールを使わない言い訳にはなりません。
