ニューラル ネットワークと小規模データセット - 検証と予測モデリングにおけるソリューションは何ですか?親愛なる同僚の皆様
この質問は非常に哲学的かもしれないので、憶測を避けるために専門家の意見を知りたいと思っています。
たとえば、インスタンス (行) が約 80 ～ 300 個の小さなデータセットについて言えば、一般にニューラル ネットワークを適用するだけで十分でしょうか。 「はい」の場合、次のようになります。
- カテゴリー応答と継続的応答にとって、それぞれどの指標が最も重要ですか?
- K 分割交差検証以外ではどの検証戦略が望ましいですか? それとも K 分割交差検証のみでしょうか?
アドバイスをよろしくお願いします。
どうもありがとう、
マイケル
品質およびプロセスエンジニアリングRe: ニューラル ネットワークと小規模データセット - 検証と予測モデリングのソリューションは何ですか?上記の 2 つの返信は本当に素晴らしいです。 私はほとんどいつも、サイズは重要ではないと言います（実際には代表的な問題を強調するためです）。 概念的な例を示します。 どちらのサンプルサイズが適切ですか?
ａ． 10,000 または
b. 5
ここで明らかにする必要がある問題は、日々の変動です。 10,000 個のサンプルは 1 日に採取され、5 個は 1 日 1 個のサンプルを 5 日間採取します。 では、どちらが良いのでしょうか?...明らかです。
Re: ニューラル ネットワークと小規模データセット - 検証と予測モデリングのソリューションは何ですか?データセットが対象となる母集団からのサンプルである限り、データセットのサイズを常に気にする必要があります。 しかし、それはサイズだけではありません...サイズは統計的リスクに影響を与えますが、表現リスクに関してはほとんど貢献しません。
なぜいつもサイズを気にしなければならないのですか？ サンプルサイズに関係なく、タイプIまたはタイプIIのエラーのリスクが常に存在するためです。 何年も前、ロチェスター工科大学の応用数理統計学修士プログラムの広告パンフレットの中で、彼らは「統計」を「不確実性に直面した意思決定の科学」と定義していたことを思い出します。 この不確実性は、サンプル サイズによって部分的に影響/制御される統計的リスクと、代表リスクという 2 つの要素で構成されます。 サンプルサイズは統計的リスクのみを表し、代表リスクではありません。
統計リスクと表現リスクの相互作用の小さいながらもわかりやすい例: パイロットの機器と規模に関する大量の観測 (これは大量のデータを表す非科学的な用語です) があり、死ぬほどの p 値があると仮定します...モデル内に主要な x 変数がすべて存在し、影響力のない変数がまったく存在しないことはほぼ確実です。 しかし、ここで重要な点があります。ここで、製造プロセスと製造規模について予測を立てます。たとえば、ビーカー (パイロット) スケールから鉄道車両 (製造) スケールへの移行について予測します。 そして、私たちの結果は予測にさえ近づいていないことがわかりました。 その場合、サンプル SIZE は何の意味もありません。 代表のリスクが大きく遅れをとった。
なぜ人々がサンプルサイズに焦点を当て、代表リスクをほとんど無視するのか、私にはまったく驚かされます。 わかりました...統計的リスク、アルファ、ベータ、検出すべき違い、タイプ I と II のエラーについて話すのは簡単ですが、すべて頭の中に入れるのは簡単です。そして今では、必要なことを教えてくれるコンピューターがあります。ご存知のとおり、面倒な ASQ/ANSI ルックアップ テーブルはもう必要ありません。
しかし、代表リスクを決して忘れないでください...暴言を吐きます。
Re: ニューラル ネットワークと小規模データセット - 検証と予測モデリングのソリューションは何ですか?これは広大なテーマであり、答えるのは簡単ではありません。データをモデル化してみるのは常に価値があることですが、データセットが小さいほど、発見したと思われるものについてはより謙虚になる必要があるとだけ言っておきます。確かに、指定された数の変数から導き出せる観測値の重要な数はありません。明らかに、変数が増えれば増えるほど、データを理解するためにより多くの観測値が必要になります。実際、その逆については考えてみる価値があります。変数が少数しかない場合、「賢明な」モデルを構築するためにそれほど多くの観察は必要ありませんが、それが信頼の源になるべきではありません。まったく逆です。変数が少数しかない場合は、全体像の大部分 (または大部分) が欠けています。パズルの重要なピースの 1 つは、データにどの程度の理論構造を適用できるかということです。物理科学では、データをモデル化するための構造に多かれ少なかれ直接つながる、よく発達した理論が存在することがよくあります。社会科学では、これはあまり当てはまりません。しかし、私にとっての結論は、モデルを構築してみる以外に選択肢はないということです (モデルを構築しない場合、意思決定は何に基づいて行われるのでしょうか?)。(私にとって) 重要なのは、モデルの能力を誇張しないことです。これは、変数と観測値の数に関係します。
Re: ニューラル ネットワークと小規模データセット - 検証と予測モデリングのソリューションは何ですか?あなたが正しいです。 そして今、新たな問題が浮上しています。それは、一般に小規模なデータセットに対して一連のモデルを作成する価値があるのかということです。 NNだけじゃないよ。 このような場合に予測モデリングを提案することは躊躇します。
この質問を言い換えてください。データセットのサイズを気にせずに予測モデリングを実行するには、インスタンス (行) および/またはプロパティ (列) の数がどれだけあれば十分ですか?
ありがとう
Re: ニューラル ネットワークと小規模データセット - 検証と予測モデリングのソリューションは何ですか?特にニューラル ネットワークに関するご質問に関しては、小規模なデータ セットの場合は NN であまり成功しませんでした。通常、NN は大量のデータがある場合に最適に機能すると思います。ただし、それとは関係なく、デシジョン ツリー、ブースト ツリー、ランダム フォレスト、ロジスティック回帰/重回帰など、さまざまな予測モデルを実行することをお勧めします。これらを、精度 (ROC、R2、対象となる特定の誤分類などを使用) の観点から比較するだけでなく、どの変数が最も重要であると識別されるのかという観点からも比較します。予測と理解の問題は重要ですが、理解のない予測は、最終的には意味のあるモデルを持つことよりも価値がなくなると思います。1 つのモデリング手法を選択する必要はありません。同じデータに対してすべてのモデリング手法を実行し、得られた結果を比較/対照するのは簡単です。
Re: ニューラル ネットワークと小規模データセット - 検証と予測モデリングのソリューションは何ですか?素晴らしいインタビューですね、ありがとう@P_Bartel 。 私はしますもある哲学的な...予測モデリングには、対象となる「現象」の因果関係を理解する必要があると思います。 合理的な思考順序は次のようになります。対象となる現象を定量化する方法 (および測定システムは適切か) を理解する必要があります。 次に、なぜ現象が変化するのかについて仮説を立てます (私はこれらの仮説のルーツは自然科学にあると考えています)。 これは、指示されたサンプリングまたは実験を通じて仮説をテストすることにつながります。 はい、仮説はデータが収集される前に構築されます。 仮説がない場合は、「データマイニング」技術を使用して、仮説を刺激することができます。仮説を作成/展開する思考。 私の観点からは、因果関係が何であるかについての洞察や理解を提供せずに、データセットを記述するモデル (ニューラル ネットワークなど) を手元に持つことは、効果的な予測モデルとはなりません。
生きるための言葉: 答えられるすべての質問、分析に使用するツール、導き出される結論への信頼、および結果を推定する能力は、データの取得方法によって異なります。
Re: ニューラル ネットワークと小規模データセット - 検証と予測モデリングのソリューションは何ですか?相互検証に関する会話は他の人に任せます。 ここではニューラル ネットワークの適用可能性についての私の見解を述べます。また、哲学的にもなります。 私は、当面の実際的な問題、データ (データ セットが広いか狭いか、多重共線性があるかなど)、統計と表現の両方のリスク、モデルの最終的な使用例に関する文脈のない適用性の問題はすべて、問題があると思います。完全なサンプルサイズだけを単独で使用する場合と比較して、手法の適用可能性に対する影響が大きくなります。
例: 研究の目的は何ですか? 予測か探索か？ 追加の研究の機会はありますか?おそらく計画された実験の文脈で? そして延々と。
予測と探索の概念に関する洞察力に富んだ解説については、これを参照することをお勧めします。
https://www.jmp.com/en_us/events/ondemand/analytally-speaking/to-explain-or-predict-that-is-the-question.html
