データマイニングでは、（場合によっては大量の）データ内のパターンと関係を探しています。再帰的分割やニューラルネットなどの多くの方法は、マイニングされるデータのサンプルに非常に敏感です。将来の結果を予測するのに役立つモデルを作成しているかどうか、どうやってわかりますか。
再現可能なモデルが欲しいのです。つまり、将来のデータに使用すれば、結果を予測する際にも同様に成功するでしょう。データマイナーはモデルの正確性を保証するためにデータを3つの異なるサブセットに分けます。それらは、トレーニングデータ、検証データ、およびテストデータです。各データセットに含まれるデータの割合に関する明確な規則はありませんが、経験則では40/40/20です。
2つの新しい変数を作りましょう。最初の変数は、ランダムな一様分布から値を割り当てます。ランダムな一様分布は、0から1までの値をランダムに割り当てます。次に、データを3つのサブセットにグループ化する数式エディタを使用して、「サブセット」という新しい変数を作成します。値が0.40未満の場合、このデータは学習に使用されます。検証には、0.40〜0.80のデータが使用されます。0.80を超えるデータがテストに使用されます。下記の数式エディタを参照してください。の次のバージョンでこれを行うためのより簡単な方法をお楽しみに JMP 。
トレーニングデータはモデルの構築に使用されます。ノイズではなくパターンをモデル化したように感じたら、検証データセットでモデルを実行します。特にデータセットが大きい場合、結果は似通っているはずです。結果が異なる場合は、作成したモデルがデータをオーバーフィットしました（つまり、ノイズをモデル化しました）。この過程で前後にいくらかあるでしょう。トレーニングと検証の結果が同じになれば、再現性があると期待できる優れたモデルが見つかりました。このモデルはテストデータセットでテストされます。3つのモデルすべてが似たようなフィットを持つべきです。それ以外の場合は、データ内の基礎となるパターンを明らかにしていません。
検証データとテストデータをJMPのデータフィルタを使用して非表示にしたり除外したりして、トレーニングデータを使用してモデルをトレーニングします。検証を使用してモデルを再実行してから、データフィルターを使用して検証データとテストデータを切り替えてデータセットをテストします。
異なる方法でモデルを比較している場合は、train-validate-testメソッドを使用することが特に重要です。たとえば、モデルがニューラルネットに対して反復可能であるが再帰的分割ではないことがわかった場合は、モデルと将来の結果を予測するための最善の方法を見つけることになります。
編集者注：この記事はもともと別のブロガーによって投稿されたものです。
JMPでより良い予測モデルを素早く作る書きました：
[...]戻っている間、このブログではトレーニング、検証、テストセットの概念に関する素晴らしい記事を掲載しました。記述的であるだけでなく予測的でもあるモデルを構築するために、
マイケルジョナー書きました：
数式エディタのスクリーンショットでは、実際には2つの "Random Uniform（）"呼び出しがあります。これにより、電車内で40％が取得されますが、残りの（電車以外の）60％のデータは40/60に分割されます。したがって、そのコードで40/24/36に分割できます。説明されているように式列を作成し、その式列に対して配布プラットフォームを実行することで、これを直接確認できます。この問題に対するいくつかの解決策があります。1つの方法は、2つの列を作成することを含みます。1つの列がRandom Uniform（）数と2つ目の分類列です。
