機械学習における危険性の一つは、過学習です。ジョン・エルダーのターゲットシャッフルは、モデルを非常に直感的に評価する方法を提供します。参考文献は数多くありますが、以下はその一つです。http 
/www.kdnuggets.com/2014/02/3-ways-to-test-accuracy-your-predictive-models.html 。JMPにこの機能があれば便利です。
周暁傑zhou.x.1@pg.com- シャロン・ウッズ・イノベーションセンター、シンシナティ
クリス・ゴットウォルトさんの方法の説明に基づき、これは実現可能だと考えております。このアプローチに関して追加機能が必要な場合は、ウィッシュリストに項目を追加していただければ検討させていただきます。
@サム・ガードナーこれは開発部門で調査中のようですが、ステータスを変更すべきでしょうか?
Simulate は JMP Pro 13.0 で利用可能になります。
これは、JMP Proのシミュレーション機能を使用して、以下の簡単な手順で実行できます。例えば、:Yという名前のターゲットに対してターゲットシャッフルを実行するには、以下の手順に従います。
1) Yを右クリックし、「新しい数式列」→「ランダム」→「無置換抽出」を選択します。「シャッフル」という新しい数式列が作成されます。 Y の行をランダムにシャッフルします。
2) 元の応答列でモデルを実行します。
3) 関心のあるモデル診断 (例: R 平方、AIC、誤分類率など) を見つけて、レポート内で右クリックします。
4) 表示されるポップアップで、オプション リストの下部近くにある「シミュレート」オプションを選択します。
5) 表示されるシミュレーションダイアログで、「切り替える列」にYを選択し、シャッフルします。 「切り替える列」の場合。 . をクリックして「OK」をクリックします。「OK」をクリックする前に、結果の再現性を高めたい場合は乱数シード値を設定し、サンプル数を2500以外に変更することもできます。モデルの適合に時間がかかる場合は、サンプル数を減らすことをお勧めします。デフォルト設定のままでも構いません。
Simulate はターゲットシャッフルを実行し、シャッフルされた R2 値、またはターゲットシャッフルを使用して評価するその他の診断値の新しいテーブルを作成します。新しいテーブル内の分布スクリプトをクリックすると、レポートの値と「シャッフルされた」 R2 値の分布を比較できます。
ジョン・エルダー氏はターゲットシャッフルの強力な支持者ですが、ターゲットシャッフルは実際には、データに過剰適合したモデルの使用を防ぐための手段であることを指摘しておきます。適切な検証手法を用いて選択されたモデルと、JMPのニューラル、GenReg、PLS、およびPartitionプラットフォームの過剰適合防止アルゴリズムを組み合わせることで、R 、SPSS、Statisticaなどの他の汎用統計ソフトウェアではターゲットシャッフルがモデル評価プロセスの不可欠な要素となるのに対し、ターゲットシャッフルの必要性は低くなります。
