クロス検証を使用して JMP v16 で kNN を使用することを希望している皆さんにお知らせです...
Wordの添付ファイルは、 k = 3の場合、次のことを示しています。
| | トレーニングR2 | 検証R2 |
| 2番目の展示品 | 0.92839 | 0.90874 |
| 3番目の展示品 | 0.9706 | 0.9086 |
検証R2は近いものの、同一ではありません。これは小さな差ですが、トレーニングR2の差は大きく、0.93対0.97です。
この問題に関するドキュメントは入手できませんが、kNNアルゴリズムでは「保存済み予測値」と「保存済み予測式」のどちらを使用するかによって異なる予測列が生成されるという記述があり、これが適合統計値の不一致の原因である可能性が高いと考えられます。しかしながら、競合する適合統計値セットのどちらが正しいのかは不明です。
モデルによって示される過剰適合の量を適切に測定するには、正確なトレーニング R2 結果が必要です。
JMP v16 では kNN に新しいアルゴリズムが使用されるため、この矛盾は JMP v15 以前では発生しません。
Word 文書に表示されている結果を生成するために使用された JMP データ ファイルも添付します。
異なるモデルの決定係数を比較している可能性はありますか？ たとえば、テーブルには、KNNモデルとはかなり異なる適合統計を持つ最小二乗モデルがあります。
JMP15と16の両方のデータセットで説明されているようにKNNを実行しました。 バージョン15と16のトレーニングと検証の決定係数統計はわずかに異なりますが、非常に似ています。 （ランダムシードは同じでした）、スクリプトは打撃です。 同一であった14と15の比較は含まれていません。
JMP Devの誰かがコメントしない場合は、次のアドレスにメモを送信してください。 support@jmp.comこのディスカッションスレッドを参照してください。 詳細はわかりませんが、KNNの背後にあるメソッドが非常に広いテーブルをサポートするように更新されたと思われます。 JMP16がより正確な見積もりを提供している可能性があります。
K Nearest Neighbors(
Validation( :"Train/Validate"n ),
Y( :MSRP ),
X(
:"Curb Weight (lbs)"n, :"Displacement (cc)"n, :Cylinders, :Horsepower,
:MPG City, :MPG Highway, :"Length (in)"n, :Seating Capacity,
:"Torque (lbs/ft)"n, :"Wheelbase (in)"n, :Car Type, :Make
),
K( 10 ),
Set Random Seed( 123 ),
Response( "MSRP", Plot Actual by Predicted( 1 ) )
)
