kNN (k plus proches voisins) affiche différentes statistiques d'ajustement dans JMP Pro v16Un avertissement pour ceux d'entre vous qui espèrent utiliser kNN dans JMP v16 avec validation croisée...
Le mot joint indique que, pour k = 3 :
| | Formation R2 | Validation R2 |
| 2e exposition | 0,92839 | 0,90874 |
| 3ème exposition | 0,9706 | 0,9086 |
Les R2 de validation sont proches, mais pas identiques. Bien que cela soit mineur, la différence dans les R2 d'entraînement ne l'est pas : 0,93 contre 0,97.
Aucune documentation n'est disponible sur ce problème, bien qu'il soit mentionné que l'algorithme kNN produit des colonnes de prédictions différentes selon que l'on utilise les prédictions enregistrées ou la formule de prédiction enregistrée, ce qui explique probablement l'écart dans les statistiques d'ajustement. Cependant, nous ignorons lesquels des ensembles concurrents de statistiques d'ajustement sont corrects.
Nous avons besoin de résultats d’entraînement R2 précis pour évaluer correctement la quantité de surajustement présentée par un modèle.
JMP v16 utilise un nouvel algorithme pour kNN, donc cette différence n'est pas mise en évidence dans JMP v15 ou les versions antérieures.
Je joins également le fichier de données JMP utilisé pour produire les résultats affichés dans le document Word.
Modélisation prédictive et apprentissage automatiquePartage et communication des résultatsRe: kNN (k Nearest Neighbours) affiche différentes statistiques d'ajustement dans JMP Pro v16Est-il possible que vous compariez le r au carré de différents modèles ? Par exemple, votre table a un modèle des moindres carrés avec des statistiques d'ajustement assez différentes de celles du modèle KNN.
J'ai exécuté KNN comme décrit sur votre ensemble de données dans JMP 15 et 16. Les statistiques r carré d'entraînement et de validation pour les versions 15 et 16 sont légèrement différentes mais très similaires. (la graine aléatoire était la même), le script est du coup. Ne sont pas incluses les comparaisons entre 14 et 15, qui étaient identiques.
Si quelqu'un de JMP Dev ne commente pas, envoyez peut-être une note à support@jmp.com et référence ce fil de discussion. Bien que je ne connaisse aucun détail, je soupçonne que la méthode derrière KNN a été mise à jour pour prendre en charge des tables très larges. Il est possible que JMP16 fournisse une estimation plus précise.
K Nearest Neighbors(
Validation( :"Train/Validate"n ),
Y( :MSRP ),
X(
:"Curb Weight (lbs)"n, :"Displacement (cc)"n, :Cylinders, :Horsepower,
:MPG City, :MPG Highway, :"Length (in)"n, :Seating Capacity,
:"Torque (lbs/ft)"n, :"Wheelbase (in)"n, :Car Type, :Make
),
K( 10 ),
Set Random Seed( 123 ),
Response( "MSRP", Plot Actual by Predicted( 1 ) )
)
