kNN (k Nearest Neighbours) affiche différentes statistiques d'ajustement dans JMP Pro v16Un avertissement à ceux d'entre vous qui espèrent utiliser kNN dans JMP v16 avec validation croisée...
La pièce jointe Word indique que, pour k = 3 :
| | Formation R2 | Validation R2 |
| 2e exposition | 0,92839 | 0.90874 |
| 3ème exposition | 0.9706 | 0.9086 |
Les R2 de validation sont proches, mais pas identiques. Bien que cela soit mineur, la différence dans les R2 d'entraînement n'est pas : 0,93 vs 0,97.
La documentation sur ce problème n'est pas disponible, bien qu'il soit mentionné que l'algorithme kNN produit différentes colonnes de prédictions selon que les prédictions enregistrées ou la formule de prédiction de sauvegarde sont utilisées, ce qui explique très probablement l'écart dans les statistiques d'ajustement. Cependant, nous ne savons pas lesquels des ensembles concurrents de statistiques d'ajustement sont corrects.
Nous avons besoin de résultats d'entraînement R2 précis pour évaluer correctement la quantité de surapprentissage présentée par un modèle.
JMP v16 utilise un nouvel algorithme pour kNN, donc cet écart n'est pas mis en évidence dans JMP v15 ou antérieur.
Je joins également le fichier de données JMP utilisé pour produire les résultats affichés dans le document Word.
AutreRe: kNN (k Nearest Neighbours) affiche différentes statistiques d'ajustement dans JMP Pro v16Est-il possible que vous compariez le r au carré de différents modèles ? Par exemple, votre table a un modèle des moindres carrés avec des statistiques d'ajustement assez différentes de celles du modèle KNN.
J'ai exécuté KNN comme décrit sur votre ensemble de données dans JMP 15 et 16. Les statistiques r carré d'entraînement et de validation pour les versions 15 et 16 sont légèrement différentes mais très similaires. (la graine aléatoire était la même), le script est du coup. Ne sont pas incluses les comparaisons entre 14 et 15, qui étaient identiques.
Si quelqu'un de JMP Dev ne commente pas, envoyez peut-être une note à support@jmp.com et référence ce fil de discussion. Bien que je ne connaisse aucun détail, je soupçonne que la méthode derrière KNN a été mise à jour pour prendre en charge des tables très larges. Il est possible que JMP16 fournisse une estimation plus précise.
K Nearest Neighbors(
Validation( :"Train/Validate"n ),
Y( :MSRP ),
X(
:"Curb Weight (lbs)"n, :"Displacement (cc)"n, :Cylinders, :Horsepower,
:MPG City, :MPG Highway, :"Length (in)"n, :Seating Capacity,
:"Torque (lbs/ft)"n, :"Wheelbase (in)"n, :Car Type, :Make
),
K( 10 ),
Set Random Seed( 123 ),
Response( "MSRP", Plot Actual by Predicted( 1 ) )
)
