405667_es-ES

liliconcom

kNN (k vecinos más cercanos) muestra diferentes estadísticas de ajuste en JMP Pro v16

Un aviso para aquellos de ustedes que esperan usar kNN en JMP v16 con validación cruzada ...

 

El adjunto de Word indica que, por k = 3 :

	Entrenamiento R2	Validación R2
2da exhibición	0,92839	0.90874
3ra exhibición	0,9706	0.9086

 

Los R2 de validación están cerca, pero no son idénticos. Aunque esto es menor, la diferencia en los R2 de entrenamiento no es: 0,93 vs 0,97.

 

La documentación sobre este tema no está disponible, aunque se menciona el hecho de que el algoritmo kNN produce diferentes columnas de predicciones dependiendo de si se utilizan Predicciones guardadas o Fórmula de predicción guardada, lo que probablemente explica la discrepancia en las estadísticas de ajuste. Sin embargo, no sabemos cuáles de los conjuntos de estadísticas de ajuste en competencia son correctos.

 

Necesitamos resultados precisos de R2 de entrenamiento para medir adecuadamente la cantidad de sobreajuste exhibido por un modelo.

 

JMP v16 utiliza un nuevo algoritmo para kNN, por lo que esta discrepancia no se evidencia en JMP v15 o anterior.

 

También adjunto el archivo de datos JMP utilizado para producir los resultados que se muestran en el documento de Word.

 

 

 

 

 

 

OtroRe: kNN (k vecinos más cercanos) muestra diferentes estadísticas de ajuste en JMP Pro v16

¿Es posible que esté comparando r-cuadrado de diferentes modelos? Por ejemplo, su tabla tiene un modelo de mínimos cuadrados con estadísticas de ajuste bastante diferentes al modelo KNN.

Ejecuté KNN como se describe en su conjunto de datos en JMP 15 y 16. Las estadísticas r-cuadrado de entrenamiento y validación para las versiones 15 y 16 son ligeramente diferentes pero muy similares. (la semilla aleatoria era la misma), el guión es un golpe. No se incluyen las comparaciones entre 14 y 15, que fueron idénticas.

 

Si alguien de JMP Dev no comenta, tal vez envíe una nota a support@jmp.com y haga referencia a este hilo de discusión. Aunque no conozco ningún detalle, sospecho que el método detrás de KNN se actualizó para admitir tablas muy amplias. Es posible que JMP16 esté proporcionando una estimación más precisa.

 

 

 

 

K Nearest Neighbors(
 Validation( :"Train/Validate"n ),
 Y( :MSRP ),
 X(
  :"Curb Weight (lbs)"n, :"Displacement (cc)"n, :Cylinders, :Horsepower,
  :MPG City, :MPG Highway, :"Length (in)"n, :Seating Capacity,
  :"Torque (lbs/ft)"n, :"Wheelbase (in)"n, :Car Type, :Make
 ),
 K( 10 ),
 Set Random Seed( 123 ),
 Response( "MSRP", Plot Actual by Predicted( 1 ) )
)