405667_it-IT

liliconcom

kNN (k vicini più prossimi) visualizza diverse statistiche di adattamento in JMP Pro v16

Un avviso per coloro che sperano di utilizzare kNN in JMP v16 con convalida incrociata...

L'allegato Word indica che, per k = 3 :

	Formazione R2	Validazione R2
2a mostra	0,92839	0,90874
3a mostra	0,9706	0,9086

Gli R2 di validazione sono simili, ma non identici. Sebbene si tratti di un valore minimo, la differenza negli R2 di training non è significativa: 0,93 vs 0,97.

Non è disponibile documentazione su questo problema, sebbene venga menzionato il fatto che l'algoritmo kNN produce colonne di previsioni diverse a seconda che venga utilizzato Saved Predicteds o Save Prediction Formula, il che molto probabilmente spiega la discrepanza nelle statistiche di adattamento. Tuttavia, non sappiamo quali dei set di statistiche di adattamento concorrenti siano corretti.

Abbiamo bisogno di risultati di training R2 accurati per valutare correttamente il grado di sovradattamento mostrato da un modello.

JMP v16 utilizza un nuovo algoritmo per kNN, pertanto questa discrepanza non è evidenziata in JMP v15 o versioni precedenti.

Allego anche il file di dati JMP utilizzato per produrre i risultati mostrati nel documento Word.

Modellazione predittiva e apprendimento automaticoCondivisione e comunicazione dei risultatiRe: kNN (k Nearest Neighbors) visualizza diverse statistiche di adattamento in JMP Pro v16

È possibile che tu stia confrontando r-squared da diversi modelli? Ad esempio, la tua tabella ha il modello dei minimi quadrati con statistiche di adattamento abbastanza diverse rispetto al modello KNN.

Ho eseguito KNN come descritto sul tuo set di dati in JMP 15 e 16. Le statistiche r-squared di addestramento e convalida per la versione 15 e 16 sono leggermente diverse ma molto simili. (il seme casuale era lo stesso), la sceneggiatura è un colpo. Non sono inclusi i confronti tra 14 e 15, che erano identici.

 

Se qualcuno di JMP Dev non commenta, magari invia una nota a support@jmp.com e fai riferimento a questo thread di discussione. Sebbene non conosca alcun dettaglio, sospetto che il metodo alla base di KNN sia stato aggiornato per supportare tabelle molto ampie. È possibile che JMP16 fornisca una stima più precisa.

 

 

 

 

K Nearest Neighbors(
 Validation( :"Train/Validate"n ),
 Y( :MSRP ),
 X(
  :"Curb Weight (lbs)"n, :"Displacement (cc)"n, :Cylinders, :Horsepower,
  :MPG City, :MPG Highway, :"Length (in)"n, :Seating Capacity,
  :"Torque (lbs/ft)"n, :"Wheelbase (in)"n, :Car Type, :Make
 ),
 K( 10 ),
 Set Random Seed( 123 ),
 Response( "MSRP", Plot Actual by Predicted( 1 ) )
)