405667_it-IT

liliconcom

kNN (k Nearest Neighbors) visualizza diverse statistiche di adattamento in JMP Pro v16

Un avvertimento a quelli di voi che sperano di utilizzare kNN in JMP v16 con la convalida incrociata...

 

La Parola allegato indica che, per k = 3 :

	Allenamento R2	Convalida R2
2a mostra	0.92839	0.90874
3a mostra	0,9706	0,9086

 

Gli R2 di convalida sono simili, ma non identici. Sebbene questo sia minore, la differenza negli R2 di allenamento non è: 0,93 contro 0,97.

 

La documentazione su questo problema non è disponibile, anche se viene menzionato il fatto che l'algoritmo kNN produce diverse colonne di previsioni a seconda che venga utilizzata la previsione salvata o la formula di previsione salvata, il che molto probabilmente spiega la discrepanza nelle statistiche di adattamento. Tuttavia, non sappiamo quale degli insiemi concorrenti di statistiche di adattamento sia corretto.

 

Abbiamo bisogno di risultati R2 di addestramento accurati per valutare correttamente la quantità di overfitting esibita da un modello.

 

JMP v16 utilizza un nuovo algoritmo per kNN, quindi questa discrepanza non viene evidenziata in JMP v15 o versioni precedenti.

 

Allego anche il file di dati JMP utilizzato per produrre i risultati mostrati nel documento Word.

 

 

 

 

 

 

AltroRe: kNN (k Nearest Neighbors) visualizza diverse statistiche di adattamento in JMP Pro v16

È possibile che tu stia confrontando r-squared da diversi modelli? Ad esempio, la tua tabella ha il modello dei minimi quadrati con statistiche di adattamento abbastanza diverse rispetto al modello KNN.

Ho eseguito KNN come descritto sul tuo set di dati in JMP 15 e 16. Le statistiche r-squared di addestramento e convalida per la versione 15 e 16 sono leggermente diverse ma molto simili. (il seme casuale era lo stesso), la sceneggiatura è un colpo. Non sono inclusi i confronti tra 14 e 15, che erano identici.

 

Se qualcuno di JMP Dev non commenta, magari invia una nota a support@jmp.com e fai riferimento a questo thread di discussione. Sebbene non conosca alcun dettaglio, sospetto che il metodo alla base di KNN sia stato aggiornato per supportare tabelle molto ampie. È possibile che JMP16 fornisca una stima più precisa.

 

 

 

 

K Nearest Neighbors(
 Validation( :"Train/Validate"n ),
 Y( :MSRP ),
 X(
  :"Curb Weight (lbs)"n, :"Displacement (cc)"n, :Cylinders, :Horsepower,
  :MPG City, :MPG Highway, :"Length (in)"n, :Seating Capacity,
  :"Torque (lbs/ft)"n, :"Wheelbase (in)"n, :Car Type, :Make
 ),
 K( 10 ),
 Set Random Seed( 123 ),
 Response( "MSRP", Plot Actual by Predicted( 1 ) )
)