405667_de-DE

liliconcom

kNN (k Nearest Neighbors) zeigt verschiedene Anpassungsstatistiken in JMP Pro v16 an

Ein Hinweis an diejenigen unter Ihnen, die kNN in JMP v16 mit Kreuzvalidierung verwenden möchten …

Der Word-Anhang gibt an, dass für k = 3 :

	Training R2	Validierung R2
2. Ausstellung	0,92839	0,90874
3. Ausstellung	0,9706	0,9086

Die Validierungs-R2-Werte liegen nahe beieinander, sind aber nicht identisch. Obwohl dies geringfügig ist, ist der Unterschied bei den Trainings-R2-Werten gleich: 0,93 vs. 0,97.

Eine Dokumentation zu diesem Problem ist nicht verfügbar. Es wird jedoch erwähnt, dass der kNN-Algorithmus je nach Verwendung von „Gespeicherte Vorhersagen“ oder „Gespeicherte Vorhersageformel“ unterschiedliche Vorhersagespalten erzeugt. Dies erklärt höchstwahrscheinlich die Diskrepanz in den Anpassungsstatistiken. Wir wissen jedoch nicht, welche der konkurrierenden Anpassungsstatistiken korrekt sind.

Wir benötigen genaue R2s-Trainingsergebnisse, um das Ausmaß der Überanpassung eines Modells richtig einschätzen zu können.

JMP v16 verwendet einen neuen Algorithmus für kNN, daher tritt diese Diskrepanz in JMP v15 oder früher nicht auf.

Ich füge auch die JMP-Datendatei bei, die zum Erstellen der im Word-Dokument angezeigten Ergebnisse verwendet wurde.

Prädiktive Modellierung und maschinelles LernenErgebnisse teilen und kommunizierenBetreff: kNN (k Nearest Neighbors) zeigt verschiedene Anpassungsstatistiken in JMP Pro v16 an

Ist es möglich, dass Sie r-squared von verschiedenen Modellen vergleichen? Ihre Tabelle hat beispielsweise ein Modell der kleinsten Quadrate mit ziemlich anderen Anpassungsstatistiken als das KNN-Modell.

Ich habe KNN wie in Ihrem Datensatz in JMP 15 und 16 beschrieben ausgeführt. Die Trainings- und Validierungs-R-Quadrat-Statistiken für die Versionen 15 und 16 unterscheiden sich geringfügig, sind aber sehr ähnlich. (Random Seed war das gleiche), das Skript ist Schlag. Nicht enthalten sind Vergleiche zwischen 14 und 15, die identisch waren.

 

Wenn jemand von JMP Dev keinen Kommentar abgibt, senden Sie vielleicht eine Nachricht an support@jmp.com und verweisen Sie auf diesen Diskussionsthread. Obwohl ich keine Details kenne, vermute ich, dass die Methode hinter KNN aktualisiert wurde, um sehr breite Tabellen zu unterstützen. Es ist möglich, dass JMP16 eine genauere Schätzung liefert.

 

 

 

 

K Nearest Neighbors(
 Validation( :"Train/Validate"n ),
 Y( :MSRP ),
 X(
  :"Curb Weight (lbs)"n, :"Displacement (cc)"n, :Cylinders, :Horsepower,
  :MPG City, :MPG Highway, :"Length (in)"n, :Seating Capacity,
  :"Torque (lbs/ft)"n, :"Wheelbase (in)"n, :Car Type, :Make
 ),
 K( 10 ),
 Set Random Seed( 123 ),
 Response( "MSRP", Plot Actual by Predicted( 1 ) )
)