Wie führt man eine k-fache Kreuzvalidierung an ML-Modellen durch (z. B. neuronales Netzwerk und Zufallswald) und überprüft die Modellleistung anhand fester Testdaten?Ich habe einen Klassifizierungsdatensatz, an den ich ein neuronales Netzwerk und ein Zufallswaldmodell anpassen möchte. Ich führe die k-fache Kreuzvalidierung durch, um das beste Modell auszuwählen .
Ich habe separate Daten (feste Testdaten), anhand derer ich die Modellleistung testen möchte. Wie kann ich diese Daten an JMP weitergeben und einen Klassifizierungsbericht erhalten?
Prädiktive Modellierung und maschinelles LernenBetreff: Wie führt man eine k-fache Kreuzvalidierung für ML-Modelle (z. B. neuronales Netzwerk und Zufallswald) durch und überprüft die Modellleistung anhand fester Testdaten?Hallo @abhinavsharma91 ,
Um die K-Folds-Kreuzvalidierung für mehrere Modelle des maschinellen Lernens zu verwenden, können Sie die Plattform „Modell-Screening“ (zugänglich unter „Analysieren“, „Prädiktive Modellierung“, „Modell-Screening“) verwenden und auswählen, welche Algorithmen Sie ausprobieren möchten (in Ihrem Beispiel Neural Networks and Random Forest) und die Anzahl der Falten, die für die Kreuzvalidierung verwendet werden (Beispiel hier für den Spielzeugdatensatz „Diamonds Data“ mit einer 5-fachen Kreuzvalidierung):
Für Ihre Testdaten gibt es mehrere Möglichkeiten:
- Wenn Ihre Daten in zwei Datensätze aufgeteilt sind (einer zum Training, einer zum Testen), können Sie das Modell mit Kreuzvalidierung in Ihrer Trainingsdatentabelle ausführen, die Formeln für das Modell mit der besten Leistung speichern und dann die Formelspalte des Modells kopieren und einfügen auf Ihrer Testdatentabelle, sodass es bei der unvoreingenommenen Bewertung der Leistung des Modells anhand von Testdaten nicht zu Datenlecks kommt.
- Sie können auch alle Ihre Daten in derselben Datentabelle haben, aber die Zeilen, die zum Testen verwendet werden, „ausblenden und ausschließen“; Auf diese Weise verwenden die Modelle Ihre Testdaten nicht für das Training und die Kreuzvalidierung. Durch das Speichern der Formeln verfügen Sie jedoch weiterhin über Vorhersagen für Ihre ausgeblendeten und ausgeschlossenen Zeilen (und für dieselbe Tabelle).
Ich hoffe, diese Antwort wird Ihnen helfen,
