Ich versuche, Permutationstests und Monte-Carlo-Kreuzvalidierungen mit dem Iris-Beispieldatensatz als MWE für unseren Datensatz durchzuführen. Ich bin mir nicht sicher, ob ich Dinge mache und die Ausgabe richtig interpretiere.
1) Erstellen Sie eine neue Formelspalte (Random->Sample Without Replacement) für die Speziesspalte für den Permutationstest.
2) Erstellen Sie eine Validierungsspalte (Aufteilung 0,75/0,25) und eine neue Formelspalte (Random->Sample Without Replacement), indem Sie diese für die Monte-Carlo-Kreuzvalidierung verwenden
3) Führen Sie die Discriminant Platform mit der Validation-Spalte aus und zeigen Sie die ROC-Kurven an. Verwenden Sie die Simulationsplattform im Bereich der ROC-Kurve
4.1) Wählen Sie für den Permutationstest Art als Spalte aus, um sie auszutauschen, und Mischen Sie [Art] als Spalte, um sie einzuwechseln. Geben Sie die gewünschte Anzahl von Zufallsstichproben und Zufallszahlen ein und führen Sie die Simulation aus.
4.2) Sehen Sie sich das Verteilungsskript an und notieren Sie sich den empirischen p-Wert.
5.1) Wählen Sie für die Monte-Carlo-Kreuzvalidierung Validation als Spalte aus, die ausgetauscht werden soll, und Shuffle[Validation] als Spalte, die Sie einschalten möchten. Geben Sie die gewünschte Anzahl von Zufallsstichproben und Zufallszahlen ein und führen Sie die Simulation aus.
5.2) Sehen Sie sich das Verteilungsskript an und notieren Sie sich den empirischen p-Wert.
6) Unter der Annahme, was ich richtig gemacht habe (Testen der Kurve „Area of ROC“), wird der niedrige p-Wert aus dem Permutationstest erwartet, aber was ist mit dem großen p-Wert für die Monte-Carlo-Kreuzvalidierung? Wie ist dies zu interpretieren?
Vielen Dank
