Die Reihenfolge der Eingabespalten wirkt sich auf die Ergebnisse in der neuronalen Plattform ausIch arbeite an einem Gruppenprojekt für den Unterricht, und sobald ein Mitglied die Spalten in unserer Datei in einer anderen Reihenfolge platziert hat, liefert sein neuronales Netzmodell viel schlechtere Testfehlklassifizierungsergebnisse von 16 % bis 18 %.Warum sollte das passieren?
Betreff: Spalten neu geordnet und jetzt gibt das Modell andere Ergebnisse ausHallo Kate,
Die Reihenfolge, in der die Faktoren im Modelldialog aufgelistet werden, wirkt sich auf die Startwerte des neuronalen Netzes aus und führt zu unterschiedlichen Ergebnissen. Der Unterschied in den Ergebnissen hängt mit dem Unterschied der zugewiesenen Gewichte zu den Faktoren während des ersten Versuchs des neuronalen Netzes zusammen. Die einzige Möglichkeit sicherzustellen, dass die gleichen Ergebnisse erzielt werden, ist die Verwendung der gleichen Faktoren in der gleichen Reihenfolge mit dem gleichen Startwert.
Ich hoffe, Sie genießen den Unterricht!
Mia
Betreff: Spalten neu geordnet und jetzt gibt das Modell andere Ergebnisse ausHi, ja, wir haben eine Validierungssäule.Betreff: Spalten neu geordnet und jetzt gibt das Modell andere Ergebnisse ausEine letzte, vielleicht offensichtliche Überprüfung besteht darin, dass die Routinen des neuralen Netzwerks einen Validierungssatz ERFORDERLICH sind. Wenn Sie kein Validierungsset angegeben haben, wählt JMP Ihr Validierungsset automatisch ZUFÄLLIG aus. Um dies zu vermeiden, erstellen Sie eine Spalte, die Ihren Validierungssatz angibt, und geben Sie dies beim Ausführen der neuronalen Netzwerkplattform an. Zusammen mit Mias Add-In sollten Sie damit reproduzierbare Ergebnisse erzielen.
Betreff: Spalten neu geordnet und jetzt gibt das Modell andere Ergebnisse ausHallo Kate,
Danke, dass Sie diese Frage gestellt haben.Neuronale Netze haben eine Zufallskomponente – sie verwenden zufällige Startwerte für die Gewichtungen und aktualisieren die Gewichtungen dann iterativ, um die Leistung des Modells zu verbessern. Wenn das Add-In direkt vor der Ausführung eines neuen Modells innerhalb der Neural-Plattform ausgeführt wird, weist es JMP einfach an, mit denselben Startwerten für die Gewichtungen zu beginnen (wenn dasselbe Modell erneut ausgeführt wird).Das Add-In ist nicht mehr als eine einfache Zeile JMP-Code (JSL).Ich würde vermuten, dass Sie möglicherweise unterschiedliche Ergebnisse sehen, wenn die Spalten in einer anderen Reihenfolge gemischt werden (ich werde dies bestätigen).Ich nehme an, Sie haben die gleiche Aufteilung in Training, Validierung (und Test)?
Ich hoffe, Sie genießen den Unterricht!
Mia
Betreff: Spalten neu geordnet und jetzt gibt das Modell andere Ergebnisse ausSie sind wunderbar!!Vielen Dank!
Ich bin so beeindruckt von dem fantastischen Kundenservice und der Reaktionsfähigkeit.
Hab eine großartige Woche.
Betreff: Spalten neu geordnet und jetzt gibt das Modell andere Ergebnisse ausVerstanden!
Es ist gut, dass Sie davon wissen @mia_stephens ' Zusatz. Sie wird in der Lage sein, darüber zu sprechen, was es tut und was nicht (ich verstehe, dass es einige Überarbeitungen gab). Ich werde sie auf diesen Thread verweisen.
Betreff: Spalten neu geordnet und jetzt gibt das Modell andere Ergebnisse ausDanke für Ihre Antwort.Wir werden in der Tat die Dokumentation, auf die Sie verwiesen haben, noch einmal durchgehen.Und letztendlich müssen wir, wie Sie sagten, diese „algorithmische Variabilität“ vielleicht annehmen.
Zur Erklärung: Der Wunsch, reproduzierbare Ergebnisse zu erzwingen, ist zwar in einem professionellen Umfeld nicht angemessen, aber höchst in einem akademischen Umfeld wünschenswert.Dies ist ein Gruppenprojekt für eine Graduiertenschule.Leider leben die Teammitglieder alle in unterschiedlichen Bundesstaaten und versuchen, gemeinsam an der Entwicklung von Vorhersagemodellen zu arbeiten.Für neuronale Netze verwenden wir alle denselben Random Seed mit dem Random Seed Add-In, das laut unserem Professor von Mia Stephens Academic Ambassador bei JMP für die Zwecke der Verwendung im akademischen Bereich entwickelt wurde.Es scheint seltsam, dass dieselbe Person, die dasselbe Modell mit demselben Zufallsstartwert ausführt, von einem Tag auf den anderen so unterschiedliche Antworten erhält (und immer schlechtere Ergebnisse).Wenn es am selben Tag ausgeführt wird, erzeugt das Modell zuverlässig die gleiche Test-Fehlklassifikationsrate.Die einzige Änderung, abgesehen vom Herunterfahren des Computers, bestand darin, die Spalten neu zu ordnen, um die Datei für einen zusätzlichen Datenspeicherauszug vorzubereiten. Außerdem können andere Teammitglieder die Ergebnisse mit demselben Modell nicht reproduzieren.
Dies hat uns gezwungen zu untersuchen, ob es ein Problem mit dem Modell gibt oder ob es auf Zufälligkeit zurückzuführen ist, von der wir dachten, dass sie durch Random beseitigt wurde.
Nochmals vielen Dank für Ihre Antwort vorhin.
Betreff: Spalten neu geordnet und jetzt gibt das Modell andere Ergebnisse ausViele der in der Vorhersagemodellierung verwendeten Algorithmen haben zwangsläufig einen zufälligen Aspekt. JMP bietet eine Reihe von Möglichkeiten, um Ergebnisse „reproduzierbar“ zu machen, wobei die Details davon abhängen, was Sie genau getan haben (suchen Sie nach Verweisen auf „Random Seed“ in der Benutzeroberfläche und sehen Sie sich die Dokumentation an). Die Variation, die Sie gesehen haben, ist mit ziemlicher Sicherheit auf diesen Grund zurückzuführen und hat nichts mit dem Mischen von Spalten zu tun.
Allerdings ist es eine gute Zusatzfrage zu fragen, ob es wünschenswert ist, die Reproduzierbarkeit von Ergebnissen zu erzwingen, oder ob man diese „algorithmische Variabilität“ annehmen sollte.
