Ich finde die Beschreibung des Boosting-Verfahrens in neuronalen Netzen im JMP 13-Handbuch vage. Hier ist ein Ausschnitt davon:
„Der erste Schritt besteht darin, ein einschichtiges Modell mit zwei Knoten anzupassen. Die vorhergesagten Werte dieses Modells werden mit der Lernrate skaliert und dann von den tatsächlichen Werten subtrahiert, um ein skaliertes Residuum zu bilden. Der nächste Schritt besteht darin, eine andere einlagige, Zwei-Knoten Modell auf den skalierten Residuen des vorherigen Modells.
Ich verstehe nicht, wie JMP Residuen aus den vorhergesagten Werten verwendet. Eine mathematische Formel oder ein Diagramm könnte äußerst hilfreich sein.
Fügt JMP die Residuen zu definierten Features hinzu und trainiert das Netzwerk erneut? Oder trainiert es nur die verketteten Netzwerke der Residuen? Wenn ich beispielsweise 10 Features habe und versuche, eine einzelne kontinuierliche Antwort vorherzusagen, und mein Netzwerk über eine verborgene Schicht aus 3 Neuronen (auch Knoten genannt) verfügt; Das erste neuronale Netz in einem verstärkten Netzwerk hätte die Form [10, 3, 1]. Jetzt berechnet JMP die Residuen (wahre Werte – vorhergesagte Werte) aus der letzten Ebene. Was passiert nun mit den Residuen? Welche Form hat das zweite Netzwerk, was sind seine Eingaben und was sagt es voraus?
Vielen Dank im Voraus für Ihre Zeit.
Nehmen wir an, ich beginne mit 100 verschiedenen Messungen (Spalten) und 200 Beobachtungen (Zeilen) und versuche, eine kontinuierliche Reaktion (Spalte) vorherzusagen. Ich gehe davon aus, dass das erste neuronale Netz alle 100 Spalten aufnehmen und 1 Vorhersage ausgeben würde. Würde das zweite neuronale Netz eine Spalte mit Residuen aufnehmen und auch eine Spalte mit Vorhersagen ausgeben?
Hallo Phil, danke für deine Antwort. Die Eingabe in das zweite neuronale Netzwerk ist mir noch etwas unklar. Würden Sie also sagen, dass das zweite neuronale Netzwerk nur mit einem Merkmal (den Residuen) arbeiten würde, selbst wenn mein ursprünglicher Datensatz 100 Messungen hätte und ich sie als Merkmale verwenden würde?
