Modelle mit GewichtHallo
Ich versuche, eine Korrelation zwischen einigen X-Prädiktoren und einer kontinuierlichen Antwortvariablen zu finden, die stark nach rechts verzerrt ist.
Die Datenbank enthält nur 140 Instanzen.
Zuerst habe ich die Antwortvariable mithilfe der Funktion lnx+1 transformiert.
Dann habe ich alle x im Bereich 0 und 1 normalisiert, die Dimensionalität mit der Screening-Option reduziert und dann die korrelierten Prädiktoren X entfernt. Am Ende dieses ganzen Prozesses hatte ich nur 4 Prädiktoren. Indem ich einen Random Forest ohne Gewichtung ausführte, war das R2 bei den Trainingsdaten sehr niedrig (siehe erstes Diagramm unten). Dann habe ich eine ähnliche parabolische Gewichtsfunktion verwendet (siehe zweites Diagramm) und den Random Forest erneut ausgeführt. Das Ergebnis war besser, wie im letzten Diagramm gezeigt. Es sieht so aus, als ob es eine Rotation der Daten um die Mitte des Diagramms gab. Kann jemand erklären, warum?
Wie sollte die Gewichtsfunktion gewählt werden?
Datenzusammenführung und -bereinigungPrädiktive Modellierung und maschinelles LernenRe: Modelle mit GewichtIch finde das nicht legitim.Es hört sich so an, als ob Sie der Meinung sind, dass die Extremwerte in Ihren Daten möglicherweise unterrepräsentiert sind.Wenn dies der Fall ist, ist es meiner Meinung nach richtig, anders zu sampeln - wahrscheinliche Extremwerte zu überabtasten.Dann könnte eine Gewichtung gerechtfertigt sein.Aber Extremwerte zu gewichten, nachdem Sie Ihre Daten gesammelt haben, klingt wie das Erfinden von Daten, die Ihnen sagen könnten, was Sie sich erhoffen.Ich habe keinen guten Grund gehört, warum diese Werte stärker gewichtet werden sollten.
Es gibt auch andere Optionen.Die Quantilregression ist eine Technik, die darauf abzielt, bestimmte Quantile zu schätzen, z. B. extreme, und nicht die durchschnittliche Antwort.Aber das ist etwas anderes, als diese Extremwerte stärker zu gewichten.
Re: Modelle mit GewichtHallo Dale
Meine Idee war, die Gewichtsfunktion wegen der kleinen Stichprobengröße zu verwenden. Ich habe versucht, der Reaktion mit niedrigen und hohen Werten mehr Bedeutung zu verleihen.Re: Modelle mit GewichtIch denke, es wäre hilfreich, wenn Sie weitere Details zu den Merkmalen in Ihren Daten und möglicherweise ein Beispiel einiger Daten angeben würden.Im Allgemeinen halte ich es für seltsam, eine Analyse zu gewichten, es sei denn, die Gewichtungen sind eindeutig angemessen, wie z.Der andere Ort, an dem Gewichtungen angebracht wären, ist, wenn Sie eine Regressionsanalyse durchführen und Heteroskedastizität vorhanden ist.Aber ich denke, dass die Verwendung von Gewichten in einem zufälligen Wald eine seltsame Sache ist.Ich bin mir nicht sicher, warum Sie die Anzahl der Features reduzieren müssen, indem Sie eine zufällige Gesamtstruktur verwenden. Die Validierung sollte eine Überanpassung verhindern, und die Technik sollte sich auf die relevantesten Features konzentrieren.Ohne mehr Kontext darüber, warum Sie Gewichtungen verwenden, bin ich skeptisch gegenüber der Anwendung einer Gewichtungsfunktion, da sie ein besser passendes Modell bietet.
