Validierung und GewichtungIch arbeite mit einer Datei mit ungefähr 8500 Datensätzen, von denen ungefähr 100 den Antwortvariablenwert Y und der Rest den Wert N haben.Ich führe ein Partitionsmodell für die Antwortvariable Y aus und füge dann verschiedene X-Faktoren hinzu.Angesichts der relativ geringen Anzahl von „Antworten“ habe ich bei der Verwendung dieses Modells zwei Fragen.
1) Soll ich die Antwortvariablen mithilfe der bedingten Formatierung gewichten (Hinzufügen einer neuen Spalte)?
2) Welchen Prozentsatz sollte ich für den Validierungsanteil verwenden (20 %, 30 % ...)?
Betreff: Validierung und GewichtungSensitivität und Spezifität sind wahrscheinlich bessere Messgrößen.Betreff: Validierung und GewichtungDanke.Und wenn Sie von relativer Übereinstimmung sprechen, wie würden Sie das am besten beurteilen? Ähnliche R2-Werte für Training und Validierung?
Tom
Betreff: Validierung und GewichtungVersuchen Sie nicht, zu viel zu optimieren, sonst überfordern Sie Ihren Validierungssatz.Wählen Sie einfach eine Einstellung, die zu einer relativen Übereinstimmung zwischen Trainings- und Validierungssatz führt, und machen Sie mit.
Betreff: Validierung und GewichtungTolle Infos, werde das einbauen.Nachdem ich nun verschiedene Validierungsanteile sowohl gewichtet als auch ungewichtet durchgeführt habe, erhalte ich erwartungsgemäß leicht unterschiedliche Ergebnisse.Auf welche statistischen Faktoren sollten Sie bei der Auswahl der besten Ergebnisse aus der Modellierung am meisten achten?
Betreff: Validierung und Gewichtung@Chris_Kirchberg , Das ist wirklich cool und genau das, was ich mir vorgestellt habe.Habe heute etwas Neues gelernt.
Betreff: Validierung und GewichtungMöglicherweise möchten Sie auch die Gewinnmatrix als Gewichtungsschema einbeziehen. Schauen Sie sich diesen Link an, um mehr zu erfahren:
https://www.jmp.com/support/help/13-2/Specify_Profit_Matrix.shtml
Hoffentlich hilft das.
Chris
Betreff: Validierung und GewichtungDas würde ich wahrscheinlich tun, obwohl ich denke, dass es ein wenig davon abhängt, welcher Klassifikator für Ihre Situation gut geeignet ist.Wenn Sie sicherstellen möchten, dass das Fehlen der „Y“-Antworten mit einer hohen Strafe verbunden ist, um sicherzustellen, dass Sie diese angemessen vorhersagen können, wäre das eine gute Idee.Ich bin kein Experte auf diesem Gebiet, aber ich würde wahrscheinlich mit verschiedenen Gewichtungen herumspielen und die Auswirkungen auf die Verwirrungsmatrix beobachten.
Betreff: Validierung und GewichtungDanke Cameron,
Ich habe zunächst 8 Faktoren, die das eingrenzen könnten.Würden Sie auch eine Gewichtung vorschlagen?
Betreff: Validierung und GewichtungFür diese Gesamtgröße würde ich eine Aufteilung von 70/30 zu 60/40 vornehmen.Du könntest beides ausprobieren.Wie viele Faktoren haben Sie?
