246456_de-DE

liliconcom

So erhalten Sie ein korrektes und prädiktives Modell

Hallo, ich brauche wieder deine Hilfe.

Ich habe kürzlich eine Analyse durchgeführt und der Inhalt ist einfach.
Es handelt sich um Daten mit 376 Zeilen, 223 Spalten und einem einzelnen Y-Wert.

Um das Y-Wert-Vorhersagemodell zu erhalten, habe ich „Anpassen – Modelle“ (Anpassung kleinster Quadrate – standardmäßige kleinste Quadrate / Effekt-Screening) verwendet und zuerst das R-Quadrat 0,95 erhalten, indem ich Zeile 1 bis 263 verwendet habe.

 

Ich habe die Vorhersageformel zur Spalte „Neu“ hinzugefügt und die Schätzungen der verbleibenden 264 bis 376 mit den tatsächlichen Messungen verglichen.

Daraus können Sie ersehen, dass bei neuen Daten ein größerer Fehler vorliegt als unten.

 

Ich frage mich, welche zusätzliche Arbeit ich leisten oder welche anderen Funktionen ich nutzen kann.

 

Ich habe meine Daten angehängt, danke.

 

(Zu Ihrer Information, X_1 dient nur der Nummerierung zur Indizierung)

Betreff: So erhalten Sie ein korrektes und prädiktives Modell@statman , @Tal

Danke für Ihre Rückmeldung.
Zunächst einmal handelt es sich, wie Sie sagten, um eine Zeitreihe.
Wie Sie erwähnt haben, habe ich die Korrelation überprüft und die Liste der Variablen auf 40 reduziert, und ich denke, ich habe einige zufriedenstellende Ergebnisse erzielt.
Da der „Y-Wert“ nicht in Echtzeit gemessen wurde, ist die Datenmenge nicht so groß, wie ich dachte, aber ich glaube, ich konnte die Ursache durch die Anwendung von Parallel Plot usw. ermitteln.Betreff: So erhalten Sie ein korrektes und prädiktives Modell

Bei der Frage nach dem „richtigen“ Vorhersagemodell gibt es zwei Denkrichtungen.

1. mathematische Modelle entwickeln, die ausschließlich auf Datenanalyse basieren (z. B. neuronale Netze, PCA)

2. Auf wissenschaftlicher Grundlage die Beziehungen zwischen Eingabevariablen und Ausgabevariablen verstehen (wie Deming das analytische Problem nannte)

 

Da ich deterministisch bin, bevorzuge ich den zweiten Ansatz. Dies beginnt mit der Aufstellung von Hypothesen über die Beziehungen zwischen Inputs und Outputs. Es erfordert ein Verständnis der Schlussfolgerung (unter welchen Bedingungen soll das Modell wirksam sein). Dann der entsprechende „Probenahmeplan“ zur Datenerfassung (gezielte Probenahme oder Experiment). Natürlich können Sie historische Daten untersuchen, aber nur, um Hypothesen zu entwickeln, die dann überprüft werden müssen.

 

Ihrem Datensatz fehlt jeglicher Kontext (wie Dale vorschlägt). Die Spalten haben keine „Bedeutung“, sondern nur Zahlenspalten. Ich bin mir nicht sicher, warum Dale denkt, dass es sich um eine Zeitreihe handelt, da ich in den Daten keine Zeiten oder Daten sehe? Daher bleibt die Erstellung des richtigen Vorhersagemodells der oben genannten Option 1 überlassen.Wenn Sie alle Spalten (224) einbeziehen und „Modell anpassen“ ausführen, erhalten Sie Rsquare Adj von 0,59 und Rsquare von 0,83. Diese Werte sind viel zu unterschiedlich, was darauf hindeutet, dass Sie das Modell überspezifiziert haben (unwichtige Begriffe sind im Modell enthalten). Wenn Sie sich die VIFs (Tabelle der Parameterschätzungen) ansehen, liegen viele über dem Schwellenwert von >5 (oder >10), was ein Maß für Multikollinearität ist.Daher muss das Modell reduziert werden. Es gibt jedoch keine Erkenntnisse darüber, wie dies zu bewerkstelligen ist, da es keinen Kontext gibt.

Betreff: So erhalten Sie ein korrektes und prädiktives Modell

Sie müssen mehr Kontext zu diesen Variablen bereitstellen – das sind viele potenzielle erklärende Variablen, und sie scheinen stark miteinander korreliert zu sein (was mich zu der Annahme veranlasst, dass Sie vielleicht so etwas wie eine Prinzip-Komponenten-Analyse versuchen sollten, um die Merkmale zu reduzieren). .Außerdem sieht es so aus, als handele es sich um Zeitreihendaten – in diesem Fall sollten Sie sie als solche analysieren.Schließlich verhalten sich die ersten 263 Zeilen sicherlich anders als die folgenden. Unabhängig davon, wie gut Ihr Modell in diesen Zeilen ist, ist es unwahrscheinlich, dass dieses Modell den Trend vorhersagt, der plötzlich nach dieser Zeile auftritt.Ich möchte mich darauf konzentrieren, ob einer der Prädiktoren diese Änderung im Muster erkennen kann.Es ist unwahrscheinlich, dass Sie dies feststellen können, indem Sie nur die 263 Zeilen modellieren, die diesen Trend nicht aufweisen.Sie haben Ihre Daten also gewissermaßen in Trainings- und Testdatensätze aufgeteilt, aber Ihr Trainingssatz sieht ganz anders aus als Ihre Testdaten – das ist keine gute Möglichkeit, ein Modell für die Testdaten zu erstellen.Ein besserer Ansatz wäre die zufällige Auswahl der Trainings- und Testdaten (Verwendung einer Validierungsspalte).Aber handelt es sich in erster Linie um Zeitreihendaten (so sieht es für mich aus)?

Betreff: So erhalten Sie ein korrektes und prädiktives Modell

Plus, ' Die Ergebnisse der Effektzusammenfassung zeigen, dass PValue 223 Rankings repräsentiert, von der kleinsten bis zur größten.

Ich frage mich, welche Kriterien Sie unterscheiden können, wenn Sie versuchen zu ermitteln, welche Variablen Sie bei der Erstellung eines Vorhersagemodells ausschließen können.

Top 30 % verwenden? oder unter P-Wert 0,05?