Neuronale Netze und kleine Datensätze – welche Lösungen gibt es bei Validierung und prädiktiver Modellierung?Liebe Kolleginnen und Kollegen,
Diese Frage mag recht philosophisch sein und ich würde gerne die Meinung der Spezialisten erfahren, um Spekulationen zu vermeiden.
Wenn es um kleine Datensätze geht, zum Beispiel mit etwa 80–300 Instanzen (Zeilen), wäre es dann richtig, neuronale Netze im Allgemeinen anzuwenden? Wenn ja, dann:
- Welche Metriken sind für kategorische bzw. kontinuierliche Antworten am kritischsten?
- Welche Validierungsstrategie ist außer der K-fachen Kreuzvalidierung vorzuziehen? Oder nur K-fache Kreuzvalidierung?
Für Ihren Rat wäre ich Ihnen sehr dankbar.
Vielen Dank,
Michael
Qualitäts- und VerfahrenstechnikBetreff: Neuronale Netze und kleine Datensätze – welche Lösungen gibt es bei der Validierung und Vorhersagemodellierung?Die beiden obigen Antworten sind absolut AUSGEZEICHNET! Ich sage fast immer, dass die Größe keine Rolle spielt (eigentlich um die repräsentativen Aspekte hervorzuheben). Ich gebe ein konzeptionelles Beispiel. Ich frage, welches die bessere Stichprobengröße ist?
A. 10.000 bzw
B. 5
Das Problem, das nun aufgedeckt werden muss, sind die Schwankungen im Alltag. Bei den 10.000 Proben erfolgt die Entnahme an einem Tag, bei den 5 erfolgt die Entnahme von 1 Probe pro Tag über 5 Tage. Was ist also besser? ... klar.
Betreff: Neuronale Netze und kleine Datensätze – welche Lösungen gibt es bei der Validierung und Vorhersagemodellierung?Sie müssen sich IMMER Gedanken über die Größe des Datensatzes machen, solange es sich bei dem Datensatz um eine Stichprobe aus einer oder mehreren Populationen von Interesse handelt. Aber es ist nicht nur die Größe ... Größe beeinflusst das statistische Risiko, trägt aber wenig bis gar nichts zum Repräsentationsrisiko bei.
Warum muss man sich immer Gedanken über die Größe machen? Denn unabhängig von der Stichprobengröße besteht immer das Risiko von Fehlern vom Typ I oder Typ II. Ich erinnere mich, dass vor Jahren in einer Werbebroschüre für den Master of Science in Applied Mathematical Statistics am Rochester Institute of Technology „Statistik“ als „Wissenschaft der Entscheidungsfindung angesichts von Unsicherheit“ definiert wurde. Es handelt sich um diese Unsicherheit, die aus zwei Komponenten besteht: dem statistischen Risiko, das teilweise durch die Stichprobengröße beeinflusst/kontrolliert wird, und dem Repräsentationsrisiko. Die Stichprobengröße gibt nur Aufschluss über das statistische Risiko, nicht über das Repräsentationsrisiko.
Ein kleines, aber anschauliches Beispiel für das Zusammenspiel von statistischem Risiko und Repräsentationsrisiko: Angenommen, wir haben Unmengen (das ist ein unwissenschaftlicher Begriff für eine GROSSE Datenmenge) von Beobachtungen an der Pilotenausrüstung und im Maßstab und wir haben p-Werte, für die wir sterben können ... Alles andere als die absolute Gewissheit, dass wir ALLE wichtigen x-Variablen und keine der nicht einflussreichen Variablen in unserem Modell haben. ABER, und hier ist ein großes ABER, wir werden jetzt VORHERSAGEN über Herstellungsprozesse und den Herstellungsmaßstab treffen ... sagen wir, wir gehen vom Bechermaßstab (Pilotmaßstab) zum Schienenfahrzeugmaßstab (Fertigungsmaßstab). Und es stellt sich heraus, dass unsere Ergebnisse nicht einmal annähernd den Vorhersagen entsprechen. Dann hatte die Probengröße keine Bedeutung. Das Repräsentationsrisiko hat Sie stark in den Hintern gebissen.
Warum Menschen sich auf die Stichprobengröße konzentrieren und das Repräsentationsrisiko so gut wie ignorieren, ist für mich einfach umwerfend. Ich verstehe ... es ist einfach, über statistisches Risiko, Alpha, Beta, zu erkennende Unterschiede, Fehler vom Typ I und II zu sprechen, alles ist leicht zu verstehen, und wir haben jetzt Computer, die uns sagen, was wir brauchen Wissen Sie ... Sie brauchen diese lästigen ASQ/ANSI-Nachschlagetabellen nicht mehr.
Aber vergessen Sie NIEMALS das Repräsentationsrisiko ... schimpfen Sie los.
Betreff: Neuronale Netze und kleine Datensätze – welche Lösungen gibt es bei der Validierung und Vorhersagemodellierung?Das ist ein umfangreiches Thema und es ist nicht einfach, darauf zu reagieren.Ich würde nur sagen, dass es immer einen Versuch wert ist, Ihre Daten zu modellieren – aber je kleiner der Datensatz, desto bescheidener müssen Sie mit allem umgehen, was Sie zu finden glauben.Es gibt sicherlich keine kritische Anzahl von Beobachtungen, die aus einer bestimmten Anzahl von Variablen abgeleitet werden können – und je mehr Variablen Sie haben, desto mehr Beobachtungen sind erforderlich, um die Daten zu verstehen.Tatsächlich lohnt es sich, über das Gegenteil nachzudenken: Wenn Sie nur wenige Variablen haben, benötigen Sie nicht so viele Beobachtungen, um ein „vernünftiges“ Modell zu erstellen, aber das sollte keine Vertrauensquelle sein.Ganz im Gegenteil: Wenn Sie nur wenige Variablen haben, fehlt Ihnen ein Großteil (oder der größte Teil) des Bildes.Ein entscheidender Teil des Puzzles betrifft die Frage, wie viel theoretische Struktur Sie Ihren Daten auferlegen können.In den Naturwissenschaften gibt es oft eine gut entwickelte Theorie, die mehr oder weniger direkt zu einer Struktur für die Modellierung der Daten führt.In den Sozialwissenschaften trifft dies weitaus weniger zu.Aber das Fazit ist für mich, dass es keine Alternative gibt, als zu versuchen, Modelle zu erstellen (wenn Sie keine Modelle erstellen, worauf sollen dann Entscheidungen basieren?).Der Schlüssel liegt (für mich) darin, die Leistungsfähigkeit Ihrer Modelle nicht zu überbewerten, und dies hängt davon ab, wie viele Variablen und Beobachtungen Sie haben.
Betreff: Neuronale Netze und kleine Datensätze – welche Lösungen gibt es bei der Validierung und Vorhersagemodellierung?Du hast Recht. Und jetzt taucht eine neue Frage auf: Lohnt es sich, eine Reihe von Modellen für kleine Datensätze im Allgemeinen zu erstellen? Nicht nur NN. Ich habe Angst, in solchen Fällen eine prädiktive Modellierung vorzuschlagen.
Lassen Sie mich diese Frage bitte umformulieren: Welche Anzahl an Instanzen (Zeilen) und/oder Eigenschaften (Spalten) reicht aus, um eine Vorhersagemodellierung durchzuführen, ohne sich Gedanken über die Größe des Datensatzes machen zu müssen?
Danke
Betreff: Neuronale Netze und kleine Datensätze – welche Lösungen gibt es bei der Validierung und Vorhersagemodellierung?Was insbesondere Ihre Frage zu neuronalen Netzen betrifft, habe ich mit NN bei kleinen Datensätzen keinen großen Erfolg gehabt – ich denke, sie funktionieren im Allgemeinen am besten, wenn Sie viele Daten haben.Unabhängig davon würde ich jedoch vorschlagen, dass Sie verschiedene Vorhersagemodelle verwenden – Entscheidungsbäume, verstärkte Bäume, zufällige Wälder, logistische/multiple Regression usw.Ich würde diese im Hinblick auf ihre Genauigkeit vergleichen (unter Verwendung von ROC, R2, bestimmten Fehlklassifizierungen von Interesse usw.), aber auch im Hinblick darauf, welche Variablen sie als die wichtigsten identifizieren.Obwohl die Frage zwischen Vorhersage und Verständnis wichtig ist, denke ich, dass Vorhersage ohne Verständnis letztendlich weniger wertvoll sein wird als ein Modell, das Sinn macht.Es besteht keine Notwendigkeit, sich für eine Modellierungstechnik zu entscheiden – es ist einfach, sie alle auf denselben Daten auszuführen und das Ergebnis zu vergleichen bzw. gegenüberzustellen.
Betreff: Neuronale Netze und kleine Datensätze – welche Lösungen gibt es bei der Validierung und Vorhersagemodellierung?Das ist ein ausgezeichnetes Interview, danke @P_Bartell . Ich werde auch sein philosophisch ...Ich denke, dass prädiktive Modellierung das Verständnis der kausalen Zusammenhänge der interessierenden „Phänomene“ erfordert. Eine rationale Denkweise könnte so aussehen: Wir müssen herausfinden, wie wir die interessierenden Phänomene quantifizieren können (und ob die Messsysteme angemessen sind). Dann stellen wir Hypothesen auf, warum die Phänomene variieren (ich denke gerne, dass diese Hypothesen ihre Wurzeln in den Naturwissenschaften haben). Dies führt dazu, dass wir unsere Hypothesen durch gezielte Stichproben oder Experimente testen. Ja, die Hypothesen werden erstellt, bevor die Daten erfasst werden. Wenn Sie keine Hypothesen haben, können Sie zur Stimulation „Data-Mining“-Techniken verwenden Ihr Verstand, Hypothesen zu erstellen/entwickeln. Aus meiner Sicht wird ein Modell, das den vorliegenden Datensatz beschreibt (z. B. neuronale Netze), ohne Einsicht und Verständnis für die kausalen Zusammenhänge zu liefern, kein wirksames Vorhersagemodell sein.
Worte zum Leben: Alle Fragen, die beantwortet werden können, die für die Analyse zu verwendenden Tools, das Vertrauen in die zu ziehenden Schlussfolgerungen und die Fähigkeit, die Ergebnisse zu extrapolieren, hängen davon ab, wie die Daten erfasst wurden.
Betreff: Neuronale Netze und kleine Datensätze – welche Lösungen gibt es bei der Validierung und Vorhersagemodellierung?Das Gespräch über die Kreuzvalidierung überlasse ich anderen. Hier ist meine Meinung zur Anwendbarkeit neuronaler Netze, und ich werde auch philosophisch sein. Ich denke, die Frage der Anwendbarkeit ohne Kontext in Bezug auf das vorliegende praktische Problem, die Daten (ist der Datensatz breit/eng, multikollinear usw.), die statistischen und repräsentativen Risiken sowie der Endanwendungsfall für das Modell werden alle eine Rolle spielen einen größeren Einfluss auf die Anwendbarkeit der Methode als allein die reine Stichprobengröße.
Zum Beispiel: Was ist der Zweck der Studie? Vorhersage oder Erkundung? Gibt es die Möglichkeit für zusätzliche Studien ... vielleicht im Rahmen geplanter Experimente? Und weiter und weiter.
Für einen aufschlussreichen Kommentar zum Konstrukt „Vorhersage vs. Exploration“ schlage ich einen Blick auf Folgendes vor:
https://www.jmp.com/en_us/events/ondemand/analytically-looking/to-explain-or-predict-that-is-the-question.html
