Konzeptionelle Frage zur ValidierungIch hoffe, dass Personen mit besseren statistischen Kenntnissen als ich diese Frage klären können. JMP bietet robuste Validierungsfunktionen für alle prädiktiven Modelle, einschließlich Kreuzvalidierung (jedoch nicht in der Fit Model-Plattform, außer der Möglichkeit, einen Validierungssatz zu verwenden). Datenwissenschaftler partitionieren ihre Daten routinemäßig in Trainings- und Validierungsdatensätze (und manchmal auch Testdatensätze). Die meisten veröffentlichten Arbeiten mit traditionellen statistischen Methoden (multiple Regression, logistische Regression) verwenden jedoch keine Validierung. Ich habe mich gefragt, warum das so ist. Mögliche Gründe hierfür sind: (1) Statistische Signifikanz wird als Grund für die Notwendigkeit einer Validierung angesehen; (2) historische Praxis, die sich nur langsam ändert; (3) der Schwerpunkt liegt auf Inferenz und nicht auf Vorhersage (entsprechend Briemans zwei Kulturen). Ich verstehe jedenfalls keine Begründung für den Verzicht auf Validierung und würde daher gerne Ihre Meinung dazu hören.
Prädiktive Modellierung und maschinelles LernenBetreff: Konzeptionelle Frage zur ValidierungIch vermute, dass ein Großteil der mangelnden Validierung auf Ihre zweite Option zurückzuführen ist, insbesondere in Verbindung mit anderen Praktiken/Traditionen, die sich nur langsam ändern. Wenn wir die Vorstellung akzeptieren, dass die Wissenschaft dazu neigt, nur bedeutende Ergebnisse zu veröffentlichen , und wenn wir das Sprichwort „Veröffentlichen oder untergehen“ akzeptieren, dann entmutigen wir natürlich zumindest in geringem Maße ein äußerst gründliches Verständnis vor der Veröffentlichung. Dies könnte einen Teil der jüngsten Entdeckung erklären, dass viele wissenschaftliche Studien nicht duplizierbar sind . Meiner Meinung nach würde ich, wenn die wissenschaftliche Gemeinschaft Validierung bereitwilliger annehmen und eher bereit wäre, „banale“ Ergebnisse zu veröffentlichen, leichter reproduzierbare, aber vielleicht weniger aufregende Ergebnisse erwarten.
Ich könnte mich aber auch irren oder zu sehr verallgemeinern. Wie Sie bin ich an den Gedanken anderer interessiert.
Betreff: Konzeptionelle Frage zur ValidierungDefinieren Sie zunächst, was Sie unter Validierung verstehen. Eine Möglichkeit wäre, einen Datensatz aus einem Inferenzraum zu sammeln und ihn zufällig(?) zu partitionieren, sodass nur ein Teil zur Entwicklung eines Modells verwendet wird und der Rest dazu dient, zu prüfen, wie gut dieses Modell die Daten aus den zurückgehaltenen Daten vorhersagt. Dies mag zwar gängige Praxis sein, entspricht aber nicht meiner Vorstellung von Validierung (ich bin möglicherweise der Einzige, der diese Ansicht vertritt).
Ich bin überzeugt, dass ich zur echten „Validierung“ des Modells physische „Stichproben“ erstellen und bewerten muss, wie gut das Modell diese tatsächlichen Stichproben vorhergesagt hat. Für mich bedeutet Validierung, wie gut das Modell die Zukunft (veränderte Bedingungen) vorhersagt. Wenn Sie Ihre Studie gut genug konzipiert haben und einen ausreichend großen Inferenzraum abdecken (was sehr anspruchsvoll und ressourcenintensiv sein kann), sollte Ihr Modell bei zukünftigen Vorhersagen besser abschneiden.
Betreff: Konzeptionelle Frage zur ValidierungIch meine die erste Definition (die, die Ihnen nicht gefällt), und ich denke, das ist es, was in der Literatur als Validierung bezeichnet wird. Natürlich werden fast alle Modelle letztendlich für Out-of-Sample-Vorhersagen verwendet, und die Partitionierung wird zukünftigen veränderten Bedingungen nicht gerecht. Nichts wird dies tun (zumindest nicht perfekt). Letztendlich ist Ihre zweite Idee notwendig – selbst wenn Sie ein Modell im ersten Sinne „validiert“ haben, sollten Sie seine Leistung überwachen, um zu sehen, ob es gut genug funktioniert, um es weiterhin zu verwenden. Aber die meisten veröffentlichten Arbeiten (mit Ausnahme von Data-Science-Zeitschriften) führen nicht einmal die erste Art der Validierung durch, und ich frage mich, warum.
Betreff: Konzeptionelle Frage zur ValidierungIch stimme mit allem überein, was @statman und @Jed_Campbell beigetragen haben. Ich möchte nur hinzufügen, dass es vielleicht einen vierten „Grund“ gibt? Solange Modellvalidierung nicht als Voraussetzung für den erweiterten Problemlösungsprozess gelehrt wird, zu dem auch die Modellierung gehört, wird man in der Literatur kaum etwas davon finden. Nur ein weiteres Stück oder eine Konsequenz der „historischen Praxis, die sich nur langsam ändert“.
Betreff: Konzeptionelle Frage zur ValidierungHallo @dlehman1 ,
Vielen Dank für Ihre interessante konzeptionelle Frage. Generell stimme ich den bisherigen Kommentaren zu – dass es wichtig ist, zu definieren, was „Validierung“ in diesem Fall bedeutet. Ich würde jedoch sagen, dass Validierung beide Bedeutungen haben kann: eine Warteliste zur Verbesserung der Modellvorhersage sowie die Generierung neuer Stichproben, die die Vorhersagefähigkeit des Modells testen.
Meiner Meinung nach sind beide Maßnahmen wichtig und müssen durchgeführt werden – zum einen, um das Modell zu verbessern, und zum anderen, um sicherzustellen, dass das Modell funktioniert, insbesondere bei der Generierung neuer Stichproben, die sich in der Nähe der Grenzen des Parameterraums befinden, wo Modelle tendenziell weniger genau sind.
Der Grund, warum veröffentlichte Arbeiten tendenziell keine Validierung verwenden, liegt größtenteils an dem, was Sie und @Jed_Campbell kommentiert haben: Die historische Praxis ändert sich nur langsam – dies liegt jedoch eher an Einflüssen innerhalb der wissenschaftlichen Gemeinschaft, die eher auf die Suche nach einem signifikanten Ergebnis als nach einem robusten Modell drängen. Ich komme aus der Physik, und Physiker sind dafür bekannt, einfache Modelle für eine Situation zu erstellen und diese dann auf andere Situationen zu extrapolieren. Nehmen wir das einfache Pendel als Beispiel. Es bildet die Grundlage für fast alle grundlegenden physikalischen Probleme, ist in der Praxis jedoch nicht das beste Modell – es wurde so oft optimiert und geändert, damit das Modell auch in anderen nicht idealen Situationen funktioniert (denken Sie nur an die Notwendigkeit, den Elektronenspin in die Orbitalmechanik der elektronischen Zustände eines Atoms einzubeziehen).
Meiner Meinung nach ergibt dieses einfache Pendel kein besonders robustes Modell – aber es befriedigt das Interesse und den Wunsch, etwas Bedeutsames in den Daten zu finden. Sicher, es ist ein guter Anfang, und wir alle müssen irgendwo anfangen. Um jedoch ein breiteres, robusteres Modell zu entwickeln, das in allgemeineren Bereichen eingesetzt werden kann, ist eine Validierung in beiden diskutierten Definitionen erforderlich.
„Alltäglichere“ Ergebnisse könnten letztlich zu robusteren und besseren Modellen und besseren Vorhersagefähigkeiten in der Wissenschaft führen, aber es muss zu kulturellen Veränderungen in der wissenschaftlichen Gemeinschaft kommen und wahrscheinlich muss die Betonung auf spektakuläre und auffällige neue Erkenntnisse weniger stark in den Vordergrund gerückt werden.
Kurz gesagt, ich würde sagen, dass sich die historische Praxis nicht nur nur langsam ändert, sondern dass es auch einen kulturellen Wandel in der wissenschaftlichen Gemeinschaft darüber geben muss, welche und wie Ergebnisse in der Wissenschaft anerkannt werden sollten. Eine Art Neuausrichtung der Prioritäten.
DS
Betreff: Konzeptionelle Frage zur ValidierungDas habe ich anzubieten:
Die Literatur, wie sie entstanden ist, scheint in ihrer vergleichsweisen Vernachlässigung der wissenschaftlichen und logischen Aspekte des Problems unausgewogen zu sein. Dies war vielleicht zu erwarten, da viele der Autoren, obwohl begabte Mathematiker, sich offenbar nie mit der spezifisch pädagogischen Disziplin einer der Naturwissenschaften befasst, nie persönlich die Verantwortung für grundlegende Experimente übernommen und keine direkte Erfahrung mit der Art des betreffenden Materials haben…“
Sir Ronald Fisher, Colloq. Int. Hundert. Nat. Wissenschaftliche Forschung, Paris, Nr. 110: 13-19 (1962)
Betreff: Konzeptionelle Frage zur ValidierungDiese Sichtweise habe ich oft gehört, und ich stimme ihr grundsätzlich zu. Ich halte sie jedoch für unzureichend, wenn es um die Sozialwissenschaften geht. Viele Themen (die Auswirkungen von Mindestlöhnen, Wettbewerbspolitik, psychologische Auswirkungen der Nutzung sozialer Medien usw.) lassen sich wissenschaftlichen Experimenten nicht in gleicher Weise zugänglich machen wie die Naturwissenschaften. Das entschuldigt zwar nicht die Missachtung guter wissenschaftlicher Praxis, lässt aber eine (meiner Meinung nach große) Lücke hinsichtlich des Vorgehens in solchen Forschungsbereichen. Und ich denke, dies hängt mit der Frage der Validierung zusammen – meiner Meinung nach macht es die erste Validierungsart (randomisierte Partitionierung) in diesen Bereichen wichtiger (wenn auch nicht ausreichend, wie Sie bereits angemerkt haben).
Betreff: Konzeptionelle Frage zur ValidierungHallo @dlehman1 ,
Guter Punkt zu den Sozialwissenschaften. Es ist viel schwieriger, eine Versuchsplanung zu replizieren oder eine „neue Stichprobe“ zu generieren, ohne dass die vorherigen Durchläufe die späteren Antworten der Teilnehmer beeinflussen. Die Lebenserfahrung eines Menschen ist nie die gleiche wie die eines anderen.
Stellen Sie sich das Ganze doch einfach als Fragebogen für die Sozialwissenschaften vor. Stellen Sie der sozialwissenschaftlichen Community Fragen wie: Nutzen Sie bei der Recherche zu Ihrem Thema das Konzept der Validierung während der Analyse und Modellbildung? Warum setzen Sie Validierung ein oder nicht? Sind Sie mit der Praxis der Validierung vertraut? Offene Fragen bieten dem Befragten die Möglichkeit, weitere Informationen preiszugeben. Ich vermute, Sie werden eine Vielzahl unterschiedlicher Antworten erhalten, aber einige könnten sich als häufiger herausstellen – zumindest konzeptionell/allgemein und nicht im Detail.
DS
Betreff: Konzeptionelle Frage zur ValidierungHmmm, reicht es nicht aus, Fachexperten aus dem Bereich der Sozialwissenschaften in die Entwicklung der Umfrage oder des Stichprobenplans oder des DOE oder in die Interpretation der aus solchen Tools gewonnenen Daten einzubeziehen?
Warum sind sie nicht „ auf die gleiche Weise für wissenschaftliche Experimente zugänglich wie die Naturwissenschaften“? Zugegeben, die Messsysteme sind ziemlich anspruchsvoll, aber wie kann man dies durch die Validierung (das Zurückhalten einer Teilmenge von Daten) verbessern?
Betreff: Konzeptionelle Frage zur ValidierungIch finde das einen sehr merkwürdigen Kommentar. Nehmen wir an, wir wollen die Auswirkungen von Zöllen auf das BIP abschätzen. Experimente sind schwierig und teuer durchzuführen und brauchen Zeit – während der sich viele andere Dinge ändern (natürlich führen wir gerade ein solches Experiment durch!). Das unterscheidet sich deutlich von Experimenten in den Sozialwissenschaften. Dennoch gibt es solche Experimente in den Sozialwissenschaften, und manchmal gibt es natürliche Experimente, die genutzt werden können (wie beispielsweise bestehende Zollsysteme, die große Schwankungen aufweisen). Ich schließe Experimente in den Sozialwissenschaften also nicht aus, kann mir aber kaum vorstellen, dass Sie sie für genauso praktikabel halten wie in den Naturwissenschaften. Und ich sehe die Medizin irgendwo dazwischen – es gibt zwar viele randomisierte kontrollierte Studien, aber aus Kostengründen und aus ethischen Gründen sind diese in der Regel viel kleiner als wir es uns wünschen (wodurch viele wünschenswerte Subgruppenanalysen entfallen).
Sie fragen, wie Validierung die Dinge verbessern kann. Ich glaube nicht, dass sie ausreicht, um die idealen Experimente zu ersetzen, die Sie sich wünschen, aber ich halte sie für notwendig, wenn diese fehlen. Wenn das Modell mit den vorhandenen Daten nicht funktioniert, warum sollten wir dann glauben, dass es in Zukunft funktionieren wird?
Betreff: Konzeptionelle Frage zur ValidierungZweifellos bin ich seltsam und denke wahrscheinlich anders als Sie. Wenn Sie die Unterschiede zwischen enumerativen und analytischen Situationen verstehen, werde ich Ihnen sagen, dass ich dem analytischen Ansatz völlig zugeneigt bin (ich bin ein überzeugter Determinist). Ich verwende sowohl gerichtete Stichprobenziehung (basierend auf Hypothesen) als auch Experimente (mit Schwerpunkt auf der Erweiterung des Inferenzraums bei gleichzeitiger Erhöhung der Designpräzision). Ich bin weniger an erklärenden Studien als vielmehr an prädiktiver Modellierung interessiert (obwohl beides nützlich sein kann).
Kein Experiment ist „ideal“ (wir wüssten es sowieso nicht). Deshalb schlage ich dem Forscher immer vor (und empfehle ihm auch), mehrere verschiedene Experiment-/Stichprobenpläne zu entwickeln. Jeder Plan sollte auf den potenziellen Erkenntnisgewinn (z. B. was zugeordnet werden kann (Modell), was verfälscht ist, was eingeschränkt ist (Inferenz)) und den potenziellen Erkenntnisgewinn mit den benötigten Ressourcen vergleichen.
Ich möchte nicht über Politik diskutieren. Ich glaube, dass jede Wirkung eine Ursache hat. Die Disziplin ist mir egal. Jede Disziplin hat ihre Herausforderungen bei der Nutzung von Datenerfassungstools. Das ist keine Entschuldigung dafür, sie nicht zu nutzen.
