Willkommen zum ersten Teil einer Reihe von Blogbeiträgen, in denen wir uns mit der Validierung in der Modellierung befassen. Bleiben Sie bei mir – ich verstehe, dass dies möglicherweise nicht das aufregendste Thema ist. Aber es ist DIE Schlüsselmethode, die moderne Datenanalysen ermöglicht. Ohne Validierung sind ausgefeilte maschinelle Lernalgorithmen wie Support-Vektor-Maschinen und neuronale Netze nahezu nutzlos. Und obwohl es sich um einen ziemlich „dummen“ Ansatz handelt, der den Prozess des Lernens aus Daten enorm vereinfacht, muss er auch mit Vorsicht angewendet werden und Ihr bestes Verständnis des Prozesses oder Systems nutzen, das die Daten generiert hat. Das Verständnis der Validierung ist für Ihren Erfolg im modernen Zeitalter der Datenanalyse von grundlegender Bedeutung.
In zukünftigen Beiträgen werden wir über die Grundlagen von Holdback und Kreuzvalidierung sprechen und wie einfach dies mit dem Tool „Validierungsspalte erstellen“ in JMP Pro ist. Wir werden einige Fallstudien aus Wissenschaft und Technik sehen, die die Notwendigkeit veranschaulichen, eine angemessene Kreuzvalidierung (BCV) und eine angemessene Bootstrap-Analyse (BBA) sicherzustellen. Wir werden auch modernste Ansätze behandeln, einschließlich selbstvalidierter Ensemblemodelle (SVEM) für kleinere Datenmengen, wie zum Beispiel geplante Experimente. Hoffentlich werden Sie erkennen, warum JMP auf einzigartige Weise dazu beiträgt, Wissenschaftlern und Ingenieuren die sichere Anwendung moderner Datenanalysen zu ermöglichen. Zunächst werden wir über die Notwendigkeit der Generalisierbarkeit sprechen.
Generalisierbarkeit und die Replikationskrise
Das Thema dieser Serie entstand aus Gesprächen mit Chris Gotwalt, JMP Chief Data Scientist, und Ron Kenett, Vorsitzender der KPA Group. Wir haben über Generalisierbarkeit gesprochen, darüber, dass es sich hierbei um einen formalen Prozess in der Statistik, aber auch um einen Teil der menschlichen Natur handelt.
Ron: „Wir verallgemeinern ständig. Aus unserer Erfahrung in einem Restaurant leiten wir ab, wie unsere Erfahrung in einem anderen Restaurant derselben Kette sein wird. Oder wir schließen von einem Ingenieurprojekt auf ein anderes.“
Chris: „Das ist Lernen. Das meiste davon passiert in einer JMP-Datentabelle nicht!“
Chris Gotwalt, JMP Chief Data ScientistChris Gotwalt, JMP Chief Data Scientist
Ron Kenett, Chairman of the KPA GroupRon Kenett, Vorsitzender der KPA Group
In der akademischen Forschung war Reproduzierbarkeit schon immer wichtig: Es ist ein Eckpfeiler der Wissenschaft, dass es möglich sein sollte, die Ergebnisse jeder Studie unabhängig zu reproduzieren. Es ist ein besonders heißes Thema, seit der Begriff „Replikationskrise“ Anfang der 2010er Jahre erstmals geprägt wurde, als einige schwerwiegende Probleme in den Bereichen Psychologie und Medizin weithin erkannt wurden. Aber auch die Generalisierbarkeit steht in bestimmten Branchen im Vordergrund. Generalisierbarkeit verbessert die Reproduzierbarkeit.
Chris: „In einer regulierten Branche wie der Pharmaindustrie war es immer wichtig zu wissen, dass eine Behauptung verallgemeinerbar ist und als „Wahrheit“ verteidigt werden kann. Es wäre in vielerlei Hinsicht kostspielig, wenn Ihr Medikament in der Allgemeinbevölkerung deutlich weniger sicher oder wirksam wäre, als Sie es aufgrund der Ergebnisse Ihrer klinischen Studie versprochen haben. Aber JMP-Benutzer arbeiten häufiger an der Lösung und Verbesserung industrieller Probleme.“
Ron: „Wir haben Generalisierbarkeit als eine der acht Dimensionen definiert, die die Qualität von Informationen beeinflussen. Die Behebung dieses Problems verbessert die Qualität der aus der Datenanalyse gewonnenen Informationen.“
Die Verallgemeinerbarkeit kann ignoriert werden, es ist jedoch immer noch mit hohen Kosten verbunden, etwas falsch zu machen. Wenn die Lösung, die Sie aus Ihren Experimenten gezogen haben, nicht funktioniert, wenn Sie sie in die Produktion bringen, dann haben Sie wahrscheinlich teures Material, Herstellungszeit und den ganzen Aufwand verschwendet, weil Sie das Problem noch einmal in der Forschung und Entwicklung lösen müssen. Umgekehrt können Sie, wenn Sie es richtig machen und von Ihren Lösungen überzeugt sind, Verschwendung vermeiden und das Innovationstempo beschleunigen.
Generalisierbarkeit in der modernen Analytik
In der Welt der „kleinen“ Daten verwenden wir statistische Maße wie den p-Wert, um das Risiko zu verstehen, Schlussfolgerungen zu ziehen, die sich nicht verallgemeinern lassen. Diese Tools wurden erfunden, um es uns zu ermöglichen, anhand einer kleinen Datenstichprobe zuverlässige Erkenntnisse über die größere Bevölkerung oder das System zu gewinnen, die uns tatsächlich am Herzen liegen. Leider können p-Werte falsch interpretiert, missbraucht und sogar missbraucht werden.
Ron: „Viele Menschen verstehen den p-Wert als die Wahrscheinlichkeit, dass eine Hypothese zutrifft, was irreführend ist. Die Art und Weise, wie es gelehrt wird, ist größtenteils richtig, aber die Art und Weise, wie es verwendet wird, ist größtenteils falsch.“
Trotz dieser Probleme und ihrer Beteiligung an den Ursachen der Replikationskrise, die wir zuvor erwähnt haben, haben p-Werte Wissenschaftlern und Ingenieuren weitgehend gute Dienste geleistet. Bei größeren Datenmengen und neueren Modellierungsmethoden wie künstlichen neuronalen Netzen müssen wir verschiedene Werkzeuge in Betracht ziehen, um die Generalisierbarkeit sicherzustellen.
Ich hoffe, Sie folgen mir beim nächsten Beitrag dieser Reihe, in dem wir dies anhand eines Beispiels aus Wissenschaft und Technik veranschaulichen. Wir zeigen Ihnen zunächst, wie Sie Erkenntnisse generieren, die NICHT verallgemeinern. Dank aller Schutzmaßnahmen, die die Entwickler eingerichtet haben, ist dies in JMP tatsächlich ziemlich schwierig. Dies wird hilfreich sein, um zu verstehen, wie die Tools in JMP Sie vor solchen Problemen schützen und wie die Validierung es Ihnen erleichtert, Analysen sicher anzuwenden.
Erfahren Sie mehr:
Ich freue mich sehr darauf, aus dieser Serie zu lernen.
Mir kommt es so vor, als würde ich einen interessanten Dokumentarfilm aus dem Fernsehen sehen!
Wenn man bedenkt, dass es sich hier um einen Beitrag zur Generalisierbarkeit handelt, halte ich die Aussage „p-Werte haben Wissenschaftlern und Ingenieuren weitgehend gute Dienste geleistet“ für etwas irreführend. p-Werte können (wohl) nützlich sein, um über die Generalisierbarkeit einer Stichprobe auf die Population nachzudenken, aus der sie gezogen wurde. Aber viele, wenn nicht die meisten Anwendungen beinhalten die Verallgemeinerung einer Stichprobe auf eine etwas andere Population – einen anderen Zeitraum, einen anderen Ort, andere Personen usw. p-Werte nützen in solchen Situationen niemandem wirklich, ohne die Annahme, dass die Die Population, über die Sie Schlussfolgerungen ziehen, ist im Wesentlichen dieselbe wie die Population, aus der die Stichprobe gezogen wurde. Diese Annahme mag für ingenieurwissenschaftliche Kontexte sinnvoll sein, für die Sozialwissenschaften jedoch weniger. Allzu häufig wird die Eignung der Stichprobe für die Grundgesamtheit, für die Schlussfolgerungen gezogen werden, dadurch beschönigt, dass man sich darauf verlässt, dass der p-Wert irgendwie dafür sorgt.
