Willkommen zum ersten einer Reihe von Blogbeiträgen, in denen wir uns mit der Validierung in der Modellierung befassen. Bleiben Sie bei mir - ich verstehe, dass dies vielleicht nicht nach dem aufregendsten Thema klingt. Aber es ist DIE Schlüsselmethode, die moderne Datenanalyse möglich macht. Ohne Validierung sind ausgefeilte maschinelle Lernalgorithmen wie Support Vector Machines und neuronale Netze fast nutzlos. Und obwohl es als ziemlich „dummer“ Ansatz angesehen werden kann, der den Prozess des Lernens aus Daten massiv vereinfacht, muss es auch mit Sorgfalt angewendet werden, indem Sie Ihr bestes Verständnis des Prozesses oder Systems verwenden, das die Daten generiert hat. Das Verständnis der Validierung ist grundlegend für Ihren Erfolg im modernen Zeitalter der Datenanalyse.
In zukünftigen Beiträgen werden wir über die Grundlagen von Holdback und Kreuzvalidierung sprechen und wie einfach dies mit dem Tool „Validierungsspalte erstellen“ in JMP Pro ist. Wir werden einige Fallstudien aus Wissenschaft und Technik sehen, die die Notwendigkeit veranschaulichen, die Befitting Cross Validation (BCV) und die Befitting Bootstrap Analysis (BBA) sicherzustellen. Wir werden auch innovative Ansätze behandeln, einschließlich selbstvalidierter Ensemble-Modelle (SVEM) für kleinere Daten, wie z. B. entworfene Experimente. Hoffentlich werden Sie erkennen, warum JMP so einzigartig nützlich ist, um Wissenschaftlern und Ingenieuren die sichere Anwendung moderner Datenanalysen zu ermöglichen. Zuerst werden wir über die Notwendigkeit der Verallgemeinerbarkeit sprechen.
Generalisierbarkeit und die Replikationskrise
Das Thema dieser Reihe entstand aus Gesprächen mit Chris Gotwalt, JMP Chief Data Scientist, und Ron Kenett, Vorsitzender der KPA Group. Wir sprachen über Verallgemeinerbarkeit, wie sie ein formaler Prozess in der Statistik ist, aber auch Teil der menschlichen Natur.
Ron Kenett, Chairman of the KPA GroupRon Kenett, Vorsitzender der KPA-Gruppe
Ron: „Wir verallgemeinern die ganze Zeit. Aus unserer Erfahrung in einem Restaurant leiten wir ab, was unsere Erfahrung in einem anderen Restaurant derselben Kette sein wird. Oder wir leiten von einem Engineering-Projekt zum anderen ab.“
Chris Gotwalt, JMP Chief Data ScientistChris Gotwalt, leitender Datenwissenschaftler bei JMP
Chris: „Das ist Lernen. Das meiste davon passiert nicht in einer JMP-Datentabelle!“
In der akademischen Forschung war Reproduzierbarkeit schon immer wichtig: Es ist ein Eckpfeiler der Wissenschaft, dass es möglich sein sollte, die Ergebnisse einer Studie unabhängig zu replizieren. Es ist ein besonders heißes Thema, seit der Begriff „Replikationskrise“ Anfang der 2010er Jahre erstmals geprägt wurde, als einige ernsthafte Probleme in den Bereichen Psychologie und Medizin weithin erkannt wurden. Aber auch die Generalisierbarkeit steht in bestimmten Branchen im Vordergrund. Generalisierbarkeit verbessert die Reproduzierbarkeit.
Chris: „In einer regulierten Branche wie der Pharmaindustrie war es immer entscheidend zu wissen, dass eine Behauptung verallgemeinerbar ist und als „Wahrheit“ verteidigt werden kann. Es wäre in vielerlei Hinsicht kostspielig, wenn Ihr Medikament in der Allgemeinbevölkerung merklich weniger sicher oder wirksam ist, als Sie auf der Grundlage der Ergebnisse Ihrer klinischen Studie versprochen haben. Aber JMP-Anwender arbeiten häufiger in der industriellen Problemlösung und -verbesserung.“
Ron: „Wir haben Generalisierbarkeit als eine der acht Dimensionen definiert, die sich auf die Qualität von Informationen auswirken. Die Adressierung verbessert die Qualität der aus der Datenanalyse gewonnenen Informationen.“
Verallgemeinerbarkeit kann ignoriert werden, aber es ist immer noch ein hoher Preis, sie falsch zu machen. Wenn die Lösung, die Sie aus Ihren Experimenten geschlossen haben, nicht funktioniert, wenn Sie sie in die Produktion einführen, haben Sie wahrscheinlich teures Material, Herstellungszeit und all den Aufwand verschwendet, um das Problem erneut in der Forschung und Entwicklung lösen zu müssen. Umgekehrt, wenn Sie es richtig machen und von Ihren Lösungen überzeugt sind, können Sie Verschwendung vermeiden und das Innovationstempo beschleunigen.
Generalisierbarkeit in Modern Analytics
In der Welt der „kleinen“ Daten verwenden wir statistische Maße wie den p-Wert, um das Risiko von Schlussfolgerungen zu verstehen, die sich nicht verallgemeinern lassen. Diese Tools wurden erfunden, um es uns zu ermöglichen, eine kleine Datenstichprobe zu verwenden, um zuverlässige Erkenntnisse über die größere Bevölkerung oder das System zu gewinnen, das uns tatsächlich interessiert. Leider können p-Werte falsch interpretiert, missbraucht und sogar missbraucht werden.
Ron: „Viele Leute verstehen den p-Wert als die Wahrscheinlichkeit, dass eine Hypothese gilt, was irreführend ist. Die Art und Weise, wie es gelehrt wird, ist meistens richtig, aber die Art und Weise, wie es verwendet wird, ist meistens falsch.“
Trotz dieser Probleme und ihrer Verwicklung in die Ursachen der zuvor erwähnten Replikationskrise haben p-Werte Wissenschaftlern und Ingenieuren weitgehend gute Dienste geleistet. Bei größeren Datenmengen und neueren Modellierungsmethoden wie künstlichen neuronalen Netzen müssen wir verschiedene Werkzeuge in Betracht ziehen, um die Verallgemeinerbarkeit zu gewährleisten.
Ich hoffe, Sie schließen sich mir für den nächsten Beitrag in dieser Serie an, in dem wir dies anhand eines Beispiels aus Wissenschaft und Technik veranschaulichen werden. Wir zeigen Ihnen zunächst, wie Sie Befunde generieren, die NICHT verallgemeinern. Dank all der Schutzmaßnahmen, die die Entwickler eingerichtet haben, ist dies in JMP tatsächlich ziemlich schwierig. Dies ist hilfreich, um zu verstehen, wie die Tools in JMP Sie vor dieser Art von Problemen schützen und wie die Validierung es Ihnen erleichtert, Analysen vertrauensvoll anzuwenden.
