Viele Menschen haben das Gefühl, dass sie an so vielen Schulungen teilgenommen und viel Erfahrung in der tatsächlichen Arbeit gesammelt haben, aber warum sind meine Modellierungsergebnisse nicht ideal? Heute werden wir über die Methoden und Ideen der prädiktiven Modellierung in der Datenanalyse sprechen und Ihnen anhand kleiner Fälle helfen, mögliche Missverständnisse und Verzerrungen in der Methodik zu verstehen, damit Sie Modellierung und Analyse einfacher durchführen können.
Was ist prädiktive Modellierung?
Wenn es um prädiktive Modellierung geht, finden Freunde, die nicht viel darüber wissen, es möglicherweise undurchschaubar. Tatsächlich gibt es Vorhersagemodelle überall im Leben. Wenn wir beispielsweise morgens aufwachen und sehen, dass das Wetter bewölkt ist, sagen wir voraus, dass es heute regnen könnte. Dies ist eine einfache Vorhersage. Mit anderen Worten: Wenn ein Arzt einen Patienten mit verschiedenen Symptomen sieht, sagt er voraus, wie viel Prozent des Patienten wahrscheinlich eine Erkältung haben werden und wie viel Prozent der Krankheit der Patient selbst ist. Auch das ist eine Vorhersage.
Was sind der Kern und die Methoden der prädiktiven Modellierung?
Es gibt viele Methoden zur Vorhersagemodellierung. Zu den traditionellen Methoden gehören die Regressionsanalyse wie lineare Regression, polynomiale Regression, logistische Regression usw. sowie Strafmodelle wie Ridge-Regression, Lasso-Regression usw. Auf maschinellem Lernen basierende Modellierungsmethoden wie neuronale Netze, Support Vector Machines (SVM), Entscheidungsbäume, Random Forests, Boosted Trees und andere Methoden bieten Datenanalysten ausnahmslos viele Möglichkeiten.
Unabhängig davon, welche Art von Vorhersagemodellierung durchgeführt wird, geht es im Wesentlichen darum, das beste Modell zu finden, das die tatsächliche Situation wirklich wiederherstellen und ein echtes Gesetz entdecken kann. Aber in den meisten Fällen ist das vielleicht wichtigste Problem, mit dem wir konfrontiert sind: Wie kann man beurteilen, ob das Modell gut ist oder nicht? Gibt es eine Überanpassung? Das heißt, die kritischste Kernfrage des Vorhersagemodells ist, ob es das optimale Gleichgewicht zwischen Variation und Abweichung erreichen kann.
Was ist das Gleichgewicht von Variation und Abweichung? Laienhaft ausgedrückt muss das Modell nicht nur bei den zur Modellierung verwendeten Trainingssatzdaten eine gute Leistung erbringen, sondern auch eine bessere Leistung erbringen, wenn die von einer anderen Personengruppe gesammelten Daten verwendet werden. Wenn beispielsweise die erste Personengruppe dasselbe Arzneimittel einnimmt, kann die Wirksamkeit 80 % erreichen, was sehr gut zu sein scheint. Wenn jedoch eine andere Personengruppe das Arzneimittel einnimmt, beträgt die Wirksamkeit des Arzneimittels möglicherweise nur 30 % . Dies zeigt, dass der Effekt nicht so gut ist. Der tatsächliche Effekt sollte wie folgt aussehen: Wenn wir (theoretisch) unzählige Stichproben durchführen und jedes Mal hundert Personen beproben, sollte der Effekt in diesen unzähligen Stichproben sehr stabil sein und der Effekt jeder Stichprobe wird sehr gut sein. Der sogenannte gute Effekt bedeutet, dass der Modellvorhersageeffekt gut ist, der sogenannte stabile bedeutet, dass die Anzahl der Variationen gering ist, und die sogenannte Instabilität bedeutet, dass die Anzahl der Variationen groß ist.
Es klingt leicht zu verstehen, aber in der Praxis können wir nicht unzählige Stichproben erreichen. In den meisten Fällen gibt es nur eine Stichprobe. Wie kann man also eine Stichprobe verwenden, um die Stabilität des Modells zu bewerten? Dies erfordert den Einsatz von Kreuzvalidierungsmethoden.
Was ist Kreuzvalidierung? Nehmen wir zum Beispiel an, wir teilen die Menge in mehrere Teile auf, behalten einige davon als Trainingsdaten und behalten dann einen Teil als Verifizierungsdaten bei und extrahieren dann einige der anderen, um sie als Trainingsdaten zu verwenden. Kurz gesagt, jedes Datenelement wird zur Überprüfung herausgenommen, was als Kreuzvalidierung bezeichnet wird. Alle Daten zur Überprüfung sind keine Daten, die für die Modellierung verwendet werden, sodass die Ergebnisse überzeugender sind.
Wenn es beispielsweise zwei Punkte gibt, ist es sehr einfach, ein optimales Modell zu erstellen. Diese gerade Linie ist ein optimales Modell (die Abweichung ist gering, tatsächlich ist ihre Abweichung hier 0).
Wie aus der Abbildung ersichtlich ist, schneidet die grüne Linie in diesen Daten offensichtlich nicht so gut ab wie die rote Linie (große Abweichung). Wenn Sie jedoch Verifizierungsdaten hinzufügen und die blauen Daten die Verifizierungsdaten sind, werden Sie feststellen, dass die roten Daten möglicherweise nicht unbedingt so gut sind wie die grünen. In diesem Fall weist die rote Linie also eine kleine Abweichung, aber eine große Variation auf. Da Sie anscheinend nur in den Trainingsdaten den besten Anpassungseffekt haben, wenn Sie jedoch zu einem anderen Datenstapel (Validierungsdaten) wechseln, werden Sie feststellen, dass der Anpassungseffekt sofort schlechter wird. Es scheint, dass die Abweichung sehr klein ist, aber die Variation ist zu groß, also ist dies nicht das, was wir verfolgen. Was wir wirklich verfolgen, ist eine Variation, die klein sein muss, und die Abweichung muss klein sein oder sie zumindest dazwischen finden die beiden. Ein Kompromiss, und genau darum geht es bei der prädiktiven Modellierung. Um einen solchen Kompromiss zu finden, verwenden Sie im Allgemeinen eine Kreuzvalidierung. Um ein gutes Vorhersagemodell zu erstellen, sei es ein neuronales Netzwerk, ein Entscheidungsbaum, eine SVM usw., suchen wir daher tatsächlich nach einem solchen Kompromisspunkt.
Aus praktischer Sicht geht es bei der prädiktiven Modellierung hauptsächlich um die Bestimmung zweier Punkte.
- Bestimmen Sie, welche Variablen die Ergebnisse beeinflussen . Weil die Vorhersage Variablen finden muss, die vorhergesagt werden sollen. Wenn es beispielsweise hundert Variablen gibt, tragen dann alle diese hundert Variablen zur Vorhersage bei? Daher sollten Sie zunächst ermitteln, welche Indikatoren dazu beitragen.
- Welcher Zusammenhang besteht zwischen diesen beitragenden Indikatoren und den Ergebnissen? ?
Tatsächlich konzentrieren sich viele von uns in den meisten Fällen auf die erste, welche Variable das Ergebnis beeinflusst, aber tatsächlich achten nur wenige Menschen auf die tatsächliche Beziehung zwischen diesen Variablen und dem Ergebnis, insbesondere bei herkömmlichen Vorhersagemodellen. , wenn Sie Achten Sie nicht darauf, Sie werden feststellen, dass viele konstruierte Modelle tatsächlich ungültig sind. In dieser Hinsicht sind Methoden des maschinellen Lernens besser, da maschinelles Lernen Ihnen dabei helfen kann, einen optimalen Teilungspunkt zu finden, unabhängig davon, ob die Variablen linear oder nichtlinear sind.
Allerdings sind traditionelle Modelle in dieser Hinsicht etwas unterlegen, da die meisten traditionellen Modelle lineare Modelle sind und Nichtlinearität nicht direkt verarbeiten können. Herkömmliche Modelle wie die lineare Regression, die logistische Regression usw. verfolgen im Allgemeinen nur kleine Abweichungen, aber Methoden wie die Lasso-Regression und das elastische Netzwerk verfolgen nicht nur kleine Abweichungen, sondern auch kleine Variationen, die zwischen den beiden liegen können. Finden Sie eine Daher erfreuen sich diese Methoden heutzutage oft großer Beliebtheit, da sie das Gleichgewicht von Abweichung und Variation berücksichtigen.
Sind traditionelle Methoden der prädiktiven Modellierung also veraltet? Die Antwort ist negativ.
Neuronale Netze, Support-Vektor-Maschinen, Entscheidungsbäume, Random Forests, Boosted Trees und andere Methoden sind in der Tat hochmoderne Methoden, die viele Menschen gerne verfolgen, aber die traditionelle Modellierung wird dadurch nicht eliminiert. Es hat tatsächlich immer noch seine eigenen Vorteile.
Erstens können herkömmliche lineare Modelle auch nichtlineare Vorhersagen treffen, solange die Variablen entsprechend transformiert werden. Herkömmliche Modellierungsmethoden verwenden hauptsächlich einige lineare Modelle, von denen die meisten auf verallgemeinerte lineare Modelle zurückgeführt werden können und hauptsächlich einige lineare Unterscheidungen treffen. Methoden des maschinellen Lernens könnten bei der nichtlinearen Unterscheidung weitere Vorteile bieten. Dies bedeutet jedoch nicht, dass traditionelle Modelle nicht in der Lage sein müssen, diese nichtlinearen Unterscheidungen zu treffen. Wenn Sie beim Erstellen traditioneller Vorhersagemodelle die Variablen einfach direkt in die Software eingeben, können Sie natürlich nie eine nichtlineare Unterscheidung treffen, da das Modell selbst linear ist, was definiert wurde. Mit etwas Untersuchung und Transformation dieser Variablen kann jedoch immer noch eine nichtlineare Unterscheidung erreicht werden.
Zweitens ist das traditionelle Regressionsmodell sehr intuitiv. Im traditionellen Regressionsmodell können wir sehr klare Parameterschätzungen, P-Werte und andere Indikatoren sehen, die allen Sorgen bereiten. Wenn Sie das Modell auflisten möchten, ist es sehr einfach. Sie können alle Modelle direkt auflisten.
Im Gegensatz dazu ist es beim maschinellen Lernen, insbesondere beim Deep Learning usw., fast unmöglich, ein Modell aufzulisten (das bedeutet natürlich nicht, dass diese Modelle keine Formeln haben, sondern nur, dass sie zu kompliziert zum Auflisten sind). Es handelt sich also eher um einen Black-Box-Prozess. Die sogenannte Blackbox kann man sich wie eine Maschine vorstellen: Hier reingelegt man Fleisch, da kommt Wurst raus. Aber Sie wissen nicht, wie Sie es in der Mitte verarbeiten sollen. Vielleicht möchten Sie manchmal den Zwischenverarbeitungsprozess verstehen und werden feststellen, dass nur die Maschine die darin enthaltenen Dinge verstehen kann. Die Maschine weiß sehr gut, wie die Zwischenschritte Schritt für Schritt implementiert werden, aber wir können es nicht verstehen, weil es so ist zu kompliziert. Daher sehen wir oft nur einen Black-Box-Prozess, sodass wir keine eindeutige Formel nennen können.
Manchmal kümmern wir uns nicht um die Formel, sondern nur um den Vorhersageeffekt, aber manchmal, wenn Sie das Modell auflisten müssen (zum Beispiel müssen Sie ein Patent anmelden), wird es nicht klar beschrieben, wenn Sie es nicht klar beschreiben können schwierig sein, das Patent anzumelden. Zu diesem Zeitpunkt benötigen Sie möglicherweise oft eine klare Formel, die Ihnen hilft.
Zusammenfassend kann man nicht sagen, ob eine Methode veraltet ist. Eine Methode ist nicht veraltet oder überholt, sondern nur, ob sie geeignet ist oder nicht. Es ist nur so, dass bei der Anwendung einiger Methoden bestimmte Bedingungen gelten. Wann welche Methode zum Einsatz kommt, hängt meist von der tatsächlichen Situation ab. Beispielsweise hat maschinelles Lernen oft größere Vorteile, wenn es viele Variablen gibt.
Als nächstes betrachten wir anhand zweier kleiner Fälle tatsächlich die vergleichende Anwendung traditioneller Methoden und maschinellen Lernens.
Logistik zurückkehren VS neurales Netzwerk
Fall: Eine Studie analysierte die Einflussfaktoren von Bluthochdruck (binäre Variable, ja oder nein) und untersuchte Geschlecht, Alter und vier serologische Indikatoren, dargestellt durch A, B, C und D. Der Forscher plant, ein Vorhersagemodell zu erstellen, das die drei Variablen Alter, B und C verwendet. Für denselben Datensatz verwenden wir die logistische Regression bzw. das neuronale Netzwerk zur Modellierung und schauen uns dann die Endergebnisse an.
Zuerst verwenden wir die logistische Regression, um ein Vorhersagemodell zu erstellen und diese drei kontinuierlichen Variablen direkt in das Modell zu integrieren. Die Ergebnisse zeigen, dass die Fläche unter der ROC-Kurve 0,6023 beträgt, was tatsächlich ein relativ niedriges Ergebnis ist, was darauf hindeutet, dass das Modell möglicherweise so ist konstruiert hat keine große praktische Bedeutung.
Dann verwendeten wir die zweischichtige neuronale Netzwerktechnologie, um diese drei Variablen direkt zu integrieren (basierend auf den Ergebnissen des Trainingssatzes) und erhielten dann auch eine ROC-Kurve, die schließlich bei etwa 0,86 lag.
Den Ergebnissen nach zu urteilen, könnten Sie denken, dass neuronale Netze besser sind als logistische Regressionsvorhersagen. Tatsächlich ist diese Schlussfolgerung nicht sehr zuverlässig. Warum? Das hat viel mit dem Analytiker zu tun. Wenn Sie die Daten direkt in die Software eingeben, wird die Software natürlich linear arbeiten, da es sich bei der oben erwähnten traditionellen Regressionsmethode um ein lineares Modell handelt. Aber maschinelles Lernen kann am Ende den besten Anpassungseffekt und den besten Vorhersageeffekt finden. Tatsächlich ist das meiste maschinelle Lernen ein Prozess des kontinuierlichen Versuchs und Irrtums, bei dem die Ergebnisse ständig verglichen und ständig angepasst werden. So wie wir weiterhin versuchen, Fehler zu machen, können wir durch Versuch und Irrtum langsam ein besseres Ergebnis erzielen.
Nehmen wir die Daten gerade jetzt und analysieren sie als Statistiker erneut, scheinen diese drei Indikatoren tatsächlich bedeutungslos zu sein. Wenn wir also diese drei kontinuierlichen Daten direkt in die Analyse einbeziehen, scheint es, dass es wirklich keine Statistiken gibt. Das hat es wissenschaftliche Bedeutung, daher ist die ROC-Kurve relativ niedrig.
Doch was findet man, wenn man genauer hinschaut? Da zwischen den drei Variablen kein linearer Zusammenhang besteht, haben die Ergebnisse natürlich keine statistische Signifikanz. Wenn Sie die Klassifizierung verwenden, können Sie dies sehr deutlich erkennen.
Wenn Sie diese Variablen, die nicht linear miteinander verbunden sind, direkt in die logistische Regression einbeziehen, um ein lineares Modell zu erstellen, können Sie sich daher vorstellen, dass die erhaltenen Vorhersageergebnisse definitiv nicht ideal sind.
Wenn wir nicht die ursprünglichen Variablen einfügen, sondern die Klassifizierungsergebnisse erneut als Variablen in das Modell eingeben und weiterhin die logistische Regression zur erneuten Operation verwenden, werden Sie feststellen, dass die ROC-Kurve sofort 0,86 beträgt, was viel höher ist als die Gerade jetzt 0,6.
Warum? Da wir das Gesetz gefunden haben, handelt es sich bei den Variablen nicht um eine lineare, sondern um eine nichtlineare Beziehung. Nach einer solchen nichtlinearen Klassifizierung werden Sie feststellen, dass dies tatsächlich die tatsächliche Beziehung ist. Und sobald Sie die Beziehung gefunden haben, werden Sie feststellen, dass die Modellergebnisse viel idealer werden und der Vorhersageeffekt viel besser ist.
Daher müssen wir bei der Verwendung herkömmlicher Regressionsmodelle zum Erstellen von Vorhersagemodellen über mehr analytische Erfahrung verfügen. Andernfalls können Sie zu dem Schluss kommen, dass „traditionelle Modelle wirklich nicht so gut sind wie maschinelles Lernen und andere neue Technologien und nicht so gut wie Maschinen.“ „Gut lernen“ ist so eine Illusion. Tatsächlich ist das Wichtigste bei der Erstellung eines Modells in vielen Fällen nicht die Methode, sondern der Analytiker selbst. Oft sind die Probleme, die wir finden, nicht Probleme mit dem Modell selbst, sondern vielmehr, weil wir ihre wahren Gesetze noch nicht entdeckt haben.
Logistik zurückkehren VS Entscheidungsbaum
Vergleichen wir in ähnlicher Weise die logistische Regression und Entscheidungsbäume.
Immer noch der gleiche Fall oben. Nehmen Sie als Beispiel die Variable Alter. Wenn ein Entscheidungsbaum verwendet wird, wird das Alter direkt als kontinuierliche Variable in das Modell einbezogen und vom Entscheidungsbaum automatisch in drei Kategorien unterteilt.
Nach der Untersuchung haben wir festgestellt, dass es sinnvoller ist, es in drei Kategorien zu unterteilen. Schließlich stellten wir fest, dass die Ergebnisse unserer eigenen Untersuchung denen des Entscheidungsbaums ähnelten.
Natürlich erfordert diese Art der Analyse eine gewisse Erfahrung seitens des Analysten. Wenn Sie genügend Datenanalysearbeit geleistet haben, verfügen Sie natürlich über Erfahrung in dieser Modellierung und Analyse. Daher müssen Datenanalysten in der Lage sein, Modelle klar zu unterscheiden und festzustellen, ob sie richtig oder falsch sind. Andernfalls wird dies der Fall sein, wenn sie blind sogenannte fortschrittliche Methoden verfolgen und sich von der Realität trennen, nur um den passenden Effekt auf die Daten zu verfolgen bedeutungslos sein. von. Alle Modelle müssen auf der tatsächlichen Forschungssituation basieren und schließlich zur eigentlichen Analysearbeit zurückkehren und der tatsächlichen Arbeit dienen.
bezogen auf JMP interaktive prädiktive Modellierung
Was ist Interaktion? Generell bedeutet die Interaktion bei der Datenanalyse, dass der Computer jederzeit auf die Inhalte reagieren kann, die der Bediener jederzeit anpasst. Herkömmliche Software schreibt im Allgemeinen einen Befehl und gibt dann das Ergebnis aus. Wenn Sie andere Ergebnisse erhalten möchten, müssen Sie einen anderen Befehl schreiben. Es handelt sich um ein Befehl-zu-Ergebnis-Modell.
Aber JMP kann nicht nur von Befehlen zu Ergebnissen gelangen, sondern auch von Ergebnissen zu Befehlen. Diese beiden sind echte Interaktionen. Alle Vorgänge an den Daten werden direkt in den interaktiven Ergebnissen widergespiegelt, und umgekehrt werden alle Anpassungen der Ergebnisse auch direkt in der Datentabelle widergespiegelt. Darüber hinaus bietet JMP nicht nur verschiedene Plattformen für die traditionelle Regressionsanalyse wie die logistische Regression, sondern umfasst auch derzeit häufig verwendete Plattformen für maschinelles Lernen wie neuronale Netze, Zufallswälder, Entscheidungsbäume, verstärkte Bäume usw. und kann eine interaktive Visualisierung bereitstellen Diese Methode kann ohne Programmierung die verschiedenen Anforderungen von Wissenschaft und Industrie an grundlegende Analysen, explorative Datenanalysen und prädiktive Modellierung erfüllen.
JMP Starter options for Predictive Modeling.. From JMP Pro VIEW>JMP STARTER.JMP Starter options for Predictive Modeling.. From JMP Pro VIEW>JMP STARTER.JMP Starter options for Predictive Modeling.. From JMP Pro VIEW>JMP STARTER.JMP Starter options for Predictive Modeling.. From JMP Pro VIEW>JMP STARTER.JMP Starter-Optionen für Predictive Modeling. Von JMP Pro VIEW>JMP STARTER.
Wenn Sie mehr darüber erfahren möchten, wie die interaktive Vorhersagemodellierung von JMP Ihre eigentliche Arbeit besser unterstützen kann und wie Sie das wissenschaftliche Datenanalysedenken besser etablieren können, Willkommen zum Download Erleben Sie es selbst mit einer eintägigen kostenlosen Testversion von JMP.
