Wir waren sehr froh, dass wir in letzter Zeit so viel Interesse hatten Technisch ausgedrückt mit Model Screening, einer leistungsstarken neuen Funktion in JMP Pro 16. Wenn Sie Modelle erstellen, wissen Sie nie, welche Methode für einen bestimmten Datensatz am besten geeignet ist.
Mit Model Screening können Sie mehrere Ansätze gleichzeitig ausprobieren, die Modellleistung bewerten und das Modell mit der besten Leistung auswählen, einschließlich der Anpassung der Entscheidungsschwellen an Ihre Anforderungen. Diese leistungsstarke neue Funktion hat so viele Fragen generiert, dass wir sie nicht alle beantworten konnten. Deshalb sprechen wir sie in diesem Blog-Beitrag an. Sie können die Geschwindigkeit und Leistung von Model Screening in sehen diese Episode von Technically Speaking .
Kemal Oflus bereitet die Bühne für die Präsentation der Model Screening-Plattform.
Allgemeine Fragen
Wenn wir versuchen, nichtparametrische Modelle anzupassen, erreichen wir möglicherweise eine hohe Vorhersagbarkeit, verlieren jedoch die Interpretierbarkeit des Modells. Wie erreichen wir dieses Gleichgewicht zwischen Vorhersehbarkeit und Interpretierbarkeit bei realen Herstellungsproblemen?
In diesem Folge von Analytically Speaking , Galit Shmueli taucht mit ihrem vielzitierten Artikel in die Details dieses Themas ein, Erklären oder vorhersagen . Wir haben Metriken wie RSquare, die die Modellleistung dahingehend zusammenfassen, wie viel der Varianz durch das zugrunde liegende Modell erklärt werden kann. Ein Modell mit höherem RSquare ist technisch besser als ein niedrigeres. Die Modellinterpretierbarkeit bietet Einblick in die Beziehung zwischen den Eingaben und der Ausgabe. Ein interpretiertes Modell kann Fragen beantworten, warum die unabhängigen Merkmale das abhängige Attribut vorhersagen. Das Problem tritt auf, weil mit zunehmender Modellgenauigkeit auch die Komplexität des Modells auf Kosten der Interpretierbarkeit zunimmt. In diesem Fall hilft uns der JMP-Profiler bei der Visualisierung des zugrunde liegenden Modells, sodass wir das Fachwissen nutzen können, um die Richtigkeit und Machbarkeit des Modells zu überprüfen. Ein Modell mit weniger Parametern ist einfacher zu interpretieren. Das ist intuitiv. Ein lineares Regressionsmodell hat einen Koeffizienten pro Eingabemerkmal und einen Intercept-Term. Sie können beispielsweise jeden Begriff betrachten und verstehen, wie er zur Ausgabe beiträgt. Der Übergang zur logistischen Regression bietet mehr Leistung in Bezug auf die zugrunde liegenden Beziehungen, die auf Kosten einer Funktionstransformation in die Ausgabe modelliert werden können, die jetzt zusammen mit den Koeffizienten verstanden werden muss. Ein Entscheidungsbaum (von bescheidener Größe) kann verständlich sein. Ein verpackter Entscheidungsbaum erfordert eine andere Perspektive, um zu interpretieren, warum das Auftreten eines Ereignisses vorhergesagt wird. Die optimierte Mischung mehrerer Modelle zu einer einzigen Vorhersage kann möglicherweise nicht sinnvoll oder zeitnah interpretiert werden. Auch hier ist JMP Profiler das perfekte Werkzeug, um die von uns erstellten Modelle zu visualisieren und zu interpretieren.
Gibt es bei der Bewertung von Regressionsmodellen einen Standardbereich für eine gute RSquare-Metrik, der ein gutes Modell kennzeichnet, oder hängt dies vom Kontext ab?
Dies hängt vom Kontext ab. Wenn Sie versuchen, den Aktienmarkt vorherzusagen, sind 55% RSquare mehr als ausreichend im Vergleich zu dem Versuch, vorherzusagen, ob eine Herzklappe ausfällt.
Was ist der Unterschied zwischen dem Trainingssatz und dem Validierungssatz? Können Sie genauer erläutern, welche Art von Datenszenarien in diesen Sätzen enthalten sind?
Das Trainingsset verwenden wir, um aus Daten zu lernen (und das Modell zu erstellen). Der Validierungssatz dient dazu, das zu validieren, was wir aus dem Trainingssatz gelernt haben. Wenn genügend Daten vorhanden sind, empfiehlt es sich, auch einen Testdatensatz zur weiteren Optimierung des Modells zu haben und die Ergebnisse mit dem Validierungssatz zu validieren.
Gibt es einen Grund, PLS nicht zu verwenden?
Kein besonderer Grund, nur dass es schwieriger zu interpretieren ist und nicht wirklich für die Datensätze geeignet ist, die wir während des Webinars betrachtet haben.
Einige Assays weisen einen größeren Fehler auf. Gibt es eine Möglichkeit, den erwarteten Fehler in die Modelle einzugeben?
Wenn es sich um eine Frage zur Verwendung eines Klassifikators handelt, ist der Klassifizierungsschwellenwert standardmäßig auf 50% festgelegt. Abhängig von Ihren Umständen können Sie diesen Schwellenwert jedoch ändern.
Warum hatte die neuronale Boosting-Methode in Bezug auf die Kaffeeprobe eine geringere Probengröße als alle anderen Modelle (die miteinander identisch waren)? Hat der RSquare-Wert für neuronale Verstärkung durch die Auswahl geeigneterer Daten einen Vorteil erhalten?
Dies liegt daran, dass einige der ausgewählten Eingabefaktoren fehlende Werte hatten. Einige Algorithmen können mit den fehlenden Werten umgehen und verwenden daher den Rest der Informationen aus der gegebenen Beobachtung. Da neuronale Netze dies jedoch nicht können, ist eine geringere Anzahl von Beobachtungen in der Stichprobe enthalten.
Wie würde man die Parametereinstellungen mehrerer Modelle anpassen und vergleichen?
Die Modell-Screening- und Vergleichsplattformen bieten eine Möglichkeit, mehrere Modelle zu mitteln / zu kombinieren / zu aggregieren, sodass Sie ein Ensemble-Modell erstellen können, mit dem Sie dann die Parametereinstellungen optimieren können.
Es scheint, als ob dieser Prozess zu Überanpassungen neigen könnte. Wie würden Sie dies mit AIC vergleichen?
Die AIC-Werte für die entsprechenden Modelle werden im Abschnitt zur Zusammenfassung der einzelnen Modelle der Modell-Screening-Plattform dargestellt. Die Details in der Onlinehilfe Behandeln Sie dies und mehr im Modellvergleichsbericht.
Erfüllt der Datenwissenschaftler nicht eine wichtige Rolle, die JMP nicht übernehmen kann? Zum Beispiel kann der Datenwissenschaftler ein Gleichgewicht zwischen dem Erhalt von mehr True Positives (TP) und dem Risiko einer Erhöhung des FP bei einem Klassifizierungsproblem herstellen. Wie geht JMP mit diesem Kompromiss um und teilt ihn dem Modellierer mit?
Software kann nicht die Rolle eines Fachexperten (in diesem Fall des Datenwissenschaftlers) ersetzen, der die Brücke zwischen den Daten und den anwendbaren Anwendungsfällen bildet. Die von JMP bereitgestellten Tools und Berichte mit den Modellbewertungsmetriken (RSquare, angepasstes RSquare, Fehlklassifizierungsrate, Verwirrungsmatrix und vor allem der Profiler) erleichtern jedoch die Kommunikation der Ergebnisse auf verschiedenen Ebenen der Organisation.
Fragen zu JMP-Funktionen
Können wir eine logistische Modellierung der Dosisreaktion in JMP durchführen?
Ja das Post in der Gemeinschaft und dies eins Weitere Informationen dazu erhalten Sie vom JMP-Partner Pega Analytics in JMP.
Können wir eine agentenbasierte Modellierung in JMP ausführen?
Zur Zeit nicht.
Kann der Benutzer Werte von Modellparametern angeben oder werden Standardwerte angenommen?
Die Modell-Screening-Plattform dient dazu, die optimalen Parametereinstellungen zu finden (z. B. die Anzahl der Bäume, verstärkte Schichten usw.). Sie können Interaktionsterme für lineare Modelle einfügen. Sobald das beste Modell (oder eine Reihe von Modellen) gefunden wurde, kann jedes Modell weiter angepasst werden.
Gibt es eine Validierungsspalte in Ihrem Arbeitsblatt? Wird dies automatisch ausgefüllt?
Wenn Sie eine Validierungsspalte haben, können Sie diese verwenden. Wenn nicht, bietet JMP mehrere Möglichkeiten zum Erstellen einer Validierungsspalte. Sehen Optionen wie man das macht.
Gibt es eine Möglichkeit, eine Modellanalyse (z. B. Prediction Profiler) für ein in Python erstelltes Modell abzurufen, wenn ich die Daten und Vorhersagen in JMP einfüge?
Das Excel JMP-Add-In enthält einen Excel-Profiler, der nur für in Excel erstellte Modelle verwendet werden kann. JMP kann jedoch Ihre Python-, R- oder MATLAB-Skripte ausführen und / oder Daten hin und her austauschen, sofern Sie Zugriff auf die Software haben.
Was ist mit dem Erstellen benutzerdefinierter Variablen, die in einem aus Rohdaten erstellten Modell am besten funktionieren? Behandelt diese Plattform dies oder ist es notwendig, diese zuerst zu erstellen, um sie als Eingaben zu haben?
Die Model Screening Platform verwendet die Daten unverändert. Wenn Sie der Meinung sind, dass es einige zusammengesetzte Variablen wie Hauptkomponenten geben sollte, müssen diese separat erstellt werden. Einfache Interaktionsvariablen wie a * b oder quadratisch können über das Kontrollkästchen im Dialogfeld ausgewählt werden. Außerdem entspricht jeder Knoten im neuronalen Netzwerk einer zusammengesetzten Variablen, die möglicherweise eine physikalische Bedeutung hat (aber wir haben auch hier keine Kontrolle darüber).
Kann JMP ein in R oder Python erstelltes Modell integrieren?
Wenn Sie über ein R- oder Python-Skript verfügen, das ein Modell zur Vorhersage der Ergebnisse verwendet, können Sie das R / Python-Skript von JMP ausführen lassen und die Ergebnisse bei Bedarf als neue Spaltenvariable verwenden. Diese weißes Papier "JMP-Synergien: Verwenden von JMP und JMP Pro mit Python und R" ist eine großartige Ressource.
Haben Sie JMP überhaupt für Textdaten verwendet?
JMP verfügt über eine integrierte Text Explorer-Plattform. Diese Vortrag zum JMP Discovery Summit hat einige schöne beispiele und die Onlinehilfe gibt einen guten Überblick.
Wenn wir im Vorhersageprofiler das Verhalten von y gegenüber einem unserer x sehen, wird es festgestellt, wenn man bedenkt, dass es das einzige x ist, oder nimmt es das Verhalten an, wenn man weiß, dass es auch andere x im Modell gibt?
Der Profiler bietet eine Möglichkeit, die Beziehung zwischen mehreren Eingabevariablen und der gewünschten Ausgabevariablen zu untersuchen und zu optimieren. Die Eingangsvariablen können so eingerichtet werden, dass sie unabhängig voneinander sind oder miteinander interagieren. Diese Video zeigt, wie man den Profiler benutzt. Unser eigener Bradley Jones, Distinguished Research Fellow für Forschung und Entwicklung, hat dies geschrieben JMP Vorwort Artikel anlässlich des 30-jährigen Jubiläums des Profiler, einer unserer beliebtesten interaktiven Visualisierungen.
