444726_de-DE

liliconcom

Shapley-Werte für Vorhersagemodelle

Das Verständnis des Beitrags einzelner unabhängiger Variablen in einem Vorhersagemodell wäre von unschätzbarem Wert. Derzeit können wir den Beitrag und/oder die Wirkung einer Variablen auf ein Modell über den Vorhersageprofiler ableiten, was großartig ist, aber um den Beitrag quantifizieren zu können – und den Beitrag nach und nach quantifizieren zu können -Reihenbasis, wäre die nächste Ebene. Diese Funktion wurde speziell von Kunden in der O&G-Industrie gefordert, aber ihre Anwendung ist allgegenwärtig. Diese Werte lassen sich leicht mit Tools wie Python und R erfassen. Sie in der Point-and-Click-Umgebung von JMP verfügbar zu machen, würde uns weiter von unseren Mitbewerbern abheben. Ich wurde von mehreren Kunden gefragt, wie man einzelne Beiträge unabhängiger Variablen auf quantifizierbare Weise erhalten kann, und mehrere fragen speziell nach Shapley-Werten.

Statistik und AnalytikBetreff: Shapley-Werte für Vorhersagemodelle

@mia_stephens Das Konto, mit dem ich zuletzt zusammengearbeitet habe, ist Continental Resources (Kendall Sizemore wäre mehr als bereit, darüber zu plaudern), aber ich habe ähnliche Anfragen von anderen O&G-Kunden (Murphy, Oxy) erhalten, die etwas zurückhaltender sind . Sie zitieren viele Arbeiten von Novi Labs, einem ML-Dienstleistungsunternehmen in der O&G-Branche. Die Methode, die wir derzeit in JMP ausführen können, wurde von entwickelt @kemal_oplus --wobei Sie die skalierten Schätzungen aus einem linearen Modell verwenden, das die Abweichung eines ML-Modells (die Differenz der durchschnittlich vorhergesagten Antwort vom ML-Modell von den tatsächlichen Antworten) unter Verwendung standardisierter Prädiktoren vorhersagt. Sie können die skalierten Schätzungen in GB darstellen, um eine „Gewichtung“ eines gegebenen Faktors für eine Antwort zu erhalten. Dies sagt Ihnen letztendlich, ob ein bestimmter Faktor das Modell positiv oder negativ beeinflusst (was großartig ist), aber es kann nicht auf einen zeilenweisen Effekt heruntergebrochen werden, noch kann es direkt auf das ML-Modell angewendet werden, da skalierte Schätzungen in NN nicht verfügbar sind. BS usw.

Ein großartiger Erklärer, der die Mathematik beinhaltet: https://christophm.github.io/interpretable-ml-book/shapley.html

Shapley-Erklärer: https://www.youtube.com/watch?v=-taOhqkiuIo&ab_channel=MicrosoftDeveloper

Ein paar Screenshots von Kemals Verfahren:

skalierte Schätzungen aus einem Modell, das auf standardisierten Faktoren basiert, die die durchschnittliche Abweichung des ML-Modells vorhersagen

Divergenz eines einzelnen Faktors (ein Frac-Fluid-Parameter)

 

 

 

Betreff: Shapley-Werte für Vorhersagemodelle

@Peter_Polito und @nick_shelton , haben wir namentlich genannte Kunden/Konten, die wir auflisten können, oder Kunden, mit denen wir sprechen können (falls erforderlich)?

Peter, kannst du bitte die von dir entwickelte Methode und deine Beispielausgabe teilen? Auch Lieblingsreferenzen zum Thema, falls Sie welche haben.

Ich werde diese Informationen zu Jira hinzufügen.

Danke schön!

Mia

Betreff: Shapley-Werte für Vorhersagemodelle

Shapley-Werte werden schnell zum Standard für die Interpretation der Wichtigkeit von Merkmalen und der Effektgröße in Modellen für maschinelles Lernen (ML). Ein aufkommender Trend in ML ist es, sich von seinem Blackbox-Ruf zu entfernen und Modelle zu erstellen, die interpretierbar und vertrauenswürdig sind. Tools wie Shapley-Werte bieten die Möglichkeit, transparenter und sicherer in den Vorhersagen des Modells zu sein. Diese Funktion sollte für alle maschinellen Lernmodelle von JMP Pro verfügbar sein.

Betreff: Shapley-Werte für Vorhersagemodelle

Ein Anwendungsbeispiel: Ein Kunde verwendet das verstärkte neuronale Netz von JMP Pro, um ein ML-Modell zu erstellen. Wo sie eingeschränkt sind, ist ihre Fähigkeit, die Wirkung einer bestimmten unabhängigen Variablen auf die Antwort zu quantifizieren. Wenn man zum Beispiel die Produktionswerte von drei Brunnen analysiert, stellt man möglicherweise fest, dass einer gut abschneidet, weil er sich an einem erstklassigen Standort befindet und einen großartigen Brunnen gebaut hat, und ein zweiter mittelmäßig abschneidet, weil er sich an einem mittelmäßigen Standort befindet, aber von ihnen entworfen wurde Brunnen sehr effizient, und ein Drittel schneidet schlecht ab, weil sie einen schlechten Standort gewählt und den Brunnen nicht effizient geplant haben. In einem Programm wie Python könnte man die Shapley-Werte berechnen, die diese granularen Informationen liefern, aber JMP ist dazu nicht in der Lage. Ein Kollege und ich haben eine Methode entwickelt, um das zu berechnen, was ich Pseudo-Shapley nennen werde, aber dieses Verfahren funktioniert zwar sehr gut, ist aber nur auf lineare Modelle anwendbar und es fehlt die Fähigkeit, die Ergebnisse auf einer einzigen Brunnenbasis aufzuschlüsseln (row-by -Reihe). In der O&G-Branche wäre diese Fähigkeit allgegenwärtig einsetzbar und würde JMP für eine Expansion in dieser Branche öffnen.

Betreff: Shapley-Werte für Vorhersagemodelle - Status geändert in: In Entwicklung

Derzeit in Entwicklung und verfügbar in JMP 17 EA.    

Betreff: Shapley-Werte für Vorhersagemodelle - Status geändert in: Yes, Stay Tuned!

In diesem Bereich gab es erhebliche Arbeiten für JMP 17, das im Oktober 2022 ausgeliefert wird. Markieren als „Yes, Stay Tuned“ mit der Erwartung, dass jemand dies als „Geliefert“ markiert, wenn das Versanddatum kommt.