Wir haben uns sehr gefreut, Manya Mayes, eine Expertin für Natural Language Processing (NLP) und Head of Data Science bei 1440 Consulting, als Plenarrednerin in unserem ersten Statistisch sprechen über Textanalyse . Wir haben uns auch sehr gefreut, sie als Diskussionsteilnehmerin mit zwei anderen erfahrenen Textanalytikern zu empfangen: Weida Tong, Bioinformatics & Biostatistics Director bei der Food and Drug Administration; und Jeff Swartzel, Wissenschaftler bei Procter & Gamble.
Das praktische Know-how dieser statistisch denkenden Experten und die interessanten Beispiele, die sie teilen, sind inspirierend. Wir hatten während des Livestreams so viele Fragen an das Panel, dass wir sie nicht alle beantworten konnten. Unsere vorgestellten Gäste haben sich freundlicherweise bereit erklärt, sie über diesen Blogbeitrag zu beantworten.
Wie messen und demonstrieren Sie den ROI für Textanalysen?
Manya: Wie Sie erwartet haben, ist die Messung des ROI für Textanalysen nicht immer einfach. Bei der Früherkennung eines Produktproblems ist es möglicherweise nie möglich, den wahren ROI für ein Problem zu ermitteln, das behoben wird, bevor es zu einem Problem mit Ford Explorer/Firestone-Reifen (mit geschätzte Kosten von 7,5 Mrd. $ ) oder das plötzliche Beschleunigungsproblem von Toyota (das aufgetreten ist) 1,2 Milliarden US-Dollar an Strafen vom Justizministerium und 2 Mrd. $ an Rückrufkosten ). Hätten beide Unternehmen Maßnahmen zu Textanalyseergebnissen ergriffen (die mithilfe der Daten der National Highway Traffic Safety Administration [NHTSA] und guter Textanalysefunktionen leicht zu finden waren), hätten sie möglicherweise nie wirklich gewusst, wie viel sie gespart haben. Die Verwendung von Textanalysen in einem beschrifteten und überwachten Vorhersagemodell bietet eine Möglichkeit, den ROI zu validieren, dies ist jedoch nicht immer möglich. Darüber hinaus ist es für die Analyse von Daten, die zukünftige Geschäftsentscheidungen und -strategien des Unternehmens beeinflussen, möglich, die Rendite pro investiertem Dollar über eine Treiber-/Sensitivitätsanalyse zu messen.
Jeff: Das ist knifflig, und ich kämpfe oft mit dieser Frage, weil die Auswirkungen inkonsistent sein können. Manchmal liefert eine sehr schnelle und einfache Arbeit wertvolle Erkenntnisse, während eine aufwändige Analyse manchmal zu weniger aussagekräftigen Ergebnissen führen kann. Die Dinge, auf die ich mich in der Regel als Wert der Textanalyse konzentriere, sind: 1) Zeitersparnis, 2) die Fähigkeit, im Vorfeld von Problemen einzugreifen, 3) die Einzigartigkeit von Erkenntnissen, die ohne die Technik möglicherweise nicht möglich gewesen wären, und 4) gesteigerte Fähigkeiten sich auf wichtige Themen zu konzentrieren.
Wie wurde der Plot auf dem Bildschirm (Whompy Wheel vs. Time) aus dem Text Explorer-Fenster generiert?
Manya: Mit dem Text Explorer für die Stichprobe von Beschwerden über Elektrofahrzeuge habe ich eine Reihe von Begriffen mit geringer Information entfernt, indem ich sie der Stoppliste hinzugefügt habe, dann habe ich Begriffe entfernt, die ein- oder zweimal auftauchten, und gefolgt von einer latenten Klassenanalyse. Die Ergebnisse der latenten Klassenanalyse (in JMP Pro ) enthalten ein Fenster "Cluster-Wahrscheinlichkeiten nach Zeile". In diesem Fenster wird der wahrscheinlichste Cluster für jedes Dokument angezeigt. Es ist möglich, mit der rechten Maustaste auf In Datentabelle erstellen zu klicken. Das nächste Fenster enthält die Ergebnisse als Datentabelle, die dann wieder in die ursprüngliche Stichprobe der Fahrzeugreklamationen eingefügt werden kann, indem Sie Tabellen > Verbinden auswählen und diese Ergebnisse dann mit den Originaldaten verknüpfen, indem sie nach Zeilennummer übereinstimmen. Ich habe nur die Zeilen für das Whopy-Rad-Cluster ausgewählt. Die Originaldaten haben ein Faildate-Feld, das dann mit Graph > Graph Builder geplottet werden kann. Im Graph Builder habe ich ein Histogramm mit faildate als X-Variable verwendet und die Antwortskala auf Count gesetzt. Der Rest war hauptsächlich Kosmetik, wo ich die Farbe geändert habe, indem ich auf die Variable faildate in der Legende geklickt habe (siehe angehängtes Bild für weitere Details). Um die Informationen nach Modell abzurufen, habe ich die Fahrzeugmodellvariable per Drag & Drop in den Gruppe X-Teil des Diagramms gezogen und das Fahrzeugmodell als Farbvariable verwendet.
Warum sind die Werte für negative Stimmungen niedriger als für positive Stimmungen (98 v. 100)?
Manya: Die Sentimentwerte liegen zwischen -100 und 100. Ich habe zufällig negative Begriffe mit einer Punktzahl von -98 und positive Begriffe mit einer Punktzahl von 100 ausgewählt.
Diese Bilder zeigen, dass es insgesamt mehr positive als negative Dokumente gab. Die Bewertungen zeigen die über das gesamte Dokument (Rezension) berechnete Stimmung, sodass ein Dokument insgesamt eine positive Bewertung aufweisen kann, auch wenn es negative und positive Teile enthält.
Wird die Textanalyse für den FDA-Review-Prozess eher dazu verwendet, die Review-Bemühungen zu zielen, oder ist sie eine Ergänzung zum Lesen von Dokumenten?
Weida : Die Textanalyse wurde in der FDA in breitem Umfang eingesetzt, sowohl in der Forschung als auch in der Überprüfung. Darunter sind die Informationsbeschaffung und die Dokumentenklassifizierung im Überprüfungsprozess stark vertreten. Darüber hinaus haben wir auch Textzusammenfassung, Named-Entity-Erkennung und Stimmungsanalyse untersucht, von denen die meisten ein regulierungswissenschaftliches Unterfangen sind.
Welche Synergien gewinnen Sie mit Textanalyse und anderen Analysemethoden?
Manya: Die Kombination textbasierter Informationen mit anderen Analysemethoden ist üblich. Der Text wird im Wesentlichen strukturiert dargestellt. Die Einbindung des nun strukturierten Textes kann bei der Anwendung auf eine ganze Reihe von Anwendungsfällen (Kundenakquise, -bindung, Betrug, Risiko usw.) dazu beitragen, die Modellgenauigkeit für durch maschinelles Lernen überwachte Modelle zu erhöhen. Es kann auch bei der Modellerklärung helfen und die richtige Sprache für Branding, Messaging usw. Es kann auch bei der unbeaufsichtigten Klassifizierung/Clusterbildung helfen, bei der die Begriffe in Verbindung mit strukturierten Daten wie transaktionalen und demografischen Informationen helfen können, die Cluster zu beschreiben.
Jeff: JMP eignet sich hervorragend, um die Ausgabe der Textanalyse direkt mit anderen relevanten Variablen (Zeit, Kundenbewertung, aussagekräftige Kategorien usw.) zur Modellierung (Begriffsauswahl und Diskriminanzanalyse) zu verbinden. Relevante Schlagworte und Themen können auch an anderer Stelle in qualitativere Analysen einfließen.
Was denkst du über den „bag-of-words“-Ansatz im Vergleich zu fortgeschrittenerem NLP?
Manya: Der „Bag-of-Words“-Ansatz berücksichtigt weder Kontext noch Ausrichtung, obwohl Phrasen eingefügt werden können, was die Analyse einfacher und schneller macht und dennoch einen Mehrwert bietet. Das fortgeschrittenere NLP bietet mehr Kontext, erfordert jedoch immer noch vortrainierte Modelle und der Kontext kann viel lokalisierter sein (z. B. eher innerhalb eines Satzes). Das fortschrittlichere NLP bietet eine größere Automatisierung, übersieht jedoch möglicherweise die Nuancen, die beteiligt sind, wenn ein Datenwissenschaftler die Daten im Detail kennt. Grundsätzlich haben beide Techniken ihre Vor- und Nachteile.
Jeff: Ich klinge wie eine gebrochene Schallplatte, aber ich sage immer: „Verbinde die Analysetechnik mit der Frage.“ Oftmals kann ich mit einfachen Methoden schnelle und nützliche Erkenntnisse gewinnen (insbesondere wenn die Fragestellung klar definiert ist). Die Leute kommen zu mir und fragen so etwas wie „Wir wissen nicht, was wir suchen, aber wir wollen alles über alles wissen. Können wir NLP unseren Weg zur Allwissenheit machen?“ :grins_face_with_sweat: Ich helfe ihnen entweder, sich auf die Fragedefinition zu konzentrieren oder beginne, den Text mit latenter Klassenanalyse, latenter semantischer Analyse oder Sentimentanalyse zu erkunden. Außerdem hat der Beutel-von-Wörter-Ansatz den Vorteil, dass er sehr leicht konzeptionell und interpretierbar ist und ein großartiger Ausgangspunkt ist. Nach meiner begrenzten Erfahrung eignen sich Methoden wie BERT hervorragend für Klassifikationsfragen mit gut trainierten Machine-Learning-Modellen.
Was bedeutet es, sich in Richtung „fortgeschrittene Regulierungswissenschaft“ zu bewegen?
Weida: Die FDA definiert die Regulierungswissenschaft als „die Wissenschaft der Entwicklung neuer Instrumente, Standards und Ansätze zur Bewertung der Sicherheit, Wirksamkeit, Qualität und Leistung von FDA-regulierten Produkten“. In gewisser Weise bedeutet fortschrittliche Regulierungswissenschaft, neue Technologien und Methoden einzusetzen, um die Arbeitsweise der FDA zu verbessern.
Wie erleichtert JMP Ihre Zusammenarbeit mit anderen und insbesondere mit Textanalysen?
Manya: Die JMP Community ist eine hervorragende Plattform für die Zusammenarbeit mit anderen. Textanalyse ist Teil der JMP-Community sowie von SKP (dem JMP Statistik-Wissensportal ), das im Begriff ist, mit Textanalyseinhalten und Zusammenarbeit aktiver zu werden.
Jeff: Wir bei P&G haben eine sehr große JMP-Benutzerbasis und viele Leute sind mit den Grundlagen vertraut. Es ist einfach, die Ausgabe einer JMP-Analyse zu teilen und eine Arbeitssitzung mit jemandem zu führen, der Text Explorer verwendet. Das Teilen von Skripten und Journalen macht es sehr einfach.
Glauben Sie, dass wir nur an der Oberfläche dessen angekratzt haben, was mit all den Textdaten, die wir sammeln, möglich ist?
Manya: In letzter Zeit haben Textanalyse und NLP einige enorme Leistungssprünge gemacht, aber es wird noch mehr kommen. Es gibt einen guten Kratzer in der Oberfläche, aber mit zusätzlichen Funktionen wird Text nicht anders als strukturierte Daten betrachtet. Im Moment ist das menschliche Element noch sehr wertvoll.
Jeff: Ja, und ich denke, dass der Aufbau einer Kultur von Menschen, die mit den Grundlagen dieser Art von Arbeit vertraut sind, der beste Ausgangspunkt ist, um ein Verständnis für die Analyse von Textdaten aufzubauen
Was teilen Sie sonst noch mit den Personen, mit denen Sie Textdaten analysieren?
Jeff: Manchmal möchte ich sie daran erinnern, dass es nicht schlauer ist als wir, was bedeutet, dass die Analysetechniken nicht in der Lage sein werden, einen Satz wie „Ich habe aufgehört, Ihr Produkt zu verwenden, weil es komisch roch“ und es nicht verstehen können eine menschliche Ebene. Der komische Geruch kann ein Hinweis auf ein großes Problem sein, oder etwas, was die Leute normalerweise über dieses Produkt sagen, oder sogar Teil einer absichtlichen Änderung, die so verstanden wurde, oder sogar etwas sarkastisch und ironisch. Textanalyse und NLP müssen immer mit Domänenwissen und Neugier auf die Fragen gepaart werden, die wir beantworten möchten. Wir können (noch) keinen Knopf drücken und wissen alles, was wir wissen wollen (und sogar das, was wir nicht wissen, was wir vielleicht wissen wollen).
Wer das Live-Event verpasst hat, kann es sich anschauen auf Nachfrage für mehr Einblicke. Zusätzlich zu den oben genannten Fragen hatten wir viele andere ausgezeichnete Fragen von unserem Zuschauerpublikum. Erfahren Sie mehr über „whompy“ Räder, komische Gerüche und andere Erkenntnisse, die Sie aus einigen der von Ihnen gesammelten Textdaten gewinnen können.
