Wir freuten uns sehr, Manya Mayes, Expertin für natürliche Sprachverarbeitung (NLP) und Leiterin der Datenwissenschaft bei 1440 Consulting, als Hauptrednerin unserer ersten Veranstaltungsreihe „Statistically Speaking“ zum Thema Textanalyse begrüßen zu dürfen. Ebenso freuten wir uns, sie als Panelistin zusammen mit zwei weiteren versierten Experten der Textanalyse zu haben: Weida Tong, Direktorin für Bioinformatik und Biostatistik bei der US-amerikanischen Arzneimittelbehörde FDA, und Jeff Swartzel, Wissenschaftler bei Procter & Gamble.
Das praktische Fachwissen dieser statistisch versierten Experten und die interessanten Beispiele, die sie präsentieren, sind inspirierend. Wir hatten während des Livestreams so viele Fragen an die Expertenrunde, dass wir nicht alle beantworten konnten. Unsere Gäste haben sich freundlicherweise bereit erklärt, sie in diesem Blogbeitrag zu beantworten.
Wie misst und demonstriert man den ROI von Textanalysen?
Manya: Wie Sie bereits vermutet haben, ist die Messung des ROI von Textanalysen nicht immer einfach. Bei der frühzeitigen Erkennung von Produktproblemen lässt sich der tatsächliche ROI möglicherweise nie ermitteln, wenn das Problem behoben wird, bevor es zu einem ähnlichen Problem wie beim Ford Explorer/Firestone Tire (mit geschätzten Kosten von 7,5 Milliarden US-Dollar ) oder dem Toyota-Problem mit plötzlicher Beschleunigung (das 1,2 Milliarden US-Dollar Strafzahlungen des US-Justizministeriums und 2 Milliarden US-Dollar Rückrufkosten verursachte) wird. Hätten beide Unternehmen auf die Ergebnisse der Textanalyse reagiert (die mithilfe der Daten der National Highway Traffic Safety Administration [NHTSA] und guter Textanalysefunktionen leicht zu finden waren), hätten sie möglicherweise nie erfahren, wie viel sie tatsächlich eingespart haben. Der Einsatz von Textanalysen in einem gelabelten und überwachten Vorhersagemodell ermöglicht die Validierung des ROI, ist aber nicht immer möglich. Darüber hinaus lässt sich für die Analyse von Daten, die zukünftige Geschäftsentscheidungen und Strategien des Unternehmens beeinflussen, der Return on Investment pro investiertem Dollar mithilfe einer Treiber-/Sensitivitätsanalyse messen.
Jeff: Das ist eine knifflige Frage, mit der ich oft hadere, weil die Auswirkungen unterschiedlich sein können. Manchmal liefert eine sehr schnelle und einfache Analyse wertvolle Erkenntnisse, während eine aufwändige Analyse mitunter weniger aussagekräftige Ergebnisse liefert. Die Vorteile der Textanalyse, auf die ich mich typischerweise konzentriere, sind: 1) Zeitersparnis, 2) die Möglichkeit, Problemen vorzubeugen, 3) die einzigartigen Erkenntnisse, die ohne diese Methode nicht möglich gewesen wären, und 4) die verbesserte Fähigkeit, sich auf wichtige Themen zu konzentrieren.
Wie wurde die Grafik auf dem Bildschirm (Whompy-Rad vs. Zeit) aus dem Text-Explorer-Fenster generiert?
Erwachsene: Mithilfe des Text Explorers habe ich anhand der Beschwerden über Elektrofahrzeuge eine Reihe von Begriffen mit geringem Informationsgehalt entfernt, indem ich sie der Stoppliste hinzufügte. Anschließend entfernte ich Begriffe, die nur ein- oder zweimal vorkamen, und führte danach eine Latent-Class-Analyse durch. Die Ergebnisse der Latent-Class-Analyse (in JMP Pro ) beinhalten ein Fenster mit den Clusterwahrscheinlichkeiten pro Zeile. In diesem Fenster wird der wahrscheinlichste Cluster für jedes Dokument angezeigt. Durch einen Rechtsklick auf „In Datentabelle umwandeln“ werden die Ergebnisse als Datentabelle angezeigt. Das nächste Fenster enthält die Ergebnisse als Datentabelle, die anschließend mit der ursprünglichen Stichprobe der Fahrzeugbeschwerden verknüpft werden kann. Dazu wählt man „Tabellen > Verbinden“ und verknüpft die Ergebnisse mit den Originaldaten anhand der Zeilennummer. Ich habe nur die Zeilen für den Cluster „Whoppy Wheel“ ausgewählt. Die Originaldaten enthalten ein Feld „faildate“, das anschließend mit „Diagramm > Diagramm-Generator“ visualisiert werden kann. Im Diagramm-Generator verwendete ich ein Histogramm mit „faildate“ als X-Variable und der Antwortskala „Anzahl“. Die restlichen Einstellungen waren größtenteils kosmetischer Natur. Ich änderte die Farbe, indem ich in der Legende auf die Variable „faildate“ klickte (siehe beigefügtes Bild für weitere Details). Um die Informationen nach Modell zu erhalten, habe ich die Fahrzeugmodellvariable per Drag & Drop auf den Bereich Gruppe X des Diagramms gezogen und das Fahrzeugmodell als Farbvariable verwendet.
Warum sind die Werte für negative Stimmungen niedriger als für positive Stimmungen (98 vs. 100)?
Erwachsene: Die Stimmungsbewertungen liegen zwischen -100 und 100. Ich habe zufällig negative Begriffe mit Bewertungen von -98 und positive Begriffe mit Bewertungen von 100 ausgewählt.
Diese Bilder zeigen, dass insgesamt mehr positive als negative Dokumente vorlagen. Die Punktwerte geben die Stimmungslage des gesamten Dokuments (der Rezension) wieder; ein Dokument kann also insgesamt positiv bewertet werden, obwohl es sowohl negative als auch positive Abschnitte enthält.
Wird die Textanalyse im Rahmen des FDA-Prüfverfahrens eher zur gezielten Steuerung der Prüfbemühungen eingesetzt oder dient sie als Ergänzung zum Lesen von Dokumenten?
Weida : Textanalyse wird bei der FDA umfassend eingesetzt, sowohl in der Forschung als auch im Prüfprozess. Informationsabruf und Dokumentenklassifizierung spielen dabei eine wichtige Rolle. Darüber hinaus untersuchten wir auch Textzusammenfassung, Erkennung benannter Entitäten und Stimmungsanalysen – allesamt Bereiche, die sich hauptsächlich auf die regulatorische Wissenschaft konzentrieren.
Welche Synergien ergeben sich durch die Kombination von Textanalyse und anderen Analysemethoden?
Erwachsene: Die Kombination textbasierter Informationen mit anderen Analysemethoden ist üblich. Der Text erhält dabei eine strukturierte Darstellung. Die Einbeziehung dieses strukturierten Textes kann die Genauigkeit von überwachten Machine-Learning-Modellen in einer Vielzahl von Anwendungsfällen (Kundengewinnung, Kundenbindung, Betrugsbekämpfung, Risikomanagement usw.) verbessern. Er trägt außerdem zur besseren Erklärung der Modelle bei und hilft bei der Auswahl der passenden Sprache für Branding, Messaging usw. Darüber hinaus unterstützt er die unüberwachte Klassifizierung/das Clustering, indem die Begriffe in Verbindung mit strukturierten Daten wie Transaktions- und demografischen Informationen die Cluster beschreiben.
Jeff: JMP eignet sich hervorragend, um die Ergebnisse der Textanalyse direkt mit anderen relevanten Variablen (Zeit, Kundenbewertung, aussagekräftige Kategorien usw.) für die Modellierung (Termauswahl und Diskriminanzanalyse) zu verknüpfen. Relevante Schlüsselwörter und Themen können zudem weitere qualitative Analysen an anderer Stelle unterstützen.
Was halten Sie vom Bag-of-Words-Ansatz im Vergleich zu fortgeschritteneren NLP-Methoden?
Erwachsene: Der Bag-of-Words-Ansatz berücksichtigt weder Kontext noch Richtung, obwohl Phrasen einbezogen werden können. Dadurch wird die Analyse einfacher und schneller, ohne an Wert zu verlieren. Fortgeschrittenere NLP-Verfahren liefern mehr Kontext, benötigen aber weiterhin vortrainierte Modelle, und der Kontext kann deutlich lokalisierter sein (beispielsweise eher innerhalb eines Satzes). Fortgeschrittenere NLP-Verfahren ermöglichen eine stärkere Automatisierung, übersehen aber möglicherweise die Nuancen, die sich ergeben, wenn ein Data Scientist die Daten detailliert analysiert. Im Wesentlichen haben beide Techniken ihre Vor- und Nachteile.
Jeff: Ich wiederhole mich zwar, aber ich sage immer: „Verbindet die Analysemethode mit der Fragestellung.“ Oftmals erhalte ich mit einfachen Methoden schnell nützliche Erkenntnisse (besonders wenn die Frage klar formuliert ist). Leute kommen zu mir und fragen sinngemäß: „Wir wissen nicht genau, wonach wir suchen, wollen aber alles über alles wissen. Können wir mit NLP allwissend werden?“ Ich helfe ihnen dann entweder, sich auf die Fragestellung zu konzentrieren, oder beginne mit der Textanalyse mittels Latent-Class-Analyse, Latent-Semantic-Analyse oder Sentiment-Analyse. Der Bag-of-Words-Ansatz ist zudem sehr leicht verständlich und interpretierbar und ein hervorragender Ausgangspunkt. Meiner begrenzten Erfahrung nach eignen sich Methoden wie BERT hervorragend für Klassifizierungsfragen mit gut trainierten Machine-Learning-Modellen.
Was bedeutet es, sich in Richtung „fortschrittlicher Regulierungswissenschaft“ zu bewegen?
Weida: Die FDA definiert regulatorische Wissenschaft als „die Wissenschaft der Entwicklung neuer Instrumente, Standards und Ansätze zur Bewertung der Sicherheit, Wirksamkeit, Qualität und Leistung von FDA-regulierten Produkten“. In gewisser Weise bedeutet fortgeschrittene regulatorische Wissenschaft, neue Technologien und Methoden zu nutzen, um die Arbeitsweise der FDA zu verbessern.
Wie erleichtert JMP Ihre Zusammenarbeit mit anderen und insbesondere mit Textanalysen?
Erwachsene: Die JMP Community ist eine hervorragende Plattform für die Zusammenarbeit mit anderen. Textanalyse ist Teil der JMP Community, ebenso wie SKP (das JMP Statistics Knowledge Portal ), das in Kürze verstärkt Inhalte und Kooperationsmöglichkeiten im Bereich Textanalyse anbieten wird.
Jeff: Bei P&G haben wir eine sehr große JMP-Nutzerbasis, und viele kennen die Grundlagen. Es ist einfach, die Ergebnisse einer JMP-Analyse zu teilen und mit jemandem, der den Text Explorer verwendet, gemeinsam zu arbeiten. Das Teilen von Skripten und Protokollen macht es sehr einfach.
Glauben Sie, dass wir erst an der Oberfläche dessen gekratzt haben, was mit all den Textdaten, die wir sammeln, alles möglich ist?
Erwachsene: Textanalyse und NLP haben in letzter Zeit enorme Fortschritte gemacht, aber das Potenzial ist noch lange nicht ausgeschöpft. Wir haben bereits an der Oberfläche gekratzt, doch mit zusätzlichen Funktionen wird Text genauso behandelt werden wie strukturierte Daten. Aktuell ist der menschliche Faktor noch sehr wertvoll.
Jeff: Ja, und ich denke, dass der Aufbau einer Kultur von Menschen, die mit den Grundlagen dieser Art von Arbeit vertraut sind, der beste Ausgangspunkt für das Verständnis der Analyse von Textdaten ist.
Was teilen Sie sonst noch mit den Personen, mit denen Sie Textdaten analysieren?
Jeff: Manchmal weise ich bewusst darauf hin, dass die Analysetechniken nicht intelligenter sind als wir. Sie können beispielsweise einen Satz wie „Ich habe aufgehört, Ihr Produkt zu benutzen, weil es komisch gerochen hat“ nicht auf einer menschlichen Ebene verstehen. Der komische Geruch könnte auf ein größeres Problem hinweisen, eine typische Kritik an diesem Produkt sein, Teil einer beabsichtigten Änderung, die so wahrgenommen werden soll, oder sogar sarkastisch und ironisch gemeint sein. Textanalyse und NLP müssen immer mit Fachwissen und Neugierde an den Fragen, die wir beantworten wollen, kombiniert werden. Wir können (noch) nicht einfach einen Knopf drücken und alles wissen, was wir wissen wollen (und selbst das, was wir vielleicht wissen wollen, aber noch nicht wissen).
Falls Sie die Live-Veranstaltung verpasst haben, können Sie sie sich jederzeit ansehen, um weitere Einblicke zu gewinnen . Neben den oben genannten Fragen erreichten uns viele weitere hervorragende Fragen unserer Zuschauer. Erfahren Sie mehr über „wuchtige“ Räder, ungewöhnliche Gerüche und andere Erkenntnisse, die Sie aus den gesammelten Textdaten gewinnen können.
