Lautsprecher | Abschrift |
| Kira Alhorn | Okay, willkommen zu meinem Vortrag, Ein Spaziergang durch den Text-Explorer, um die Bedürfnisse der Kunden zu verstehen. Ich freue mich sehr |
| dabei ist der JMP Discovery Summit im virtuellen Format. Mein Name ist Kira Alhorn und ich bin Statistikerin bei WL Gore and Associates. |
| Und bevor ich mit der eigentlichen Präsentation beginne, möchte ich Ihnen kurz unser Unternehmen vorstellen. WL Gore and Associates ist ein globales Materialwissenschaftsunternehmen, wir produzieren |
| ganz unterschiedliche Lösungen für ganz unterschiedliche Branchen, angefangen bei der Luft- und Raumfahrt bis hin zu Medizinprodukten und was den meisten von Ihnen bekannt sein dürfte |
| ist unsere Gore-Tex-Marke. Darauf werden wir uns heute konzentrieren, und die Marke Gore-tex produziert langlebige, wasserdichte und atmungsaktive Stofflaminate. |
| Und diese Laminate werden an unsere Kunden oder Markenpartner verkauft, die daraus Produkte herstellen. Genauer gesagt konzentrieren wir uns heute auf Schuhe. |
| Dies ist also ein kurzer Überblick über meinen Vortrag. Ich beginne mit dem Hintergrund und der Motivation. Was sehen wir uns also an? Wir sehen uns Schuhbeschreibungen an und warum interessiert uns das. |
| Danach wird der Rest des Vortrags in JMP durchgeführt. Ich werde JMP 15 Pro verwenden und Ihnen dort zeigen, wie Sie den Text-Explorer verwenden |
| zur Analyse unserer Schuhbeschreibungen. Wie man Themen in diesen Texten oder in den Schuhbeschreibungen findet, damit diese Themen verwendet werden können, um allgemeine Schuhbeschreibungen oder allgemeine Themen in den Schuhbeschreibungen zu finden und diese mit verschiedenen Kategorien von Schuhen zu vergleichen, die wir haben. |
| Und schließlich wird dies nur eine sehr kurze Einführung sein, wir verwenden einige Vorhersagemodelle, um unsere Ergebnisse zu validieren und um mehr zu erfahren ... es wird einen tieferen Einblick geben, wie die verschiedenen Schuhbeschreibungen die Schuhe kategorisieren. |
| Stellen Sie sich also Ihren eigenen Schrank und die Schuhe vor, die Sie in Ihrem Schrank haben |
| Und jeder von Ihnen wird mindestens eine kleine oder eine größere Sammlung verschiedener Schuhe in seinem Schrank haben, und die Frage ist, warum haben Sie so viele Schuhe? |
| Und dass Ihre Schuhe zu Ihrem Stil passen müssen und Sie vielleicht andere Farben brauchen und so weiter, ist das nicht der einzige Grund, warum Sie unterschiedliche Schuhe haben. |
| Der andere Grund ist, dass Sie andere Schuhe benötigen. Stellen Sie sich also vor, Sie haben ein Paar Laufschuhe, Sie haben mehrere Paar Schuhe für den Freizeitgebrauch und Sie haben vielleicht Wanderschuhe. |
| Und Sie haben diese, weil jeder der Schuhe unterschiedliche oder leicht unterschiedliche Eigenschaften hat, die diesen Schuh für diesen Endgebrauch verwendbar machen, und Sie diese Eigenschaften für diesen Endgebrauch benötigen. |
| Was wir uns also gefragt haben, ist, wenn wir uns die Schuhbeschreibungen unserer Markenpartner ansehen, können wir irgendwie herausfinden, was verschiedene Schuhe einzigartig macht? Sie sehen hier also eine Sammlung |
| verschiedener Schuhkategorien, die uns nun für unterschiedliche Verwendungszwecke von Schuhen entsprechen. |
| Und die Frage ist jetzt, wenn ein Kunde zum Beispiel einen neuen Wanderschuh produzieren möchte, welche Ausstattungsmerkmale sollten wir in unserem Laminat bieten, das wir für einen Schuh verkaufen, der zum Wandern verwendet werden soll? |
| Können uns diese Schuhbeschreibungen also einen Prototyp liefern, den wir unseren Kunden anbieten könnten? |
| Und natürlich, was ist hier noch interessant, wie unterscheiden sich andere Schuhe? Was ist also der Unterschied zwischen diesem Wanderschuh und dem Straßenschuh? Warum brauchen wir diese Unterschiede? |
| Und das war unsere Absicht, als wir anfingen, die Daten zu analysieren. |
| Damit würde ich gerne zu JMP wechseln. |
| Und in JMP möchte ich Ihnen zunächst zeigen, wie die von uns gesammelten Daten aussehen. |
| Also besuchten wir einfach die Webseiten unserer Markenpartner und sammelten Schuhbeschreibungen aus diesen Paketen. |
| Für jede Schuhkategorie haben wir eine bestimmte Anzahl von Schuhbeschreibungen und Sie werden sehen, wir haben einfach die gesamte Beschreibung in unsere Datentabelle kopiert. |
| Das könnte also ziemlich lang sein, es könnte ziemlich kurz sein, aber mehr als nur kopieren haben wir nicht gemacht. |
| Aber andererseits können Sie sich vorstellen, dass wir mit diesem Textfeld nicht viel anfangen können. |
| Oder zumindest scheint es so, als könnten wir das nicht, denn JMP bietet großartige Möglichkeiten, etwas zu tun. Und was bedeutet zu tun? Wir wollen Informationen aus diesem langen Text extrahieren und ihn zu irgendwie besser verdaulichen Brocken machen. |
| Und diese verdaulichen Brocken |
| kann mit dem Text Explorer extrahiert werden. Ich möchte also zum Text Explorer gehen und die Schuhbeschreibung in die Textspalten hier einfügen. |
| Und hier sind viele Optionen. Diese Optionen fließen in die Algorithmen ein, die unsere Schuhbeschreibungen ausschneiden, oder wir nennen die Beschreibungsdokumente in der Textanalysesprache. |
| Und das schneidet die Dokumente in kleinere Informationsstücke, wie ich bereits erwähnt habe, diese verdaulichen Brocken. |
| Und was Sie sehen werden, sind verdauliche Brocken, nämlich, wir haben diese Begriffe, die die kleinste Informationseinheit darstellen, und wir haben diese Phrasen, die Begriffe sind, die oft zusammen vorkommen und eine Bedeutung haben könnten, wenn Sie sie kombinieren. |
| Sie können hier also den am häufigsten verwendeten Begriff sehen |
| in allen dokumenten, also in allen schuhbeschreibungen, steht der begriff komfort. |
| Also sind wir zuerst alle Sätze hier durchgegangen und haben uns das angeschaut. Gibt es sinnvolle? |
| Und der erste macht schon Sinn. Sie sehen hier also, dass die Begriffe Gore und Tex als Einzelbegriffe erscheinen, aber natürlich macht es Sinn, dass der Begriff Gore-Tex analysiert werden sollte und nicht Gore und Tex. |
| So können Sie alle sinnvollen Ausdrücke zur Begriffsliste hinzufügen. Also fügen wir den Ausdruck hinzu, und Sie werden hier jetzt sehen, dass wir den Begriff Gore-Tex anstelle des einzelnen Begriffs Gore haben. |
| Das war also der erste Schritt unserer Verarbeitung der Daten. Schritt zwei bestand darin, die Begriffsliste auf Duplikate oder zu überprüfen |
| wenn es Begriffe gibt, die keinen Sinn ergeben. Und JMP hat schon eine wirklich tolle Verarbeitung, denn JMP schließt schon viele Wörter aus, die keinen Sinn ergeben, wie z.B. und, a, |
| oder, die Ihnen keine Informationen geben. Es werden jedoch immer einige Begriffe übrig bleiben, die keinen Sinn ergeben, wie zum Beispiel dieses S. |
| Was würdest du mit einem S machen? Was sagt das über einen Schuh aus? Also mussten wir alle Begriffe durchgehen, und wenn es einen Begriff gibt, der keinen Sinn ergibt, nennen wir das ein Stoppwort und bearbeiten sie in der Liste der Stoppwörter, um sie von der Analyse auszuschließen. |
| Das war das eine. Die andere Sache, die ich erwähnt habe, war, dass wir überprüfen müssen, ob es Duplikate gibt, und Sie werden hier sehen, dass wir zum Beispiel den Begriff Gore Tex haben |
| und der Begriff GTX. Und GTX ist nur eine Abkürzung für den Begriff Gore-Tex, also sollten wir beide nicht getrennt analysieren, sondern kombinieren. |
| Sie haben also die Recode-Funktion, die so ziemlich die gleiche ist wie für Spalten, und dies ist ein großartiges Werkzeug, um diese zu kombinieren |
| ??? Daten. Sie sehen hier also die Funktion Recode, und ich gruppiere beide. |
| Und Sie werden jetzt sehen, dass dies nur noch ein einziger Begriff ist (Gore-tex), und dies ist tatsächlich der häufigste Begriff in unseren Daten. |
| So. |
| Wir haben mit 4.000 Begriffen angefangen und am Ende waren es nach der Reinigung nur noch 100 Begriffe. Sie sehen also, wir haben noch 100 Begriffe übrig und mit diesen können wir eine Menge Analysen durchführen. Diese sind sehr nützlich für uns, um ein Gefühl dafür zu bekommen, worum es bei einer Schuhbeschreibung geht. |
| Sie können diese Liste also verwenden, um zu sehen, was die häufigsten Begriffe sind, aber JMP bietet auch ein sehr einfaches Visualisierungstool. |
| Durch Klicken auf das rote Dreieck können Sie eine Wortwolke hinzufügen. Und diese Wortwolke gibt Ihnen durch die Größe des Wortes ihre Häufigkeit in allen Dokumenten, also in allen Schuhbeschreibungen. Gore-Tex, Komfort und Leichtigkeit sind daher die am häufigsten verwendeten Begriffe in den von uns gesammelten Schuhbeschreibungen. |
| Aber Sie erinnern sich vielleicht, dass das nicht genau das ist, worüber wir uns gewundert haben, oder? Also haben wir uns gefragt, was ist mit Schuhen für verschiedene Endverbraucher? |
| Und dafür können wir hier ganz einfach den lokalen Datenfilter hinzufügen und die Endverwendung des Schuhs als Filter verwenden. So könnte mich zum Beispiel interessieren, welche Begriffe in all den Beschreibungen von Straßenwinterschuhen am häufigsten vorkommen. |
| Und Sie werden sehen, kein Wunder, die Begriffe Winter und Warm tauchen häufig in den Beschreibungen von Straßenwinterschuhen auf. |
| Nimmt man hingegen beispielsweise die Trailrunning-Schuhe, sieht man hier eine andere Gewichtung. Sie werden sehen, dass diese nicht warm sein müssen, aber sie müssen atmungsaktiv, leicht und gut sitzen. |
| Diese Wortwolken eignen sich also sehr, sehr gut, um einen ersten Eindruck von unserer Ausgangsfrage zu bekommen, was also die Ausstattungskonfiguration verschiedener Schuhtypen beschreibt. |
| Und damit haben wir nicht geendet. Wir wollten noch einen Schritt weiter gehen. |
| Der nächste Schritt ist, wenn Sie bereits alle Ihre Daten vorbereitet haben, können Sie irgendwie modellieren, um diesen Prototyp von Schuhkonfigurationen zu finden? Und für diese Modellierung gibt es verschiedene Optionen in JMP, und wir haben uns für die SVD entschieden. |
| SVD führt eine Hauptkomponentenanalyse unserer Dokumentbegriffsmatrix durch. |
| Und was bedeutet das? Die Dokumentbegriffsmatrix enthält für jedes Dokument, also für jede Schuhbeschreibung, |
| die Häufigkeit jedes Begriffs. So würde zum Beispiel für die erste Schuhbeschreibung zählen, wie oft kommt der Begriff Gore-Tex, wie oft kommt der Begriff Komfort und so weiter und so weiter. Sie können sich also vorstellen, dass das eine sehr riesige Matrix ist. |
| Und die Idee ist nun, durch Hauptkomponentenanalyse, die die Dimension der Dokumentenbegriffsmatrix reduziert, Ihre Daten besser in den Griff zu bekommen. |
| Und um die Daten besser visualisieren zu können. |
| Und basierend auf dieser Reduzierung der Abmessungen können wir jetzt etwas modellieren. Und welche Art von Modellierung ist für uns interessant? Uns interessierte also, was einen Schuh für einen bestimmten Verwendungszweck ausmacht. |
| Und um zu diesem Punkt zu kommen, wir haben analysiert, gibt es Themen in den Schuhbeschreibungen? Und wenn es Themen gibt, entsprechen diese Themen bestimmten Endverwendungen? |
| In einer idealen Welt würden wir also neun Themen in unseren Daten finden und diese neun Themen würden genau eine Schuhkategorie repräsentieren. Wir hätten also eine Prototyp-Schuhkonfiguration oder Funktionskonfiguration für jeden Schuh. |
| Mal sehen, was passiert, wenn ich ... Sie nach neun Themen suchen. Ich klicke hier auf das Thema Analyse und gebe eine 9 ein, da mich neun verschiedene Schuhkategorien interessieren. |
| Und was ich dann bekomme, ist eine Liste von Themen mit welchen Begriffen in diesen Themen häufig vorkommen. Thema eins sind zum Beispiel Schuhe |
| die in ihren Schuhbeschreibungen die Begriffe superfit, textil, warm und so weiter haben. Mein erstes Bauchgefühl hier wäre also, das müssen Straßen- oder Straßenwinterschuhe sein. |
| Thema zwei sind zum Beispiel Schuhbeschreibungen, die die Begriffe Hütte, Trekking, Mehrtag usw. enthalten, also eher wie Trekkingschuhe. |
| Aber als Statistiker bin ich natürlich nicht damit zufrieden, nur ein Bauchgefühl zu geben. Ich möchte unbedingt wissen, welche Kategorie von Schuhen zu welchem Thema gehört. Und dafür mache ich eine einfache Verteilung der Schuhkategorien und füge hier den lokalen Datenfilter hinzu, um nur anzuzeigen |
| Kategorien |
| das sind... |
| um nur ausgewählte Schuhe anzuzeigen. |
| Was bedeutet das? Wie kann ich das verwenden? JMP bietet hier die Themen-Scores-Plots und diese Themen-Scores-Plots an |
| haben einen Punkt für jede Schuhbeschreibung für jedes Thema. |
| Je höher also die Punktzahl für die Schuhbeschreibung ist, desto repräsentativer ist dieser Schuh für das bestimmte Thema. |
| Ich wähle also einfach alle Schuhe aus, die hohe Punktzahlen für Thema eins haben, und ich werde darin sehen |
| Histogramm hier, dass es sich um Straßen- und Straßenwinterschuhe handelt. Also im Grunde war mein Bauchgefühl richtig. Diese Schuhe, die aus Textil sind, die eine super Passform haben, das sind die Straßen- und Straßenwinterschuhe. |
| Und Thema zwei, denken Sie daran, wir haben erwartet, dass es Trekkingschuhe sind. Sie werden in diesem Histogramm hier sehen, dass es sich um Trekkingschuhe handelt. |
| Und das können Sie jetzt für alle Themen tun, und ich trage das in das Tagebuch ein. |
| Und Sie werden einige Schwierigkeiten sehen, all dies zu tun. Wenn Sie also jedem Thema eine Schuhkategorie oder mehrere Schuhkategorien zuweisen, werden Sie zwei Probleme sehen. |
| Problem Nummer eins, hier dargestellt, würden Sie sehen, dass es bestimmte Schuhkategorien gibt, wie zum Beispiel Bergsteigen, die nicht durch ein Thema repräsentiert werden, sondern durch mehrere. |
| Und Sie werden auch sehen, dass sich diese Themen überschneiden, so dass beispielsweise das Wort Steigeisen in beiden Themen vorkommt. |
| Das heißt, es scheint, als hätten wir hier zu viele Themen. |
| Idealerweise möchten Sie für diese Themen also ein Thema pro Schuhkategorie haben, und wenn wir sehen, dass es Themen gibt, die sich überschneiden und mehreren Kategorien entsprechen, scheinen neun zu viele zu sein. |
| Aber das muss natürlich noch ein anderes ???, also wenn die Bergschuhe mehr als einem Thema entsprechen, muss es Themen geben, die nicht so eindeutig zuordenbar sind. |
| Schauen Sie sich also zum Beispiel dieses Thema Nummer fünf an. Und so, wie die repräsentativsten Schuhe. Sie werden dies als eine riesige Sammlung sehen. |
| Es gibt progressive Schuhe, Straßenlaufschuhe, Straßenschuhe und so weiter. Das sind also meist Kategorien, die sich irgendwie überschneiden und sich nicht voneinander unterscheiden. Stellen Sie sich also vor, wo ist der Unterschied zwischen dem Trailrunning-Schuh und dem Straßenlaufschuh? |
| Oder gehen Sie dann zum nächsten Schritt, was ist der Unterschied zwischen Trailrunning und Wandern? |
| Es gibt bestimmte Überschneidungen bei diesen Schuhen, und wenn es diese Überschneidungen gibt, können Sie die eine Merkmalskonfiguration für diese eine Schuhkategorie nicht eindeutig identifizieren. |
| Das ist also auch sehr wertvolles Lernen. Es verwaltet natürlich Ihr Portfolio an verschiedenen Laminaten. Sie möchten wissen, ob ich ein bestimmtes Laminat für diese bestimmte Endanwendung benötige oder ist das eher ähnlich zu anderen Laminaten, die ich bereits habe? |
| Am Ende wollten wir also eine endgültige Sammlung von Themen haben, bei denen wir keine Themen haben, die mehr als einer Kategorie entsprechen, und das haben wir von Hand gemacht. Also haben wir eine unterschiedliche Anzahl von Themen analysiert und am Ende hatten wir fünf. |
| Sie werden sehen, dass diese fünf Themen einer bestimmten Anzahl von Kategorien entsprechen, aber wir werden sehen, dass nicht alle Schuhkategorien damit repräsentiert werden können. |
| Wir hatten also zwei Learnings. Die erste Erkenntnis war, dass wir einige Prototypen von Schuhbeschreibungen für diese haben |
| Schuhkategorien. Andererseits sind alle hier nicht genannten Schuhkategorien möglicherweise nicht sehr differenziert oder haben nicht diese eine einzige Konfiguration |
| in ihrer Schuhbeschreibung. |
| Und das war nur eine Option, die der Text Explorer bietet. Es gibt auch andere Optionen, aber wir haben uns darauf konzentriert und es hat ziemlich gut funktioniert. |
| Und damit möchte ich den Text Explorer verlassen und Ihnen nur einen kurzen Ausblick geben, was Sie mit dem Thema Dokument Begriffsmatrix noch alles machen könnten. |
| Hier habe ich also den gleichen Datensatz wie zuvor, aber ich habe die Dokumenttermmatrix exportiert. Sie sehen also viele neue Spalten, die für jeden Begriff angezeigt werden |
| die Häufigkeit dieses Begriffs in einer bestimmten Schuhbeschreibung. |
| Und wir haben es mit verschiedenen Versionen davon versucht, also hatten wir eine Dokumentbegriffsmatrix, die Häufigkeiten angibt; wir hatten einen, der nur anzeigt, dass er enthalten ist, er ist nicht enthalten; usw. Und wir landeten bei dieser Version. |
| Und mithilfe der Möglichkeiten von JMP Pro haben wir eine Validierungsspalte erstellt, um unseren Datensatz in Trainings-, Validierungs- und Testdaten aufzuteilen. Die Trainings- und Validierungsdaten werden verwendet, um unser Vorhersagemodell zu trainieren, und die Testdaten werden zum Testen verwendet. |
| Und wenn wir über prädiktive Modellierung sprechen, was ist unser Ziel hier? Was wir also vorher gemacht haben, war eine Art unbeaufsichtigte Technik, weil |
| wir haben einfach nach themen gesucht und anschließend mit den schuhkategorien verglichen. Und jetzt wollen wir etwas proaktiver sein, also haben wir die Schuhbeschreibung, können wir eine Kategorie explizit vorhersagen? |
| Und wir haben verschiedene prädiktive Modellierungstechniken ausprobiert, die JMP 15 Pro bietet, und sind schließlich zu einem Bootstrap-Wald gekommen. Und hier möchte ich Ihnen nur eine Vorstellung davon geben, wie die Ergebnisse aussehen könnten und wofür wir die Ergebnisse verwenden könnten. |
| Sie sehen also die Ergebnisse in der Konfusionsmatrix im Testdatensatz, was war die Kategorie, eine bestimmte Schuhbeschreibung und was habe ich mit meinem Bootstrap-Forest vorhergesagt? |
| Und interessanterweise sehen Sie so ziemlich die gleichen Ergebnisse wie zuvor. Es gibt also bestimmte Kategorien, die sich klar von anderen unterscheiden lassen, |
| die bereits über eine einzigartige Feature-Konfiguration verfügen, und es gibt andere, die keine haben. Schauen Sie also zum Beispiel bei den Straßenlaufschuhen vorbei. |
| Wir haben bereits in unserer ersten Analyse festgestellt, dass diese irgendwie nicht eindeutig definiert sind. Und wir werden auch hier sehen, ich sage voraus, dass viele Schuhe Straßenlaufschuhe sind, die tatsächlich andere Schuhe sind. |
| Das bedeutet also, dass die Ergebnisse, die wir zuvor hatten, bestätigt werden. Wir sehen, dass genau die Schuhkategorien, die mit dieser unbeaufsichtigten Technik gut beschrieben wurden, hier auch gut beschrieben sind, und diejenigen, die nicht gut differenziert sind, sind hier auch nicht so differenziert. |
| Das war also ziemlich interessant zu sehen, und es gibt viele weitere Dinge, die Sie jetzt mit dieser Analyse tun könnten. Du könntest z.B. |
| Eine Analyse, was ist ... was sind die wichtigsten Probleme, wenn ich bestimmte Schuhe unterscheiden möchte? Das ist also der Spaltenbeitrag, welche Begriffe bei der Unterscheidung von Schuhkategorien am meisten beitragen? |
| Oder Sie könnten anhand der ROC-Kurven weiter untersuchen, welche Schuhkategorien sehr differenziert werden können, welche nicht. |
| Und nicht zuletzt könnten Sie dieses Modell für Vorhersagen verwenden. So könnten Sie hier bestimmte Ausstattungskonfigurationen oder Schuhbeschreibungen eingeben |
| und sagen dann die Wahrscheinlichkeit voraus, dass diese Beschreibung zu einer bestimmten Schuhkategorie gehört. In diesem Fall würden wir beispielsweise sagen, dass dieser Schuh ein Straßenlaufschuh sein könnte. |
| Aus Zeitgründen gehe ich nicht weiter ins Detail, möchte aber schnell zusammenfassen. Was waren also unsere wichtigsten Erkenntnisse? Das waren die wichtigsten Erkenntnisse |
| Der Text-Explorer ist ein sehr großartiges Tool, das absolut intuitiv ist und mit dem Sie schnell Informationen aus unstrukturierten Textdaten extrahieren können. |
| wo unterscheiden sie sich, wo nicht? Was ist ... welche Eigenschaften werden in diesen Schuhen gewünscht? Aber irgendwie bestätigten die Ergebnisse, was wir erwarten. |
| Und diese Bestätigung könnten wir entweder mit nicht überwachten Techniken oder mit einer überwachten Technik machen, also verglichen wir die Themenanalyse, indem wir hier die SVD und das Vorhersagemodell mit einem Bootstrap-Forest verwenden, und andere könnten ähnlich gut funktionieren. |
| Abschließend möchte ich mich bei der Gruppe bedanken ??? wer hat sich das Problem ausgedacht. Sie haben alle Daten gesammelt und alle Daten bereinigt und tolle Diskussionen geführt |
| den Sinn oder Unsinn verschiedener Techniken. Ohne sie hätten Sie diesen Vortrag jetzt nicht gehört. Und zusätzlich, |
| Ich danke Jonas, einem ehemaligen Kollegen der TU Dortmund, der mich zur Textanalyse beraten hat. |
| Abschließend möchte ich Ihnen für Ihre Aufmerksamkeit danken und stehe Ihnen gerne für Fragen zur Verfügung, sei es per E-Mail oder in der JMP User Community. Schreiben Sie mir einfach eine Nachricht. |
