Lautsprecher | Transkript |
| Kira Alhorn | Okay, willkommen zu meinem Vortrag, Ein Spaziergang durch den Text-Explorer, um die Bedürfnisse der Kunden zu verstehen. Ich bin sehr glücklich darüber |
| Anwesend ist der JMP Discovery Summit im virtuellen Format. Mein Name ist Kira Alhorn und ich bin Statistikerin bei WL Gore and Associates. |
| Und bevor ich mit der Präsentation selbst beginne, möchte ich Ihnen schnell unser Unternehmen vorstellen. WL Gore and Associates ist ein globales Materialwissenschaftsunternehmen, das wir produzieren |
| Sehr unterschiedliche Lösungen für sehr unterschiedliche Branchen, angefangen von der Luft- und Raumfahrt bis hin zu medizinischen Produkten und dem, was die meisten von Ihnen vielleicht kennen |
| ist unsere Marke Gore-tex. Darauf werden wir uns heute konzentrieren und die Marke Gore-tex produziert haltbare wasserdichte und atmungsaktive Stofflaminate. |
| Und diese Laminate werden an unsere Kunden oder Markenpartner verkauft, die daraus Produkte herstellen. Insbesondere werden wir uns heute auf Schuhe konzentrieren. |
| Das ist also ein kurzer Überblick über meinen Vortrag. Ich werde mit dem Hintergrund und der Motivation beginnen. Also, was schauen wir uns an? Wir schauen uns Schuhbeschreibungen an und warum interessiert uns das? |
| Anschließend wird der Rest des Gesprächs in JMP durchgeführt. Ich werde JMP 15 Pro verwenden und Ihnen dort zeigen, wie Sie den Text Explorer verwenden |
| zur Analyse unserer Schuhbeschreibungen. So finden Sie Themen in diesen Texten oder in den Schuhbeschreibungen, sodass diese Themen verwendet werden können, um allgemeine Schuhbeschreibungen oder allgemeine Themen in den Schuhbeschreibungen zu finden und diese mit verschiedenen Kategorien von Schuhen zu vergleichen, die wir haben. |
| Und schließlich wird dies nur eine sehr kurze Einführung sein. Wir verwenden einige Vorhersagemodelle, um unsere Ergebnisse zu validieren und mehr zu erhalten. Es wird einen tieferen Einblick in die Kategorisierung der Schuhe durch die verschiedenen Schuhbeschreibungen geben. |
| Stellen Sie sich also Ihren eigenen Schrank und die Schuhe vor, die Sie in Ihrem Schrank haben |
| Und jeder von Ihnen wird mindestens eine kleine oder eine ziemlich große Sammlung verschiedener Schuhe in seinem Schrank haben, und die Frage ist, warum Sie so viele Schuhe haben? |
| Und dass Ihre Schuhe zu Ihrem Stil passen müssen und Sie möglicherweise unterschiedliche Farben usw. benötigen, ist dies nicht der einzige Grund, warum Sie unterschiedliche Schuhe haben. |
| Der andere Grund ist, dass Sie unterschiedliche Schuhe benötigen. Stellen Sie sich vor, Sie haben ein Paar Laufschuhe, mehrere Paar Schuhe für den Freizeitgebrauch und möglicherweise Wanderschuhe. |
| Und Sie haben diese, weil jeder der Schuhe unterschiedliche oder leicht unterschiedliche Eigenschaften hat, die diesen Schuh für diesen Endgebrauch verwendbar machen, und Sie benötigen diese Merkmale für diesen Endgebrauch. |
| Wir haben uns also gefragt, ob wir, wenn wir uns die Schuhbeschreibungen unserer Markenpartner ansehen, irgendwie herausfinden können, was verschiedene Schuhe einzigartig macht. Sie sehen hier also eine Sammlung |
| von verschiedenen Schuhkategorien, die uns jetzt für verschiedene Endanwendungen von Schuhen entsprechen. |
| Und jetzt stellt sich die Frage, ob ein Kunde beispielsweise einen neuen Wanderschuh herstellen möchte. Welche Funktionskonfiguration sollten wir in unserem Laminat anbieten, das wir für einen Schuh verkaufen, der zum Wandern verwendet werden soll? |
| Können uns diese Schuhbeschreibungen einen Prototyp geben, den wir unseren Kunden anbieten können? |
| Und was ist natürlich ein weiterer Aspekt, der hier interessant ist, wie unterscheiden sich andere Schuhe? Was ist der Unterschied zwischen diesem Wanderschuh und dem Straßenschuh? Warum brauchen wir diese Unterschiede? |
| Und das war unsere Absicht, als wir mit der Analyse der Daten begannen. |
| Damit möchte ich zu JMP gehen. |
| Und in JMP möchte ich Ihnen zunächst zeigen, wie die von uns gesammelten Daten aussehen. |
| Wir haben also einfach die Webseiten unserer Markenpartner besucht und Schuhbeschreibungen aus diesen Paketen gesammelt. |
| Für jede Schuhkategorie haben wir eine bestimmte Anzahl von Schuhbeschreibungen und Sie werden sehen, wir haben einfach die gesamte Beschreibung in unsere Datentabelle kopiert. |
| Das mag also ziemlich lang sein, es mag ziemlich kurz sein, aber wir haben nicht mehr getan, als nur zu kopieren. |
| Andererseits können Sie sich vorstellen, dass wir mit diesem Textfeld nicht viel tun können. |
| Zumindest scheint dies nicht möglich zu sein, da JMP großartige Möglichkeiten bietet, etwas zu tun. Und was bedeutet zu tun? Wir wollen Informationen aus diesem langen Text extrahieren und sie irgendwie verdaulicher machen. |
| Und diese verdaulichen Stücke |
| kann mit dem Text Explorer extrahiert werden. Also möchte ich zum Text-Explorer gehen und die Schuhbeschreibung hier in die Textspalten einfügen. |
| Und hier sind viele Optionen. Diese Optionen fließen in die Algorithmen ein, die unsere Schuhbeschreibungen schneiden, oder wir nennen die Beschreibungsdokumente in der Sprache der Textanalyse. |
| Und dies schneidet die Dokumente in kleinere Informationen, wie ich bereits erwähnte, diese verdaulichen Stücke. |
| Und was Sie sehen werden, sind verdauliche Teile, nämlich wir haben diese Begriffe, die die kleinste Informationseinheit darstellen, und wir haben diese Ausdrücke, die Begriffe sind, die häufig zusammen vorkommen und eine Bedeutung haben können, wenn Sie sie kombinieren. |
| Sie können hier also den am häufigsten verwendeten Begriff sehen |
| In allen Dokumenten, also in allen Schuhbeschreibungen, steht der Begriff Komfort. |
| Als erstes haben wir alle Sätze hier durchgesehen und uns umgesehen. Gibt es welche, die Sinn machen? |
| Und der erste macht schon Sinn. Sie sehen hier also, dass die Begriffe Gore und tex als einzelne Begriffe erscheinen, aber natürlich ist es sinnvoll, den Begriff Gore-tex zu analysieren und nicht Gore und tex. |
| Sie können also alle sinnvollen Ausdrücke zur Begriffsliste hinzufügen. Also fügen wir den Satz hinzu, und Sie werden jetzt hier sehen, wir haben den Begriff Gore-tex anstelle des einzelnen Begriffs Gore. |
| Das war also der erste Schritt unserer Datenverarbeitung. Schritt zwei bestand darin, die Begriffsliste auf Duplikate oder zu überprüfen |
| wenn es Begriffe gibt, die keinen Sinn ergeben. Und JMP hat bereits eine wirklich gute Verarbeitung, da JMP bereits viele Wörter ausschließt, die keinen Sinn ergeben, wie und, a, |
| oder, die Ihnen keine Informationen geben. Es wird jedoch immer einige Begriffe geben, die keinen Sinn mehr ergeben, wie zum Beispiel dieses S. |
| Was würdest du mit einem S machen? Was sagt dir das über einen Schuh? Wir mussten also alle Begriffe durchgehen, und wenn es einen Begriff gibt, der keinen Sinn ergibt, nennen wir das ein Stoppwort und bearbeiten sie in der Liste der Stoppwörter, um sie von der Analyse auszuschließen. |
| Das war das eine. Die andere Sache, die ich erwähnt habe, war, wir müssen überprüfen, ob es Duplikate gibt, und Sie werden hier sehen, zum Beispiel, wir haben den Begriff Gore tex |
| und der Begriff GTX. Und GTX ist nur eine Abkürzung für den Begriff Gore-tex, daher sollten wir beide nicht getrennt analysieren, sondern kombinieren. |
| Sie haben also die Recode-Funktion, die fast dieselbe ist wie für Spalten, und dies ist ein großartiges Werkzeug, um diese zu kombinieren |
| ??? Daten. Sie sehen hier also die Funktion Recode, und ich gruppiere beide. |
| Und Sie werden jetzt sehen, dass dies jetzt nur ein einziger Begriff ist (Gore-tex), und dies ist tatsächlich der häufigste Begriff in unseren Daten. |
| So. |
| Wir haben mit 4.000 Begriffen begonnen und am Ende waren es nur 100 Begriffe. Sie sehen, wir haben noch 100 Begriffe und mit diesen können wir eine Menge Analysen durchführen. Diese sind sehr nützlich für uns, um ein Gefühl dafür zu bekommen, worum es bei einer Schuhbeschreibung geht. |
| Sie können diese Liste verwenden, um die häufigsten Begriffe anzuzeigen. JMP bietet jedoch auch ein sehr einfaches Visualisierungstool. |
| Durch Klicken auf das rote Dreieck können Sie eine Wortwolke hinzufügen. Und diese Wortwolke gibt Ihnen anhand der Größe des Wortes die Häufigkeit in allen Dokumenten, also in allen Schuhbeschreibungen. Daher sind Gore-Tex, Komfort und Leichtgewicht die am häufigsten verwendeten Begriffe in den von uns gesammelten Schuhbeschreibungen. |
| Aber Sie erinnern sich vielleicht, dass dies nicht genau das ist, worüber wir uns gewundert haben, oder? Wir haben uns also gefragt, was ist mit Schuhen für verschiedene Endbenutzer? |
| Und dafür können wir hier einfach den lokalen Datenfilter hinzufügen und die Endverwendung des Schuhs als Filter verwenden. So könnte ich mich zum Beispiel für die häufigsten Begriffe in allen Beschreibungen von Straßenwinterschuhen interessieren. |
| Und Sie werden kein Wunder sehen, die Begriffe Winter und Warm kommen häufig in den Beschreibungen von Straßenwinterschuhen vor. |
| Wenn Sie zum Beispiel die Trailrunning-Schuhe nehmen, sehen Sie hier einen anderen Schwerpunkt. Sie werden sehen, dass diese nicht warm sein müssen, aber atmungsaktiv, leicht und gut fit sein müssen. |
| Diese Wortwolken sind also sehr, sehr gut geeignet, um unsere erste Frage in den Griff zu bekommen. Was beschreibt also die Funktionskonfiguration verschiedener Schuhtypen? |
| Und damit haben wir nicht geendet. Wir wollten noch einen Schritt weiter gehen. |
| Der eine Schritt weiter ist, wenn Sie bereits alle Ihre Daten vorbereitet haben, können Sie irgendwie modellieren, um diesen Prototyp von Schuhkonfigurationen zu finden? Für diese Modellierung gibt es in JMP verschiedene Optionen, und wir haben uns für die SVD entschieden. |
| SVD führt eine Hauptkomponentenanalyse unserer Dokumenttermmatrix durch. |
| Und was bedeutet das? Die Dokumenttermmatrizen enthalten für jedes Dokument, also für jede Schuhbeschreibung: |
| die Häufigkeit jedes Begriffs. So würde es zum Beispiel für die erste Schuhbeschreibung zählen, wie oft wir den Begriff Gore-tex haben, wie oft wir den Begriff Komfort haben und so weiter und so fort. Sie können sich also vorstellen, dass dies eine sehr große Matrix ist. |
| Die Idee besteht nun darin, durch eine Hauptkomponentenanalyse, die die Dimension der Dokumenttermmatrix verringert, Ihre Daten besser in den Griff zu bekommen. |
| Und um die Daten besser visualisieren zu können. |
| Und basierend auf dieser Reduzierung der Dimensionen können wir jetzt einige Modellierungen durchführen. Und welche Art der Modellierung ist für uns interessant? Wir waren also daran interessiert, was einen Schuh für einen bestimmten Endverbrauch beschreibt. |
| Und um an diesen Punkt zu gelangen, haben wir analysiert, gibt es irgendwelche Themen in den Schuhbeschreibungen? Und wenn es Themen gibt, entsprechen diese Themen bestimmten Endanwendungen? |
| In einer idealen Welt würden wir also neun Themen in unseren Daten finden und diese neun Themen würden genau eine Schuhkategorie darstellen. Wir hätten also für jeden Schuh einen Prototyp einer Schuhkonfiguration oder eine Funktionskonfiguration. |
| Mal sehen, was passiert, wenn ich ... Sie nach neun Themen suchen. Ich werde hier auf die Themenanalyse klicken und eine 9 eingeben, da ich an neun verschiedenen Schuhkategorien interessiert bin. |
| Und was ich dann bekomme, ist eine Liste von Themen mit welchen Begriffen in diesen Themen häufig vorkommen. So umfasst Thema eins beispielsweise Schuhe |
| die in ihren Schuhbeschreibungen die Begriffe superfit, textil, warm und so weiter haben. Mein erstes Bauchgefühl hier wäre also, dass es sich um Straßen- oder Straßenwinterschuhe handeln muss. |
| Thema zwei besteht zum Beispiel aus Schuhbeschreibungen, die die Begriffe Hütte, Trekking, Mehrtägig usw. enthalten. Dies scheint also wie Trekkingschuhe zu sein. |
| Aber natürlich bin ich als Statistiker nicht glücklich, nur ein Bauchgefühl zu geben. Ich möchte wirklich wissen, welche Schuhkategorie zu welchem Thema gehört. Und dafür mache ich eine einfache Verteilung der Schuhkategorien und füge hier den lokalen Datenfilter hinzu, um ihn nur anzuzeigen |
| Kategorien |
| das sind... |
| um nur ausgewählte Schuhe anzuzeigen. |
| Was bedeutet das? Wie kann ich das nutzen? JMP bietet hier die Themenbewertungsdiagramme und diese Themenbewertungsdiagramme an |
| Haben Sie einen Punkt für jede Schuhbeschreibung für jedes Thema. |
| Je höher die Punktzahl für die Schuhbeschreibung ist, desto repräsentativer ist dieser Schuh für dieses bestimmte Thema. |
| Also wähle ich einfach alle Schuhe aus, die für Thema eins hohe Punktzahlen haben, und das werde ich sehen |
| Histogramm hier, dass das Straße und Straße Winterschuhe sind. Im Grunde war mein Bauchgefühl richtig. Diese Schuhe aus Textil, die Superfit haben, das sind die Street- und die Street-Winterschuhe. |
| Und Thema zwei erinnert sich, wir haben erwartet, dass es sich um Trekkingschuhe handelt. Sie werden in diesem Histogramm hier sehen, dass es sich um Trekkingschuhe handelt. |
| Und das können Sie jetzt für alle Themen tun, und das habe ich ins Tagebuch geschrieben. |
| Und Sie werden einige Schwierigkeiten sehen, all das zu tun. Wenn Sie also jedem Thema eine Schuhkategorie oder mehrere Schuhkategorien zuweisen, treten zwei Probleme auf. |
| Problem Nummer eins, hier dargestellt, würden Sie sehen, dass es bestimmte Schuhkategorien wie Bergsteigen gibt, die nicht durch ein Thema, sondern durch mehrere dargestellt werden. |
| Und Sie werden auch sehen, dass sich diese Themen überschneiden, sodass beispielsweise das Wort Steigeisen in beiden Themen vorkommt. |
| Das heißt, wir haben hier anscheinend zu viele Themen. |
| Idealerweise möchten Sie für diese Themen ein Thema pro Schuhkategorie haben. Wenn wir sehen, dass sich Themen überlappen, die mehreren Kategorien entsprechen, scheint neun zu viel zu sein. |
| Aber das muss natürlich ein anderes haben ??? Wenn die Bergschuhe also mehr als einem Thema entsprechen, muss es Themen geben, die nicht so eindeutig identifizierbar sind. |
| Schauen Sie sich zum Beispiel dieses Thema Nummer fünf an. Und so wie die repräsentativsten Schuhe. Sie werden dies als eine riesige Sammlung sehen. |
| Es gibt progressive Schuhe, Straßenlaufschuhe, Straßenschuhe und so weiter. Das sind also meistens Kategorien, die sich überlappen und sich nicht voneinander unterscheiden. Stellen Sie sich also vor, wo ist der Unterschied zwischen dem Trailrunning-Schuh und dem Roadrunning-Schuh? |
| Oder fahren Sie mit dem nächsten Schritt fort. Was ist der Unterschied zwischen Trailrunning und Wandern? |
| Es gibt bestimmte Überlappungen in diesen Schuhen, und wenn es diese Überlappungen gibt, können Sie die Konfiguration mit einem Merkmal für diese eine Schuhkategorie nicht eindeutig identifizieren. |
| Das ist also auch sehr wertvolles Lernen. Es verwaltet natürlich Ihr Portfolio aus verschiedenen Laminaten. Sie möchten wissen, ob ich ein bestimmtes Laminat für diesen bestimmten Endgebrauch benötigen muss oder ob dies anderen Laminanten, die ich bereits habe, ziemlich ähnlich ist? |
| Am Ende wollten wir also eine endgültige Sammlung von Themen haben, bei denen wir keine Themen haben, die mehr als einer Kategorie entsprechen, und das haben wir von Hand gemacht. Also haben wir verschiedene Themen analysiert und am Ende fünf. |
| Sie werden sehen, dass diese fünf Themen einer bestimmten Anzahl von Kategorien entsprechen, aber wir werden sehen, dass nicht alle Schuhkategorien dadurch dargestellt werden können. |
| Wir hatten also zwei Lektionen. Als erstes lernten wir, dass wir einige Prototypen von Schuhbeschreibungen für diese haben |
| Schuhkategorien. Andererseits sind alle hier nicht genannten Schuhkategorien möglicherweise nicht sehr differenziert oder haben möglicherweise nicht diese eine einzige Konfiguration |
| in ihrer Schuhbeschreibung. |
| Und das war nur eine Option, die der Text Explorer anbietet. Es gibt auch andere Optionen, aber wir haben uns darauf konzentriert und es hat ziemlich gut funktioniert. |
| Und damit möchte ich den Text Explorer verlassen und Ihnen nur einen kurzen Überblick darüber geben, was Sie mit der Termmatrix des Themendokuments weiter tun können. |
| Hier habe ich also den gleichen Datensatz wie zuvor, aber ich habe die Dokumenttermmatrix exportiert. Sie sehen also viele neue Spalten, die für jeden Begriff angezeigt werden |
| die Häufigkeit dieses Begriffs in einer bestimmten Schuhbeschreibung. |
| Und wir haben es mit verschiedenen Versionen versucht, also hatten wir eine Dokumenttermmatrix, die die Häufigkeit angibt. wir hatten eine, die nur anzeigt, dass sie enthalten ist, sie ist nicht enthalten; und so weiter. Und am Ende haben wir diese Version. |
| Unter Verwendung der Möglichkeiten von JMP Pro haben wir eine Validierungsspalte erstellt, um unseren Datensatz in Trainings-, Validierungs- und Testdaten aufzuteilen. Die Trainings- und Validierungsdaten werden verwendet, um unser Vorhersagemodell zu trainieren, und die Testdaten werden zum Testen verwendet. |
| Und was ist hier unser Ziel, wenn wir über prädiktive Modellierung sprechen? Was wir vorher gemacht haben, war eine Art unbeaufsichtigte Technik, weil |
| Wir haben nur nach Themen gesucht und anschließend mit den Schuhkategorien verglichen. Und jetzt wollen wir ein bisschen proaktiver sein, also haben wir die Schuhbeschreibung. Können wir eine Kategorie explizit vorhersagen? |
| Wir haben verschiedene Vorhersagemodellierungstechniken ausprobiert, die JMP 15 Pro bietet, und haben dann eine Bootstrap-Gesamtstruktur erhalten. Und hier möchte ich Ihnen nur eine Vorstellung davon geben, wie die Ergebnisse aussehen könnten und wofür wir die Ergebnisse verwenden könnten. |
| Sie sehen also die Ergebnisse in der Verwirrungsmatrix im Testdatensatz, wie war die Kategorie, bestimmte Schuhbeschreibung und was habe ich unter Verwendung meiner Bootstrap-Gesamtstruktur vorhergesagt? |
| Interessanterweise werden Sie fast die gleichen Ergebnisse sehen wie zuvor. Es gibt also bestimmte Kategorien, die sich deutlich von anderen unterscheiden lassen. |
| die bereits eine eindeutige Funktionskonfiguration haben, und es gibt andere, die keine haben. Schauen Sie sich zum Beispiel die Straßenlaufschuhe an. |
| Wir haben bereits in unserer ersten Analyse festgestellt, dass diese nicht eindeutig definiert sind. Und wir werden auch hier sehen, ich sage voraus, dass viele Schuhe Straßenlaufschuhe sind, die in der Tat andere Schuhe sind. |
| Das heißt, dies bestätigt die Ergebnisse, die wir zuvor hatten. Wir sehen genau, dass die Schuhkategorien, die mit dieser unbeaufsichtigten Technik gut beschrieben wurden, auch hier gut beschrieben werden und diejenigen, die nicht gut differenziert sind, auch hier nicht so differenziert sind. |
| Das war ziemlich interessant zu sehen, und es gibt eine Menge weiterer Dinge, die Sie jetzt mit dieser Analyse tun können. Sie könnten zum Beispiel tun |
| eine Analyse, was ist ... was sind die wichtigsten Probleme, wenn ich bestimmte Schuhe unterscheiden möchte? Das ist also der Spaltenbeitrag, zu dem die Begriffe bei der Unterscheidung von Schuhkategorien am meisten beitragen? |
| Oder Sie können anhand der ROC-Kurven weiter untersuchen, welche Schuhkategorien sehr differenziert werden können und welche nicht. |
| Und zu guter Letzt können Sie dieses Modell zur Vorhersage verwenden. Sie können hier also bestimmte Funktionskonfigurationen oder Schuhbeschreibungen eingeben |
| und dann die Wahrscheinlichkeit vorhersagen, dass diese Beschreibung zu einer bestimmten Schuhkategorie gehört. In diesem Fall würden wir beispielsweise vorhersagen, dass es sich bei diesem Schuh möglicherweise um einen Straßenlaufschuh handelt. |
| Aufgrund der Zeit werde ich nicht auf weitere Details eingehen, möchte aber schnell zusammenfassen. Was waren unsere wichtigsten Erkenntnisse? Die wichtigsten Ergebnisse waren das |
| Der Text-Explorer ist ein großartiges Tool, das absolut intuitiv ist und mit dem Sie schnell Informationen aus unstrukturierten Textdaten extrahieren können. |
| wo unterscheiden sie sich, wo nicht? Was ist ... welche Eigenschaften werden in diesen Schuhen gewünscht? Aber diese bestätigten irgendwie, was wir erwarten. |
| Und diese Bestätigung, wir könnten dies entweder mit unbeaufsichtigten Techniken oder mit einer überwachten Technik tun, sowhe verglich die Themenanalyse, unter Verwendung der SVD und des Vorhersagemodells hier mit einer Bootstrap-Gesamtstruktur, und andere könnten ähnlich gut funktionieren. |
| Zum Schluss möchte ich mich bei der Gruppe bedanken ??? Wer hat sich dieses Problem ausgedacht? Sie haben alle Daten gesammelt und alle Daten bereinigt. Sie haben großartige Diskussionen darüber |
| der Sinn oder Unsinn verschiedener Techniken. Ohne sie hätten Sie dieses Gespräch jetzt nicht gehört. Und zusätzlich |
| Ich möchte Jonas, einem ehemaligen Kollegen der Universität TU Dortmund, danken, der sich mit mir zur Textanalyse beraten hat. |
| Abschließend möchte ich mich bei Ihnen für Ihre Aufmerksamkeit bedanken und beantworte gerne alle Fragen, möglicherweise per E-Mail oder in der JMP User Community. Schreiben Sie mir einfach eine Nachricht. |
