Strategien zum Entfernen unwichtiger Begriffe in Text Explorer AnalysisIch bin neugierig, mit welchen Strategien Menschen entscheiden, wie unwichtige Begriffe aus einer Text Explorer-Analyse entfernt werden sollen.
Ich arbeite mit einem Kunden zusammen, und er möchte die Anzahl der Begriffe auf etwas überschaubarer reduzieren. Dies erklärt die prozentuale Variation bei der latenten sematischen Analyse (der Cum-Prozentwert ist unter dem Einzelwert angegeben).
Sie führen interaktiv LSA durch, dann RotatedTopic Analysis für die oberen x% des Singular Value Cum Percent (sie wollen 70%), und entfernen dann die Terme.
Wie entfernen wir Begriffe auf intelligente Weise?
Ich schlug vor, dass sie den absoluten Wert jedes Begriffs für jedes Thema verwenden und die niedrigsten Werte auswählen (da diese Wörter nicht zu jedem Thema beitragen).
Sie verwendeten Gen Reg auch, um Themen gegen eine Ergebnisvariable zu modellieren, um Themen zu finden, die für dieses Ergebnis nicht wichtig sind, und Top-Begriffe aus Zero-ed-Themen (mit der LASSO) zu entfernen. Ich bin bei diesem Ansatz weniger sicher.
Irgendwelche anderen Gedanken oder Ideen da draußen? Soll ich dies in der Öffentlichkeit veröffentlichen?
Re: Strategien zum Entfernen unwichtiger Begriffe in Text Explorer AnalysisVersuchen Sie, Stoppwörter aus allen Begriffen zu machen, die mehr Vorkommen haben als Dokumente. Als ich das für das Projekt Gutenberg books gemacht habe, hat es die Sprachen besser unterschieden, da der englische Text in der Druckschrift verschwunden war. Zumindest habe ich die Ergebnisse so interpretiert.
Re: Strategien zum Entfernen unwichtiger Begriffe in Text Explorer AnalysisEs gibt viele Leitprinzipien und Regeln, aber es gibt viele Ausnahmen. Die Regeln bringen dich nur so weit. Eine aussagekräftige Analyse erfordert, dass ein Domänenexperte beträchtliche Zeit mit der Prüfung der Begriffsliste (und später der Ausdrucksliste) verbringt, um bedeutungslose Begriffe zu entdecken und zu stoppen (ala Craige). Ja, ich meine die Liste nach einem Begriff kuratieren.
Diese Analyse ist also kein vollständig automatisierter Prozess. Tokenisierungs-, Terming- und Phrasierungsparameter helfen, aber sie sind ein Sledghammer, kein Skalpell. Alle Experten, mit denen ich während des Kurses für JMP gesprochen habe, sagten mir, dass der Analytiker diese Zeit auf der Liste verbringen muss. Sie verwendeten SAS Text Miner, ein viel leistungsfähigeres Analysesystem als JMP, und konnten diese Arbeit immer noch nicht vermeiden.
Der Text-Explorer bietet wunderbare Werkzeuge für den Analytiker. Tools, keine Lösung.
Ich sollte hinzufügen, dass es wirklich hilfreich ist, Fragen zu definieren, die von der Analyse zu beantworten sind. Diese Fragen werden Ihnen helfen, wenn Sie fragen: "Soll ich diesen Begriff beibehalten?" oder "Wie würde ich diesen Begriff verwenden?"
Re: Strategien zum Entfernen unwichtiger Begriffe in Text Explorer AnalysisUnterstützung für hinzufügen @ Markbailey . Abgesehen davon, dass übliche Verbindungswörter usw. aufgegeben werden. wie @Craige_Hales legt nahe, dies ist ein äußerst manueller Prozess. Ein gutes Buch, um die breiten Markierungen zu erlernen, die Mark erwähnt, ist Miners Practical Text Mining - aber es ist viel Versuch und Irrtum, egal wie Sie es schneiden.
MRe: Strategien zum Entfernen unwichtiger Begriffe in Text Explorer AnalysisTolle Vorschläge! Ich suche speziell nach etwas, nachdem ich alle Begriffe und Ausdrücke kuratiert habe - etwas, das eine analytische Technik über "Ich denke, dieses Wort könnte wichtig sein könnte" ist. Ich liebe Craiges Vorschlag!
Wir haben ANALYTICAL-Techniken, um Top-Ausdrücke zu finden.
Re: Strategien zum Entfernen unwichtiger Begriffe in Text Explorer AnalysisHallo Laura,
Eines der Dinge, an die ich mich aus der Vergangenheit erinnerte, war der Vorschlag, die SVD-Scatterplot-Matrix zu erstellen und dieses Diagramm als Werkzeug zu verwenden, um Stoppwörter aus der Term- und der Pharse-Liste zu finden. Wählen Sie einige Phrasen aus, und die Begriffe werden ebenfalls hervorgehoben. Sie können dann "Text anzeigen" anzeigen, um zu sehen, ob Sie die Begriffe / Phrasen beibehalten oder nicht als Stoppwörter hinzufügen möchten.
Beste,
Rechnung
Re: Strategien zum Entfernen unwichtiger Begriffe in Text Explorer AnalysisWenn das Ziel darin besteht, die für eine Ergebnisvariable relevanten wichtigen Begriffe auszusortieren, führen Sie einfach den GenReg für die Variablenauswahl direkt mit den DTM-Spalten aus. Da es sich um eine große Regression handelt, wird es eine Weile dauern, bis der Vorgang abgeschlossen ist. Für das Beispiel der Toronto Casino-Daten habe ich den Lasso mit 1.787 binären DTM-Säulen ausgeführt. Es dauerte ungefähr 20 Minuten. Ich fand 483 aktive (von Null verschiedene) Ausdrücke 203 statistisch signifikant (p-Wert <0,05).
Ein visuellerer Ansatz ist die Verwendung der Option Coloring / By Column Value in der Word Cloud. Wenn Sie die Wörter nach der Ergebnisvariablen färben, können Sie sehen, welche Wörter den Ergebnissen zugeordnet sind. Die mit gemischten Farben sind mit dem Ergebnis nicht oder weniger verbunden.
