Text Explorer: Finden Sie ähnliche Dokumente ausgehend von einem bestimmten DokumentIch habe also ein Korpus mit Tausenden von Dokumenten, das die Details von Problemen enthält, die in der Vergangenheit gelöst wurden. Es ist ein riesiger Wissenshaufen. Jedes Dokument hat auch Metadaten (zweifelhafte Qualität + Auslassungen). Die Dokumente haben über 100 Token, die die Geschichte dessen erzählen, was getan wurde.
Stellen Sie sich diesen Anwendungsfall vor: Durch Filter und Metadaten habe ich ein Dokument (ID Nr. 5678) gefunden, das dem Problem, das ich gerade zu lösen versuche, ziemlich nahe kommt. Wie kann ich einfach alle Dokumente finden, die Nr. 5678 ähneln?
Mit meinem derzeitigen Wissen über die Text Explorer-Plattform könnte ich eine Themenanalyse durchführen, dann nachschauen, zu welchem Thema Nr. 5678 gehört (sagen wir Nr. 10) und mir dann alle Dokumente ansehen, bei denen Thema=10 ist.
Gibt es eine bessere Möglichkeit, dies zu tun?
Vielen Dank im Voraus aus dem stürmischen Kuala Lumpur, Malaysia!
Erweiterte statistische ModellierungDatenexploration und -visualisierungBetreff: Text Explorer: Suche nach ähnlichen Dokumenten ausgehend von einem bestimmten DokumentHey, @markschahl!
Themenanalyse ist eine Möglichkeit, ich bin auch ein Fan der SVD-Diagramme selbst (Beispiel im Bild unten, auch JMP Docs 1 und JMP Docs 2 ). Die Ranken, die vom Zentrum des Diagramms wegführen, neigen dazu, ähnliche Themen zu haben. Die Doc-SVD- und Term-SVD-Diagramme bieten leicht unterschiedliche Ansichten der Daten. Sie sollten sich beide ansehen. Mit etwas Glück liegt Ihr Dokument, das Sie interessiert, weit außen auf einer Ranke, was Ihnen einige gute Kandidaten liefern sollte.
Da Sie Metadaten und Token haben, können Sie auch das Torch-Add-In ausprobieren. Es verfügt über einige Sprachmodelle, die möglicherweise funktionieren.
Betreff: Text Explorer: Suche nach ähnlichen Dokumenten ausgehend von einem bestimmten DokumentZusätzlich zum Vorschlag von @MikeD_Anderson können Sie möglicherweise auch mit Diskriminanz- und Korrespondenzanalyse gute Ergebnisse erzielen. Hier ist ein Blogeintrag , der den Vorgang detailliert beschreibt.
Betreff: Text Explorer: Suche nach ähnlichen Dokumenten ausgehend von einem bestimmten DokumentIch denke, Sie möchten Token ausschließen, die die Lösung beschreiben, weil Sie nach ähnlichen Problemen suchen, die unterschiedliche Lösungen hatten.
Betreff: Text Explorer: Suche nach ähnlichen Dokumenten ausgehend von einem bestimmten DokumentJed:
Danke. Das habe ich versucht. Anstelle von „Autoren“ hatte ich den Typ der Fertigungsplattform (denken Sie an den Typ der Verarbeitungseinheit in einer Raffinerie oder einem Chemiewerk). Können wir die Fertigungsplattform anhand der Wörter im Beschreibungstext vorhersagen? Die Gesamtrate der Fehlklassifizierungen lag bei 60 %. Wenn man sich die Klassifizierungszusammenfassung ansieht, lag die höchste vorhergesagte Rate bei ~0,6. Man kann also davon ausgehen, dass die Probleme einer Plattform nicht nur auf diese Plattform beschränkt sind, was Sinn macht, da es viele Geräte/Prozesse gibt, die plattformübergreifend gleich sind. Meine Hypothese, dass wir plattformübergreifend nach Lösungen suchen sollten, erscheint vernünftig …
Betreff: Text Explorer: Suche nach ähnlichen Dokumenten ausgehend von einem bestimmten DokumentMike:
Interessant ist der Vergleich der Themenanalyse mit SVD. SVD zeigt, dass ~56 % über dasselbe (dieselben) Thema(n) sprechen.
Ich überlege noch einmal, wie viele Themen/Cluster ich anfordern soll. Gibt es dazu irgendwelche Hinweise? Gibt es dafür ein Screeplot-Äquivalent?
Betreff: Text Explorer: Suche nach ähnlichen Dokumenten ausgehend von einem bestimmten DokumentCraig:
Ich habe jede Menge Metadaten darüber, welche Tools/Techniken zur Lösung des Problems verwendet wurden. Ich habe das mit der Freitextgeschichte abgeglichen: Kann ich den Metadaten oder der Geschichte die wahre Wahrheit anvertrauen? Ich werde Ihren Vorschlag ausprobieren: JMP ist ein Hochfrequenz-Token im Korpus ...
Ich hoffe, der Ruhestand macht es Ihnen gut!
