Website für die gemeinsame Nutzung von Websites "JMP Public"
In JMP können Analyseberichte auf der Website freigegeben werden JMP Public Wir bieten eine Site namens.
Letzte Version von JMP, die Ende 2018 veröffentlicht wurde In JMP 14.2 können Sie einen interaktiven HTML-Analysebericht zu diesem JMP Public hochladen, indem Sie im Berichtsfenster [Datei] → [Veröffentlichen] auswählen.
Sie können den Umfang des Berichts so einstellen, dass nur der Principal, der hochgeladen wurde, oder alle Personen ihn anzeigen können (Sie müssen sich zum Hochladen bei der JMP Public-Site mit dem SAS-Profil anmelden).
Viele Analyseberichte werden in JMP Public hochgeladen.
Da es einen Bericht des Ingenieurs der JMP Japan Division gibt, freuen wir uns auf ihn und Artikel, die den Inhalt dieses Berichts beschreiben.
|
Beim Text-Mining die Musik der Band "Queen"
Film wurde Ende letzten Jahres veröffentlicht "Böhmische Liebe Sody" Hast du es gesehen?
Es scheint, dass eine breite Palette von Generationen von der Generation, in der Queen aktiv war, bis zu dem jungen Menschen, der nicht viel über Queen selbst weiß, beobachtet werden, da der Spaß am Film unmittelbar nach der Veröffentlichung zu einem heißen Thema wurde.
Obwohl ich es auch schätze, fielen mir die Songs auf, die ich selbst beim Hören nicht verblassen kann, während ich gleichzeitig die Geschichte höre.Danach aus dem Gedanken heraus, plötzlich mehr über Queen's Poesie erfahren zu wollen (?Ich habe Text Mining versucht.
Vor der Analyse kannte ich nur das repräsentative Lied von Queen, aber ich nannte ein Wort "Bicycle" und nannte "Killed a man" wie ein Lied "Bohemian Rhapsody". Da es Texte und charakteristische Texte des Opernparts gibt, dachte ich, dass etwas interessantes erzielt werden könnte.
Wir werden die folgenden drei Ergebnisse aus dem Text-Mining vorstellen.
- Welche Wörter werden häufig verwendet?
- Was ist, wenn ich versuche, die Songs nach den von mir verwendeten Wörtern zu sortieren?
- Kannst du Texte von Wörtern unterscheiden, die in Texten enthalten sind?
Die Untersuchungsgegenstände waren Lieder, die von 1973 bis 1991 in das Album aufgenommen wurden, und Lieder (Instrumental) ohne Text wurden ausgeschlossen.Es war nicht bis 1991, weil ich Freddie Mercury singen wollte, um Songs anzugreifen, die zu Lebzeiten veröffentlicht wurden.
Welche Wörter werden häufig verwendet?
Welche Wörter werden häufiger für die zu analysierenden Songs verwendet?Die Antwort wird in der Wortwolke angezeigt.Die Wortwolke ist eine Visualisierungsmethode, die häufig im Text-Mining verwendet wird, und zeigt sie mit größeren Buchstaben an, wenn die Häufigkeit des Erscheinens von Wörtern zunimmt.
Wortwolke (Häufigkeit des Auftretens von Wörtern)
Bitte beachten Sie die folgenden drei Punkte zu der angezeigten Wortwolke, indem Sie oben klicken.
Wir führen eine Wortstammextraktion durch und zeigen Wörter mit einer Häufigkeit von 10 oder mehr an.
Durch das Extrahieren des Wortstamms können Sie die Änderung am Ende eines Wortes beseitigen und Wörter mit gemeinsamen Stämmen zusammenstellen.Das Wort "Stamm" ist am Ende des Wortes mit "·" gekennzeichnet.Zum Beispiel wird "wissen" in der Wortwolke angezeigt, es enthält jedoch die drei Wörter "wissen", "wissen", "kennt".
- Wir schließen Wörter aus, die als Artikel, Hilfsverben, Pronomen, Verben, Präpositionen betrachtet werden.
- Für Wörter haben wir eine Abstufung mit blauem (durchschnittliches Release-Jahr zu früh) bis rot (durchschnittliches Release-Jahr zu spät).Mit anderen Worten, ein blaues Wort ist ein Wort, das in früheren Liedern häufiger verwendet wird, und ein rotes Wort zeigt an, dass es sich um ein Wort handelt, das in späteren Liedern häufiger verwendet wird (Stand Ende 1991).
Was ist, wenn ich versuche, die Songs nach den von mir verwendeten Wörtern zu sortieren?
Klassifizieren (gruppieren) Sie die Zielsongs in Songs, die ähnliche Wörter verwenden.Zu diesem Zweck zuerst Dokumentewortmatrix Ich werde das Konzept vorstellen.
Die Dokumentenwortmatrix ist eine Matrixdarstellung, ob jedes Wort erscheint oder nicht.Eine Zeile zeigt Musik und jede Spalte stellt jedes Wort dar. Weisen Sie für eine Wortfolge dem Song (Zeile), in dem das Wort erscheint, den Wert 1 zu, und weisen Sie dem Musikstück den Wert 0 zu, der nicht angezeigt wird Ich werdeObwohl es einfach ist, eine Dokumentewortmatrix zu erstellen, die einen Wert von 1 oder 0 annimmt, erstellen wir hier eine Dokumentewortmatrix, die unter Berücksichtigung der Wichtigkeit des Wortes "TF IDF" gewichtet wird .
Obwohl auf detaillierte Definitionen verzichtet wird, werden wir die Bedeutung von Wörtern in vielen Liedern herabsetzen und sie abwägen, um die Bedeutung von Wörtern zu erhöhen, die nur in einigen Liedern erscheinen.
Betrachten Sie zwei Beispiele für "Leben" ("Leben", "Leben"), "Fahrrad" (Fahrrad, Fahrradfahren), die als Wortstamm extrahiert wurden.
Die nachstehende Tabelle ist Teil der gewichteten Dokumentewortmatrix.
Wenn ein anderer Wert als 0 enthalten ist, bedeutet dies, dass das Wort (Wort des Spaltennamens), das diesem Song entspricht, enthalten ist. Wenn dieses Wort viele Male verwendet wurde, ist der Wert groß.
Zum Beispiel wird "life ·" in vielen Songs verwendet, so dass es zu einem kleinen Wert wird.
Auf der anderen Seite ist "bicycl ·" ein großer Wert, da es nur von den beiden Songs "Bicycle Race" und "More Of That Jazz" verwendet wird.Darüber hinaus ist "Bicycle Race" ein Lied, das "Fahrrad" viele Male ablehnt, so dass das Wort "Fahrrad" einen größeren Wert hat (46.557) als "More Of That Jazz", das nur einmal erscheint.
Bei Verwendung einer als SVD (Singular Value Decomposition) bezeichneten Technik für diese Dokumentewortmatrix ist es möglich, die Informationen der Matrix auf niedrige Dimensionen zu reduzieren und die Lieder und Wörter selbst mit ähnlichen Wörtern abzubilden, visuell Sie können sie gruppieren.
Auf der linken Seite der Abbildung unten wird die Ähnlichkeit von Musik visualisiert, und auf der rechten Seite wird die Wortähnlichkeit visualisiert.
Auf der linken Seite der obigen Abbildung sind die Titel in der Nähe ähnlich, etwas in der Ferne ist nicht ähnlich.
Viele Punkte befinden sich in der Nähe des Ursprungs (0, 0), aber die Punkte (Lieder) sind weiter entfernt von diesen Zusammenkünften.Die Songs mit diesen Labels werden mit einzigartigen Worten in den gesamten Songs der Queen sein, aber hier konzentrieren wir uns auf die beiden Songs "Bohemian Rhapsody" und "Great King Rat". .
Beide sind weit entfernt vom Ursprung, aber wenn man die Ähnlichkeit der Wörter aus der rechten Figur betrachtet, befinden sich "mama ·", "tell ·", "die ·" · im gleichen Abstand von den beiden Liedern Es befindet sich * 1.
Diese Worte sind etwas eigenartig in dem Sinne, dass sie nicht in anderen Liedern verwendet werden, da sie etwas weit vom Ursprung entfernt sind, aber "Bohemian Rhapsody" und "Great King Rat". Es wird bis zu einem gewissen Grad verwendet.
In diesem Zusammenhang befinden sich zwei Songs an einem solchen Ort * 2.
Übrigens schreibt Freddie Mercury Songs von beiden.
* 1 Der Minimalwert und der Maximalwert jeder Koordinate unterscheiden sich in der linken und der rechten, aber Sie können ihn ignorieren.
* 2 Eigentlich denke ich auch über die Verwendung anderer Wörter nach.
Als verwandte Analyse versuchen wir eine (hierarchische) Clusteranalyse mit zerlegten Informationen (singulärer Wert) (singulärer Vektor).Bei der Clusteranalyse werden Songs mit ähnlichen Wörtern (genau die Songs, die der Entfernung am nächsten liegen) nacheinander gruppiert, und Baumdiagramme können erstellt werden.
Von diesem Ergebnis aus können Sie Songs gruppieren, indem Sie die Anzahl der Gruppen (Cluster) festlegen. Hier zeigen wir Ihnen jedoch das Ergebnis der Farbgebung für jede Gruppe.
Abbildung durch Einzelwertzerlegung der Dokumentenwortmatrix, Clusteranalyse
Kannst du Texte von Wörtern unterscheiden, die in Texten enthalten sind?
Damals waren vier Mitglieder von Queen (1973 - 1991) dieser Analyse unterworfen, Freddie Mercury, Brian May, Roger Taylor und John Deacon, aber alle waren an Texten und Kompositionen beteiligt. Jedes Hit-Lied wird an die Welt geschickt.
Wie in Texten gibt es Wörter, die Texte häufig für Texte verwenden, und andere verwenden sie nicht viel, aber Wörter, die für diesen Texter spezifisch sind.
Wie wäre es mit dem Fall der Königin?
Hier untersuchen wir, ob Songwriter unterschieden werden können, indem die Diskriminanzanalyse verwendet wird, die sich auf Songs konzentriert, die nur ein bestimmter Sänger sind, und die oben beschriebene Dokumentewortmatrix verwendet wird.
Wir verwenden eine Dokumentewortmatrix (Gewicht TF IDF) mit den obersten 100 Wörtern in der Verwendungshäufigkeit, um zu prüfen, ob die vorhergesagten Texte mit den tatsächlichen Texten übereinstimmen.
Diskriminierung
Lesen Sie das angezeigte Ergebnis durch Klicken auf den Link oben wie folgt.
Unter dem Ergebnis befindet sich eine Tabelle wie die folgende. Dies ist eine Kreuztabelle des tatsächlichen Songwriters (Actual) und des Lyrikers (Predicted), die durch Diskriminanzanalyse vorhergesagt werden.
| Tatsächlich |
Vorausgesagte Anzahl |
|---|
| Autor |
Merkur |
Mai |
Taylor |
Diakon |
|---|
| Merkur |
42 |
1 |
0 |
0 |
|---|
| Mai |
0 |
36 |
0 |
0 |
|---|
| Taylor |
0 |
0 |
17 |
0 |
|---|
| Diakon |
1 |
0 |
0 |
11 |
|---|
Die erste Zeile ist Freddy Mercury, aber wenn Sie den Text anhand der Informationen der Top-100-Wörter vorhersagen, werden 42 Songs vorhersehbar vorhergesagt.Auf der anderen Seite, obwohl nur ein einziger Song tatsächlich von Freddie Mercury geschrieben wurde, sagte er voraus, dass es Brian May war, das heißt, es wurde vorhergesagt.
"Prozent falsch klassifiziert" über der Tabelle ist ein Index für die Fehlklassifizierungsrate, bei dem es sich um einen falsch vorhergesagten Anteil handelt (berechnet durch eine falsch vorhergesagte Anzahl von Songs / Anzahl der zu analysierenden Songs).
"Kanonische Darstellung" wird als kanonische Darstellung bezeichnet und ist eine visuelle Darstellung der Diskriminierungssituation mit zweidimensionalen Koordinaten.
Vier Personen sind in der Grafik positioniert, aber Roger Taylor ist weit entfernt von den anderen drei.Man kann also sagen, dass die Tendenz der Wörter, die für Roger Taylors Gedicht verwendet werden, sich deutlich von den anderen drei unterscheidet.
Wenn wir die oben dargestellte Kreuztabelle überprüfen, sind alle von Roger Taylor geschriebenen Songs (17 Songs) vorhersagend, und die Songs von drei anderen Liedtexten werden von Roger Taylor als Songwriting verwechselt Ich verstehe auch, dass es nichts gibt.Bei dem in der Grafik markierten Punkt handelt es sich übrigens um falsch identifizierte Titel.
Mein Analysebericht einschließlich der diesmal eingeführten Analyse wird an folgender Stelle gespeichert.
https://public.jmp.com/users/259
Von jetzt an werde ich interessante Analyseergebnisse veröffentlichen, wenn ich Lust habe, also bleibt dran.
