Text Mining in JMP der Liedtexte von QUEEN.
Japanischer Titel: Band "Queen" (Königin) Wenn Sie versuchen, die Musik von "" zu extrahieren
Geschrieben von: Naohiro Masukawa, System Engineer bei JMP Japan
Name des Autors auf japanisch: JMP-Systemingenieur Naohiro Masukawa
Haben Sie den Film "Bohemian Rhapsody" gesehen, der Ende letzten Jahres veröffentlicht wurde?Die Güte des Films wurde unmittelbar nach der Veröffentlichung zu einem großen Hit und es wurde ein großer Hit. Es scheint, dass eine große Generation von der Generation angeschaut wird, die sich die Zeit annahm, in der Queen aktiv war, und die jüngere, die nicht viel über Queen selbst weiß.
Ich bewunderte auch, aber zusätzlich zu der Geschichte fiel mir ein Lied auf, das ich nicht verblasste, selbst wenn ich es jetzt hörte.Ist es danach ein Beruf? " Plötzlich (? Aus dem Wunsch, mehr über die Dichtung von Königin zu erfahren?)) Ich habe versucht, Text Mining durchzuführen.
Bevor ich analysierte, kannte ich nur die typischen Songs von Queen, "Fahrrad" Wie das Lied "Bohemian Rhapsody" "Einen Mann getötet" Ich dachte, ich könnte interessante Ergebnisse aus den Texten (die die Männer töteten) und den charakteristischen Texten des Opernparts bekommen.
Unter dem Text-Mining das Folgende 3 Ich werde ein Ergebnis vorstellen.
- Welche Wörter werden häufig verwendet?
- Wenn ich Lieder nach den verwendeten Wörtern klassifiziere?
- Können Sie den Texter anhand der in den Texten enthaltenen Wörter identifizieren?
Analyseziel ist 1973 Aus dem Jahr 1991 Für die im Album des Jahres enthaltenen Songs, außer für das Instrumental ohne Text.1991 Es war bis zu dem Jahr, weil der Sänger Freddie Mercury die Songs seines Lebens veröffentlichen wollte.
■ Welche Wörter werden häufig verwendet?
Welche Wörter werden oft für die zu analysierenden Songs verwendet?Die Antwort Wortwolke Es zeigt sich von.Word Cloud ist eine Visualisierungsmethode, die häufig beim Text-Mining verwendet wird. Je größer die Häufigkeit des Auftretens eines Wortes ist, desto größer wird das Zeichen angezeigt.
Wortwolke
https://public.jmp.com/packages/Was-art-von-wort-soll-nutzungslade/js-p/5c3d904633868300a4314b06-1
Folgendes über Wortwolkenergebnisse 3 Bitte beachten Sie das.
- Stemming, Frequenz ist 10 Die obigen Wörter sind für die Anzeige vorgesehen.
Stemming ist eine Methode zum Entfernen von Änderungen an Wortenden und zum Zusammenfügen von Wörtern mit einem gemeinsamen Stamm.
Das Wort steht am Ende des Wortes " ・ " Es ist mit gekennzeichnet.
Zum Beispiel in einer Wortwolke "Wissen Sie ・ " Obwohl es angezeigt wird, ist dies "Wissen" . "Wissen" . "Weiß" Von 3 Enthält ein Wort.
- Artikel, Hilfsverben, Pronomen, sein Wörter, die scheinbar Verben oder Präpositionen sind, werden von der Analyse ausgeschlossen.
- Die Wörter werden von blau (durchschnittliches Veröffentlichungsjahr zu früh) bis rot (durchschnittliches Veröffentlichungsjahr zu spät) eingestuft.Mit anderen Worten, blaue Wörter werden in früheren Liedern häufiger verwendet, und rote Wörter werden später (1991 Mit dem letzten Jahr ) Gibt an, dass das Wort häufig in verwendet wird
■ Wenn Sie Songs nach den verwendeten Wörtern klassifizieren?
Klassifizieren (gruppieren) Sie die Zielsongs in Songs, die ähnliche Wörter verwenden.Vor allem Dokumentewortmatrix Wir werden das Konzept von vorstellen
Eine Dokumentenwortmatrix ist eine Matrixdarstellung, ob jedes Wort erschienen ist oder nicht.Eine Zeile ist ein Lied und eine Spalte jedes Wort. Für eine bestimmte Wortkette ist das Lied (Zeile), in dem das Wort erscheint 1 Der Wert von, für Songs, die nicht erschienen sind 0 Weisen Sie den Wert von zu.So 1 Oder 0 Es gibt eine einfache Möglichkeit, eine Dokumentewortmatrix zu erstellen, die den Wert von aber hier hat "TD IDF" Erstellen Sie eine gewichtete Dokumentwortmatrix, die die Bedeutung des Wortes berücksichtigt.
Obwohl auf eine detaillierte Definition verzichtet wird, wird Wert darauf gelegt, die Bedeutung von Wörtern in vielen Liedern zu verringern und die Bedeutung von Wörtern zu erhöhen, die nur in einigen Liedern erscheinen.
Ich habe den Stiel als Beispiel extrahiert, "Leben ・ "(Leben, Leben) . "Bicycl ・ "(Fahrrad, Fahrradfahren) Von 2 Betrachten wir einen.Die nachstehende Tabelle ist Teil der gewichteten Dokumentewortmatrix.
Wenn ein anderer Wert als 0 enthalten ist, ist das entsprechende Wort (Wort des Spaltennamens) in der Musik enthalten, und der Wert erhöht sich, wenn das Wort mehrmals verwendet wird.
Zum Beispiel "Leben ・ " Ist ein kleiner Wert, da er in vielen Songs verwendet wird.Inzwischen "Bicycl ・ " Ist "Fahrradrennen" Und " Mehr davon Jazz '' 2 Es ist ein großer Wert, da es nur in Liedern verwendet wird.Darüber hinaus "Fahrradrennen" Viele Male "Fahrrad" Weil es ein Lied ist, das nur einmal verfeinert "Fahrrad" Das Wort erscheint nicht " Mehr davon Jazz "Höherer Wert (46.557) Ich nehme
Einzelwertzerlegung in diese Dokumentenwortmatrix (SVD; Die als Singular Value Decomposition (Singular Value Decomposition) bezeichnete Methode kann verwendet werden, um Matrixinformationen auf niedrigere Dimensionen zu reduzieren, und kann visuell gruppiert werden, indem Songs mit ähnlichen Wörtern oder Wörtern selbst zugeordnet werden. .
Die linke Abbildung unten visualisiert die Musikähnlichkeit und die rechte Abbildung visualisiert die Wortähnlichkeit.
In der oberen linken Abbildung ist zu sehen, dass die Musik in der nahen Position ähnlich ist und die in der Ferne nicht ähnlich ist.Herkunft (0, 0) Viele Punkte befinden sich in der Nähe von, aber wir benennen die Punkte (Musik), die weiter entfernt sind als ihre Sammlung.Musik mit diesen Labels hat eindeutige Wörter in der gesamten Musik der Queen, aber hier "Böhmische Rhapsodie" Und "Großer König Rat" Von 2 Ich werde mich auf das Lied konzentrieren.
Beide sind weit entfernt vom Ursprung, aber die Wortähnlichkeit von der rechten Figur betrachtet, 2 Ungefähr die gleiche Entfernung von einem Song "Mama ・ " . "Erzählen Sie ・ " . "Die ・ " Befindet sich (* 1)
Da diese Wörter etwas weiter vom Ursprung entfernt sind, sind sie etwas einzigartige Wörter in dem Sinne, dass sie nicht oft in anderen Liedern verwendet werden. "Böhmische Rhapsodie" Und "Großer König Rat" Diese Wörter werden bis zu einem gewissen Grad verwendet.Im Zusammenhang mit diesen Dingen, 2 Ein Lied befindet sich an einem solchen Ort.(* 2)
Freddie Mercury schreibt übrigens die Texte für beide Songs.
* 1; Obwohl der Minimalwert und der Maximalwert jeder Koordinate in der linken und in der rechten Abbildung unterschiedlich sind, können Sie ihn ignorieren.
* 2; Tatsächlich berücksichtigen wir auch die Verwendung anderer Wörter.
Als verwandte Analyse unter Verwendung von zerlegten Informationen (singulärer Vektor), singulärer Werte, (hierarchisch) Clusteranalyse Ich werde es versuchenBei der Clusteranalyse werden Songs, die ähnliche Wörter verwenden (die Songs mit der genauesten Entfernung genau), gruppiert, um ein Baumdiagramm zu erstellen.
Aus diesem Ergebnis können Sie die Anzahl der Gruppen (Cluster) für die Gruppierung von Songs festlegen, hier jedoch 7 Zeigen Sie die Ergebnisse der Einfärbung jeder Gruppe.
Abbildung durch Einzelwertzerlegung der Dokumentenwortmatrix, Clusteranalyse
https://public.jmp.com/packages/Classifying-songs-mit-SVD-und-clusterin/js-p/5c3d904633868300a4314b06-2
■ Können Sie den Texter anhand der in den Texten enthaltenen Wörter bestimmen?
Zum Zeitpunkt dieser Analyse 1973 Zu 1991 Die Mitglieder der Königin sind Freddie Mercury, Brian May, Roger Taylor und John Deacon 4 Was den Namen angeht, ist jeder am Songwriting und an der Komposition beteiligt, und jeder sendet einen Hit an die Welt.Wie bei Sätzen kann es Wörter geben, die Lyriker häufig für Gedichte verwenden, und Wörter, die selten von anderen verwendet werden, aber spezifisch für den Lyriker sind.Was ist mit der Königin?
Hier ist der Lyriker spezifisch 1 Konzentriere dich auf Songs, die nur Namen sind, Diskriminanzanalyse Mal sehen, ob wir den Lyriker identifizieren können, indem wir die oben beschriebene Dokumentewortmatrix verwenden.
Top-Nutzungshäufigkeit 100 Word-Dokumentewortmatrix (Gewicht TD IDF Verwenden Sie), um zu sehen, ob die erwarteten Lyricsters mit den tatsächlichen Lyricsters übereinstimmen.
Diskriminanzanalyse
https://public.jmp.com/packages/Can- we-distinguish-the-author-by-the-lyr/js-p/5c3d904633868300a4314b06-3
Die hier angezeigten Ergebnisse lauten wie folgt:
Unter den Ergebnissen befinden sich die folgenden Tabellen, die echte Lyriker sind (Aktuell) Und der Lyriker vorhergesagt durch Diskriminanzanalyse (Vorhergesagt) Kreuztabelle.
Tatsächlich
|
Vorausgesagte Anzahl
|
Autor
|
Merkur
|
Mai
|
Taylor
|
Diakon
|
Merkur
|
42
|
1
|
0
|
0
|
Mai
|
0
|
36
|
0
|
0
|
Taylor
|
0
|
0
|
17
|
0
|
Diakon
|
1
|
0
|
0
|
11
|
Die erste Zeile ist Freddie Mercury, aber die Spitze 100 Wenn Sie die Wortinformation verwenden, um den Lyriker vorherzusagen, 42 Es gibt ein Lied, 1 Nur der Song wurde tatsächlich von Freddie Mercury geschrieben, aber er sagte Brian May voraus, das heißt, die Vorhersage wurde verfehlt.
Es wird über der Tabelle angezeigt "Nicht klassifiziertes Prozent" Ist ein Indikator für die Fehlklassifizierungsrate. Dies ist die falsch vorhergesagte Rate.( Falsch vorhergesagte Anzahl von Songs 数 Anzahl der zu analysierenden Songs ) Es wird von berechnet
"Kanonische Handlung" wird als kanonische Handlung bezeichnet. 2 Eine visuelle Darstellung der Diskriminanzsituation in Maßkoordinaten.In der Grafik 4 Leute sind aber Roger Taylor positioniert 3 Es ist weit weg von Menschen positioniert.Daher die Tendenz der Wörter in Roger Taylors Gedichten verwendet 3 Man kann sagen, dass es sich stark vom Namen unterscheidet.In der Tat, wenn Sie die Kreuztabelle oben überprüfen, das Lied, das Roger Taylor geschrieben hat (17 Lied ) Sind alle vorhergesagt und andere 3 Sie können an der Tatsache erkennen, dass an dem Song, der mit dem Namen geschrieben wurde, dass er den Song mit Roger Taylor geschrieben hat, nichts falsch ist.Übrigens ist der beschriftete Punkt in der Grafik das falsch identifizierte Lied.
Mein Analysebericht wird an der folgenden Stelle gespeichert, einschließlich der diesmal eingeführten Analyse.
https://public.jmp.com/users/259
Ich werde weiterhin interessante Analyseergebnisse veröffentlichen, wenn ich mich besser fühle, also freue mich darauf.
Freigabeseite melden JMP Public Anleitung von
In JMP Analysebericht Web Vor Ort teilen JMP Public Es gibt eine Site namens.
JMP Public
http://public.jmp.com/
Veröffentlicht am Ende des letzten Jahres JMP Ist die neueste Version von JMP 14.2 Im Berichtsfenster [ Datei ]> [ Ausgabe ] Durch Auswählen des Menüs von JMP Public Interaktiv auf Ihrer Website HTML Es ist jetzt möglich, einen Formatanalysebericht hochzuladen.Hochgeladene Berichte können angezeigt werden, sodass nur die hochgeladene Person sie anzeigen kann oder jeder sie anzeigen kann.Um den Upload durchzuführen, SAS Profil verwenden (E-Mail-Adresse und Passwort registrieren) JMP Public Sie müssen sich bei der Site von anmelden.
Es gibt viele Analyseberichte zu JMP Public, aber auch Berichte von Ingenieuren unseres Unternehmens (Japan).
