Text Mining in JMP of the lyrics of QUEEN 's songs.
Japanese Title : 밴드 '퀸 (Queen) '음악을 텍스트 마이닝 보면
Written by : Naohiro Masukawa, System Engineer at JMP Japan
Writer 's name in Japanese : JMP 시스템 엔지니어 마스카와 直裕
지난해 말 개봉 한 영화 '보헤미안 랩소디'는 보셨습니까?.공개 직후 영화의 장점이 화제가되고 대히트 퀸이 활약하던시기에 듣던 세대에서 퀸 자체를 잘 모르는 젊은 분들까지 폭 넓은 세대가 감상하고있는 것 같습니다.
나도 감상했지만, 스토리도 그렇지만, 지금 들어도 변하지 않는 음악에 감동했습니다.그 후, 직업 상인가 " 퀸의시를 더 알고 싶다는 생각에서 갑자기 (?) 텍스트 마이닝을 해 보았습니다.
분석 이전의 나는 여왕의 대표적인 곡 밖에 몰랐었지만, "Bicycle" 라는 단어를 연호하고 악곡 「보헤미안 랩소디 '처럼 "Killed a man" (남자를 죽인)라는 가사와 오페라 부분의 특징적인 가사가 있기 때문에, 뭔가 재미있는 결과를 얻을 수있는 가라고 생각했습니다.
텍스트 마이닝 한 가운데에서 다음 3 하나의 결과를 소개합니다.
- 어떤 단어가 많이 사용되고있다?
- 음악을 사용하고있는 단어로 분류 해 보면?
- 가사에 포함 된 단어 의해 작사를 판별 할 수있는?
분석 대상은 1973 년부터 1991 년 앨범에 수록된 악곡을 대상으로 가사가없는 경음악은 제외했습니다.1991 년까지 한 것은 보컬 프레디 머큐리가 생전에 발표 된 악곡을 대상으로하고 싶었 기 때문입니다.
■ 어떤 단어가 많이 사용되고있다?
분석 대상으로 한 악곡에 대해 어떤 단어가 많이 사용되고 있는가.그 대답을 워드 클라우드 로 보여줍니다.워드 클라우드는 텍스트 마이닝에서 자주 사용되는 시각화 방법으로 단어의 출현 빈도가 높을수록 큰 글자로 표시합니다.
워드 클라우드
https://public.jmp.com/packages/What-kind-of-words-are-used-a-lot/js-p/5c3d904633868300a4314b06-1
워드 클라우드의 결과에 대해 다음 3 점에주의하시기 바랍니다.
- 어간 추출하고 도수가 10 이상의 단어를 표시 대상으로하고 있습니다.
어간 추출은 단어의 어미 변화를 제거하고 줄기가 공통되는 단어를 정리하는 방법입니다.
어간 추출 단어는 단어의 마지막에 " · " 으로 표시하고 있습니다.
예를 들어 워드 클라우드에 "know · " 라고 표시된 있지만 이것은 "know" , "knowing" , "knows" 의 3 한 단어가 포함되어 있습니다.
- 관사, 조동사, 대명사, be 동사, 전치사 생각되는 단어는 분석에서 제외하고 있습니다.
- 단어는 파란색 (평균적으로 출시 년도 초기) ~ 빨간색 (평균적으로 출시 년도가 후기) 그라데이션을 달고 있습니다.즉 파란색 단어만큼 초기 음악에 많이 사용 된 단어이며, 붉은 색의 단어수록 후기 (1991 년을 마지막으로 ) 악곡에 많이 사용 된 단어임을 나타냅니다.
■ 악곡을 사용하고있는 단어로 분류 해 보면?
대상이되는 악곡을 비슷한 단어가 사용되고있는 악곡으로 분류 (그룹화) 해 봅니다.이를 위해 먼저 문서 단어 행렬 개념을 소개합니다.
문서 단어 행렬은 각 단어가 출현하거나 출현하지 않았는지를 행렬로 표시 한 것입니다.행은 악곡 열은 각 단어되지만, 단어의 라인에 대해, 그 단어가하고있는 악곡 (행)에는 1 값을 출현하지 않은 곡은 0 값을 할당합니다.이렇게 1 또는 0 값을 가질 문서 단어 행렬을 만든다는 방법이 간단하고는 있지만, 여기에서는 "TD IDF" 단어의 중요도를 가미하여 가중을 한 문서 단어 행렬을 만듭니다.
전체 정의는 생략하지만, 많은 악곡에 출현하는 단어의 중요도를 낮추 일부 음악에만 나타나는 단어의 중요도를 올릴 가중치를합니다.
예 어간 추출하고, "life · "(life, life 's) , "bicycl · "(bicycle, bicycling) 의 2 하나를 생각해 보겠습니다.아래의 표가 가중 된 문서 단어 행렬의 일부입니다.
0 이외의 값이 들어있는 부분은 그 곡에 해당하는 단어 (열 이름의 단어)가 포함되어있는 것이며, 그 단어가 여러 번 사용 된 경우 값이 커집니다.
예 "life · " 많은 악곡으로 사용되고 있기 때문에 작은 값입니다.한편, "bicycl · " 은 "Bicycle Race" 하면 " More Of That Jazz "의 2 노래만으로 밖에 사용하지 않기 때문에 큰 값입니다.또한, "Bicycle Race" 여러 번 "bicycle" 을 자제하고있는 곡이므로 한 번만 "bicycle" 라는 단어가 출현하지 않는 " More Of That Jazz "보다 큰 값 (46.557) 를 취하고 있습니다.
이 문서 단어 행렬에 특이 값 분해 (SVD; Singular Value Decomposition)이라는 기법을 사용하여 행렬의 정보를 낮은 차원으로 줄어지는 수, 유사한 단어를 사용하고있는 음악이나 단어 자체를 매핑하여 시각적으로 그룹화 할 수 있습니다 .
다음 왼쪽 그림은 곡의 유사성을 오른쪽 그림에서 단어의 유사성을 시각화하고 있습니다.
위의 왼쪽 그림에서 가까운 위치에있는 곡은 유사하다, 멀리있는 것은 유사한 않았 음을 보여줍니다.원점 (0,0) 근처에 많은 점이 위치하고 있습니다 만, 그 모임보다 멀리있는 점 (악곡)에 라벨을 달고 있습니다.이 라벨이 붙은 노래는 퀸 전체 곡 중에서는 특이한 단어를 가질 것이라는 것이됩니다 만, 여기에서는 "Bohemian Rhapsody" 하면 "Great King Rat" 의 2 곡에 주목 해보십시오.
모두 원점에서 멀리 떨어진 곳에 위치하고 있으며, 오른쪽 그림에서 단어의 유사성을 보면, 2 하나의 악곡에서 동일한 정도의 거리에 "mama · " , "tell · " , "die · " 이 위치하고 있습니다. (* 1)
이 낱말은 원점에서 약간 멀리 위치해 있기 때문에별로 다른 음악으로 사용하지 않는다는 의미에서 조금 특이한 단어는 있지만, "Bohemian Rhapsody" 하면 "Great King Rat" 이 낱말이 어느 정도 사용되고 있습니다.이러한 것도 관계하고 2 하나의 악곡은이 같은 위치에있는 것입니다.(* 2)
덧붙여서 어느 악곡도 프레디 머큐리가 작사하고 있습니다.
* 1; 왼쪽과 오른쪽 그림에서 각 좌표의 최소값과 최대 값은 다르지만, 그것은 무시 해주고 상관하지 않습니다.
* 2; 실제로 다른 단어의 사용도 생각하고 있습니다.
또한 관련 분석으로 특이 값 분해 한 정보 (특이 벡터)를 사용하여 (계층) 클러스터 분석 를 봅니다.클러스터 분석은 비슷한 단어를 사용하고있는 악곡 (정확하게는 거리가 가장 가까운 곡)이 순차적으로 그룹화되어 나무 모양도 있습니다.
이 결과에서 그룹 (클러스터)의 수를 결정 악곡을 그룹화 할 수 있습니다 만, 여기에서는 7 개로 해, 그룹마다 색칠 한 결과를 보여줍니다.
문서 단어 행렬의 특이 값 분해에 의한 매핑 클러스터 분석
https://public.jmp.com/packages/Classifying-songs-with-SVD-and-clusterin/js-p/5c3d904633868300a4314b06-2
■ 가사에 포함 된 단어 의해 작사를 판별 할 수있는?
본 분석 대상 당시 ( 1973 ~ 1991 ) 퀸의 멤버는 프레디 머큐리, 브라이언 메이, 로저 테일러, 존 디콘의 4 이름이지만, 전원이 작사, 작곡에 참여하며 각 히트 곡을 세상에 있습니다.문장으로도 그렇습니다 만,시 대해서도 작사가 자주 사용하는 단어, 다른 사람은별로 사용하지 않지만 그 작사자 특유의 단어라는 것이 있을지도 모릅니다.퀸의 경우는 어떨까요.
여기에 작사가 특정 1 이름 뿐이다 악곡에 조리개 코믹 판별 분석 를 사용하여 위에서 기재 한 문서 단어 행렬을 사용하여 작사를 판별 할 수 있는지를 살펴 보겠습니다.
사용 빈도가 높은 100 단어의 문서 단어 행렬 (무게 TD IDF )을 사용하여 예측되는 작사자와 실제 작사가 일치하는지 여부 살펴 보겠습니다.
판별 분석
https://public.jmp.com/packages/Can-we-distinguish-the-author-by-the-lyr/js-p/5c3d904633868300a4314b06-3
여기에 표시되는 결과는 다음과 같이 읽습니다.
결과의 하단에 다음과 같은 표가 있습니다 만, 이것은 진짜 작사가 (Actual) 하면 판별 분석에 의해 예측 된 작사자 (Predicted) 크로스 일람표입니다.
Actual
|
Predicted Count
|
Author
|
Mercury
|
May
|
Taylor
|
Deacon
|
Mercury
|
42
|
1
|
0
|
0
|
May
|
0
|
36
|
0
|
0
|
Taylor
|
0
|
0
|
17
|
0
|
Deacon
|
1
|
0
|
0
|
11
|
첫 번째 줄은 프레디 머큐리하지만 상위 100 단어의 정보를 사용하여 작사가를 예측했을 때 예측이 맞았 음악은 42 곡 있으며, 1 음악 만 실제로는 프레디 머큐리가 작사했는데, 브라이언 메이와 예측했다, 즉 예측이 빗나간 것입니다.
표에 표시되는 "Percent Misclassified" 는 잘못된 결정 속도는 지표로 잘못 예측 한 비율입니다.( 잘못 예측 한 악곡 수 ÷ 분석 대상의 곡 수 ) 로 계산됩니다.
"Canonic Plot"는 정 준 음모라고 불려 2 차원 좌표로 결정 상황을 시각적으로 나타낸 것입니다.그래프에 4 사람이 포지셔닝되어 있습니다 만, 로저 테일러는 다른 3 사람에서 멀리 위치에 포지셔닝되어 있습니다.따라서 로저 테일러의시에 사용하는 단어의 경향이 다른 3 이름과 크게 다른 것을 말할 수 있습니다.실제로 위에서 제시 한 교차 테이블을 확인하면 로저 테일러가 작사 한 곡 (17 노래 ) 모든 예측이 맞고 있으며, 다른 3 이름 작사 한 곡이 로저 테일러와 작사했다고 잘못 버린 것은없는 것으로부터도 알 수 있습니다.덧붙여서 차트에서 레이블 점은 잘못 판별 한 곡입니다.
이번에 소개 한 분석을 포함하여 내 분석 보고서는 다음 위치에 저장합니다.
https://public.jmp.com/users/259
앞으로도 기분이 내키면 흥미로운 분석 결과를 게시하는거야 때문에 기대하세요.
보고서 공유 사이트 JMP Public 안내
JMP는 보고서를 Web 사이트에서 공유 할 수 JMP Public 라는 사이트가 있습니다.
JMP Public
http://public.jmp.com/
지난해 말 출시 한 JMP 최신 버전이다 JMP 14.2 는 보고서 창에서 [ 파일 > 발행 ] 메뉴를 선택하면 JMP Public 사이트에 인터랙티브 HTML 형식의 보고서를 업로드 할 수있게되었습니다.업로드 한 보고서는 업로드 한 본인 만 볼 수 또는 모든 사람이 볼 수 있도록 게시 할 수 있습니다.그러나 업로드하려면 SAS 프로필 (이메일 주소와 비밀번호 정보를 등록)을 사용하여 JMP Public 사이트에 로그인 할 필요가 있습니다.
JMP Public는 많은 분석 보고서 게시되어 있습니다 만, 우리 (일본)의 엔지니어 게시 된 보고서가 있으므로 그 보고서의 내용을 자세하게 해설 한 기사와 함께 즐길 수 있습니다.
