보고서 공유 사이트 "JMP Public」의 안내
JMP는 분석 보고서를 Web 사이트에서 공유 할 수 JMP Public 라는 사이트를 제공합니다.
2018 년 말에 출시 한 JMP의 최신 버전 JMP 14.2에서 보고서 창에서 [파일] → [실행]을 선택하여이 JMP Public 인터랙티브 HTML 형식의 보고서를 업로드 할 수있게되었습니다.
보고서는 업로드 한 본인 만 또는 모든 사람들이 볼 수 있도록 공개 범위를 설정할 수 있습니다 (업로드에는 SAS 프로필을 사용하여 JMP Public 사이트에 로그인해야합니다).
JMP Public는 많은 분석 보고서가 업로드되어 있습니다.
JMP 재팬 사업부의 엔지니어가 게시 한 보고서가 있으므로 그 보고서의 내용을 자세하게 해설 한 기사와 함께 즐길 수 있습니다.
|
밴드 '퀸 (Queen)'의 곡을 텍스트 마이닝 보면
지난해 말 개봉 한 영화 "보헤미안 라브 소디" 는 보셨습니까?.
공개 직후 영화의 재미가 화제가되고 대히트 퀸이 활약하던시기에 들었던 세대에서 퀸 자체를 잘 모르는 젊은 분들까지 폭 넓은 세대가 감상하고있는 것 같습니다.
나도 감상했지만, 스토리도 그렇지만, 지금 들어도 변하지 않는 음악에 감동했습니다.그 후, 퀸의시를 더 알고 싶다는 생각에서, 직업 무늬인지 갑자기 (?) 텍스트 마이닝을 시도했습니다.
분석 이전의 나는 여왕의 대표적인 곡 밖에 몰랐는데 "Bicycle"이라는 단어를 연호하고 악곡 「보헤미안 랩소디 "처럼"Killed a man "(남자를 죽인)라는 가사와 오페라 부분의 특징적인 가사가 있기 때문에, 뭔가 재미있는 결과를 얻을 수 있을까 생각했습니다.
텍스트 마이닝 한 가운데에서 다음 세 가지 결과를 소개합니다.
- 어떤 단어가 많이 사용되고있다?
- 음악을 사용하고있는 단어로 분류 해 보면?
- 가사에 포함 된 단어 의해 작사를 판별 할 수있는?
분석 대상은 1973 년부터 1991 년 앨범에 수록된 곡으로, 가사가없는 음악 (경음악)은 제외했습니다.1991 년까지 한 것은 보컬 프레디 머큐리가 생전에 발표 된 악곡을 대상으로하고 싶었 기 때문입니다.
어떤 단어가 많이 사용되고있다?
분석 대상으로 한 악곡에 대해 어떤 단어가 많이 사용되고 있는가.그 대답을 워드 클라우드로 보여줍니다.워드 클라우드는 텍스트 마이닝에서 자주 사용되는 시각화 방법으로 단어의 출현 빈도가 높을수록 큰 글자로 표시합니다.
워드 클라우드 (단어의 출현 빈도)
위를 클릭하여 표시되는 단어 구름 내용은 다음의 3 점에주의하시기 바랍니다.
어간 추출을 행하고, 도수가 10 개 이상의 단어를 표시 대상으로하고 있습니다.
어간 추출은 단어의 어미 변화를 제거하고 줄기가 공통되는 단어를 정리하는 방법입니다.어간 추출 단어는 단어의 마지막에 "*"마크를 달고 있습니다.예를 들어 워드 클라우드에서 "know *"로 표시되어 있는데, 여기에는 "know", "knowing", "knows"의 3 개의 단어가 포함되어 있습니다.
- 관사, 조동사, 대명사, be 동사, 전치사 생각되는 단어는 분석에서 제외하고 있습니다.
- 단어는 파란색 (평균적으로 출시 년도 초기) ~ 빨간색 (평균적으로 출시 년도가 후기) 그라데이션을 달고 있습니다.즉, 파란색 단어만큼 초기 음악에 많이 사용 된 단어이며, 붉은 색의 단어만큼 후기 (1991 년을 마지막으로)의 음악에 많이 사용 된 단어임을 나타냅니다.
음악을 사용하고있는 단어로 분류 해 보면?
대상이되는 악곡을 비슷한 단어가 사용되고있는 악곡으로 분류 (그룹화) 해 봅니다.이를 위해 먼저 문서 단어 행렬 개념을 소개합니다.
문서 단어 행렬은 각 단어의 출현 여부를 행렬로 표시 한 것입니다.행은 악곡 열은 각 단어를 나타내지 만 단어의 라인에 대해, 그 단어가하고있는 악곡 (행)은 1의 값을 출현하지 않은 곡은 0의 값을 할당 있습니다.이렇게 1 또는 0의 값을 취 문서 단어 행렬을 만드는 방법이 간단하고는 있지만, 여기에서는 "TF IDF"라는 단어의 중요도를 가미하여 가중을 한 문서 단어 행렬을 만듭니다 .
전체 정의는 생략하지만, 많은 악곡에 출현하는 단어의 중요도를 낮추 일부 음악에만 나타나는 단어의 중요도를 올릴 가중치를합니다.
예 어간 추출했다 "life ·"(life, life 's) "bicycl ·"(bicycle, bicycling)의 두 가지를 생각해 보겠습니다.
아래의 표가 가중 된 문서 단어 행렬의 일부입니다.
0 이외의 값이 들어있는 부분은 그 곡에 해당하는 단어 (열 이름의 단어)가 포함되어있는 것이며, 그 단어가 여러 번 사용 된 경우 값이 커집니다.
예를 들어 "life ·"많은 악곡으로 사용되고 있기 때문에 작은 값입니다.
한편, "bicycl ·"는 "Bicycle Race"와 "More Of That Jazz"2 곡만으로 밖에 사용하지 않기 때문에 큰 값입니다.또한 "Bicycle Race"여러 번 "bicycle"를 자제하고있는 곡이어서 "bicycle"라는 단어가 한번 밖에 출현하지 않는 "More Of That Jazz"보다 큰 값 (46.557)가 있습니다.
이 문서 단어 행렬에 특이 값 분해 (SVD; Singular Value Decomposition)이라는 기법을 사용하여 행렬의 정보를 낮은 차원에 縮約 있으며, 유사한 단어를 사용하고있는 음악이나 단어 자체를 매핑하여 시각적 그룹화 할 수 있습니다.
다음 그림의 왼쪽에서 음악의 유사성을 오른쪽에서 단어의 유사성을 시각화하고 있습니다.
위 그림의 왼쪽에서 가까운 위치에있는 곡은 유사하다, 멀리있는 것은 유사한 않았 음을 보여줍니다.
원점 (0,0)의 부근에 많은 점이 위치하고 있습니다 만, 그 모임보다 멀리있는 점 (악곡)에 라벨을 달고 있습니다.이 라벨이 붙은 곡은 퀸 전체 곡 중에서는 특이한 단어를 가질 것이라는 것이됩니다 만, 여기에서는 "Bohemian Rhapsody"및 "Great King Rat"의 2 곡에 주목 해 봅니다 .
모두 원점에서 멀리 떨어진 곳에 위치하고 있으며, 오른쪽 그림에서 단어의 유사성을 보면, 두 곡에서 동일한 정도의 거리에 "mama ·" "tell ·" "die *"가 위치합니다 * 1.
이 낱말은 원점에서 약간 멀리 위치해 있기 때문에별로 다른 음악으로 사용하지 않는다는 의미에서 조금 특이한 단어는 있지만, "Bohemian Rhapsody"및 "Great King Rat"이 낱말 가 어느 정도 사용되고 있습니다.
이러한 것도 관련이 두 곡은이 같은 위치에있는 것입니다 * 2.
덧붙여서 어느 악곡도 프레디 머큐리가 작사하고 있습니다.
* 1 왼쪽과 오른쪽 그림에서 각 좌표의 최소값과 최대 값은 다르지만, 그것은 무시해도 상관 없습니다.
* 2 실제로 다른 단어의 사용도 생각하고 있습니다.
또한 관련 분석으로 특이 값 분해 한 정보 (특이 벡터)를 사용하여 (계층) 클러스터 분석을 시도합니다.클러스터 분석은 비슷한 단어를 사용하고있는 악곡 (정확하게는 거리가 가장 가까운 곡)이 순차적으로 그룹화되어 나무 모양도 있습니다.
이 결과에서 그룹 (클러스터)의 수를 결정 악곡을 그룹화 할 수 있습니다 만, 여기에 7 개로 해, 그룹마다 색칠 한 결과를 보여줍니다.
문서 단어 행렬의 특이 값 분해에 의한 매핑 클러스터 분석
가사에 포함 된 단어 의해 작사를 판별 할 수있는?
이 분석의 대상이 된 당시 (1973 ~ 1991)의 퀸의 멤버는 프레디 머큐리, 브라이언 메이, 로저 테일러, 존 디콘 4 명이지만, 전원이 작사, 작곡에 참여하고 있으며, 각각 히트 곡을 세상에 있습니다.
문장에서도 그렇습니다 만, 가사에 대해서도 작사가 자주 사용하는 단어, 다른 사람은별로 사용하지 않지만 그 작사자 특유의 단어라는 것이 있을지도 모릅니다.
퀸의 경우는 어떨까요.
여기에 작사가 특정 1 명 뿐이다 악곡에 맞추고 판별 분석을 사용하여 위에서 기재 한 문서 단어 행렬을 사용하여 작사를 판별 할 수 있는지를 살펴 보겠습니다.
사용 빈도가 높은 100 단어 문서 단어 행렬 (무게 TF IDF)을 사용하여 예측되는 작사자와 실제 작사가 일치하는지 여부 살펴 보겠습니다.
판별 분석
위의 링크를 클릭하여 표시되는 결과는 다음과 같이 읽습니다.
결과의 하단에 다음과 같은 표가 있습니다 만, 이것은 실제 작사가 (Actual)과 판별 분석에 의해 예측 된 작사자 (Predicted)의 크로스 일람표입니다.
| Actual |
Predicted Count |
|---|
| Author |
Mercury |
May |
Taylor |
Deacon |
|---|
| Mercury |
42 |
1 |
0 |
0 |
|---|
| May |
0 |
36 |
0 |
0 |
|---|
| Taylor |
0 |
0 |
17 |
0 |
|---|
| Deacon |
1 |
0 |
0 |
11 |
|---|
첫 번째 줄은 프레디 머큐리이지만, 상위 100 단어의 정보를 사용하여 작사가를 예측했을 때, 예측이 적중 한 곡은 42 곡입니다.한편, 1 곡만 실제로 프레디 머큐리가 작사했는데, 브라이언 메이와 예측했다, 즉 예측이 빗나간 것입니다.
표에 표시되는 "Percent Misclassified"는 잘못된 결정 속도는 지표로 잘못 예측 한 비율입니다 (잘못 예측 한 악곡 수 ÷ 분석 대상의 악곡 단위로 계산됩니다).
"Canonic Plot"는 정 준 음모라고 불려 2 차원 좌표로 결정 상황을 시각적으로 나타낸 것입니다.
그래프에 4 명이 포지셔닝되어 있습니다 만, 로저 테일러는 다른 3 명에서 멀리 위치에 포지셔닝되어 있습니다.따라서 로저 테일러의시에 사용하는 단어의 경향은 다른 3 명과 큰 차이라고 할 수 있습니다.
실제로 위에서 제시 한 교차 테이블을 확인하면 로저 테일러가 작사 한 곡 (17 곡)은 모든 예측이 적중하고 다른 3 명의 작사에 의한 악곡으로 로저 테일러의 작사 곡으로 오해 받기 것은없는 것으로부터도 알 수 있습니다.덧붙여서 차트에서 레이블 점은 잘못 판별 한 곡입니다.
이번에 소개 한 분석을 포함하여 내 분석 보고서는 다음 위치에 저장합니다.
https://public.jmp.com/users/259
앞으로도 기분이 내키면 흥미로운 분석 결과를 게시하는거야 때문에 기대하세요.
