스피커 | 성적 증명서 |
| 클레이 바커 | 감사합니다. 제 이름은 클레이 바커입니다. 저는 JMP 그룹의 통계 개발자입니다. 오늘은 JMP pro 16의 새로운 기능에 대해 이야기하겠습니다. 그것은 용어 선택이라고 불리며 저는 동료인 Paris Faison 및 Ernest Pasour와 함께 이 작업을 수행했습니다. |
| 따라서 텍스트 데이터는 실제로 점점 더 보편화되고 있습니다. 우리는 우리가 만드는 제품에 대한 고객 리뷰를 가질 수 있고, 일부 장비에 대한 일부 이벤트 또는 유지 관리 로그에 대한 설명을 가질 수 있습니다. |
| 여기 내 슬라이드에 있는 이 예는 |
| 항공기 사고...샘플 데이터에 있는 사고 데이터 세트입니다. |
| 그리고 모든 데이터 행은 일부 항공사 사고, 충돌 또는 기타 종류의 오작동에 대한 설명입니다. |
| 따라서 Text Explorer 플랫폼을 사용해 본 적이 없다면 JMP 13에 도입된 이 플랫폼을 주로 텍스트 데이터를 요약하고 분석하는 데 사용합니다. |
| 따라서 가장 자주 발생하거나 가장 일반적으로 발생하는 단어 및 문구를 보는 것과 같은 일반적인 작업을 쉽게 수행할 수 있으며, 문서를 클러스터링하거나 주제 분석과 같은 주제를 찾는 등의 작업을 쉽게 수행할 수 있습니다. 그리고 모든 것은 문서 용어 매트릭스라는 것에 의해 주도됩니다. |
| 그렇다면 문서 용어 매트릭스는 무엇입니까? 각 문서에 특정 단어나 문구가 포함되어 있는지 여부를 나타내는 표시 변수 행렬로 생각하는 것이 가장 쉽습니다. |
| 그리고 각 문서에서 해당 단어가 얼마나 자주 나타나는지에 따라 가중치를 부여할 수 있습니다. 따라서 각 문서는 문서 용어 행렬의 행이고 각 열은 단어입니다. |
| 여기 아주 간단한 예로 첫 번째 줄은 "피자 포장이 실망스러웠습니다."입니다. 그래서 우리는 포장을 위해 1을 가지고 있습니다. |
| 피자는 1, 좌절감은 1, 기타 모든 단어는 0입니다. 그리고 마찬가지로 두 번째 줄에는 냄새, 훌륭함, 맛, 피자에 대한 값은 1이고 다른 부분에는 0이 있습니다. 이는 각 문서에 어떤 단어가 나오는지에 대한 간단한 요약일 뿐입니다. |
| 또한 문서 용어 매트릭스에는 몇 가지 변형이 있다고 언급했습니다. 가장 쉬운 것은 바이너리입니다. 그것은 단지 1과 0일 뿐입니다. |
| 그러나 각 단어가 얼마나 자주 나타나는지에 대한 정보를 포함하고 싶을 수도 있으므로 피자가 여러 번 나타나는 약간 긴 문장이 있습니다. |
| 이진 문서 용어 행렬에서 해당 피자 열은 발생 빈도에 상관하지 않기 때문에 여전히 1입니다. 삼항의 경우 2입니다. 왜냐하면 삼항은 0, 1, 2이기 때문입니다. 해당 단어가 발생하지 않으면 0, 한 번 발생하면 1, 두 번 이상 발생하면 2입니다. |
| 여기서 4번 발생하더라도 여전히 2로 코딩됩니다. 그리고 빈도는 정말 간단합니다. 이는 해당 문서에서 각 단어가 나타나는 횟수일 뿐입니다. |
| 이것들은 정말 간단한 세 가지입니다. 상대 빈도와 비슷한 TF-IDF 가중치도 제공합니다. 이러한 가중치 체계에 대한 자세한 내용은 다음에서 확인할 수 있습니다. |
| 텍스트 탐색기 플랫폼. |
| 그럼 다음 단계는 무엇입니까? 다음에 사용하고 싶은 것은 무엇입니까? |
| 일부 결과에 도움이 되도록 텍스트를 사용할 수도 있습니다. 그래서 여기에 가구 리뷰를 몇 개 만들었고 모든 리뷰와 관련된 별점도 있습니다. |
| 따라서 우리는 이러한 리뷰가 누군가가 제품을 더 높이거나 낮게 평가하는 이유에 대한 단서를 제공한다고 생각할 수 있습니다. 따라서 이 첫 번째 줄에서는 "지침이 실망스러웠습니다."라고 사용자는 3점만 평가했습니다. 만약...그 패턴이 많이 발생하고 많은 사람들이 평가한다면... |
| 낮은 등급 중 상당수는 지침과 관련되어 있으며 이는 가구와 함께 제공되는 지침을 개선해야 함을 알려줄 수 있습니다. |
| 따라서 간단한 아이디어는 이를 회귀 모델로 사용하는 것입니다. 우리는...문서 용어 행렬을 사용하겠습니다. |
| 이를 응답 정보와 결합하여 회귀 분석을 수행하겠습니다. |
| 그러면 고객이 우리 가구나 우리가 만드는 모든 제품을 좋아하거나 좋아하지 않는 이유를 이해하는 데 도움이 될 것입니다. |
| 설명을 기반으로 객체를 분류하는 데 도움이 될 수 있으며 나중에 그 중 일부를 확인하거나 일부 유지 관리 기록을 기반으로 일부 기계가 실패하거나 실패하는 이유를 이해하고 싶을 수도 있습니다. |
| 우리가 하는 방법은 정말 쉽습니다. |
| 우리는 실제로 각 X 또는 예측 변수가 용어 행렬의 열 중 하나인 회귀 모델을 만들고 있습니다. 따라서 제품 평가를 모델링하는 경우 이는 단순한 선형 회귀이며 다음과 같습니다. |
| 고객이 우리 제품을 추천할지 여부와 같은 이진 결과를 모델링하는 경우 |
| 아마도 수백 개의 단어일 수 있으며 그 단어를 모두 사용하지 않는 것이 합리적일 것입니다. 모든 데이터가 유용하지는 않으므로 회귀 모델에 변수 선택 기술을 적용하여 해석하기 쉽고 잘 맞는 더 간단한 모델을 얻습니다. |
| 그리고 여기 하단에서는 이러한 표시 변수를 응답 등급, 별 등급과 결합하여 시각화하는 것이 쉽습니다. |
| 따라서 JMP 16에 포함될 솔루션은 회귀 모델을 텍스트 탐색기 플랫폼으로 가져오는 것입니다. 일반화된 회귀 플랫폼을 사용하여 변수 선택을 수행한 적이 있다면 기본적으로 해당 플랫폼을 텍스트 탐색기 내부에 포함시키는 것입니다. |
| 따라서 JMP pro를 사용하는 경우 텍스트 탐색기의 빨간색 삼각형 메뉴에 용어 선택 항목이 표시됩니다. |
| 이것이 바로 우리가 정말 기대하는 부분입니다. 이러한 종류의 회귀 모델을 쉽고 빠르게 구축하고 개선할 수 있습니다. |
| 따라서 이 플랫폼을 출시하면 단 몇 분 안에 몇 가지 데모를 살펴보겠습니다. |
| 출시 초기에는 우리의 반응과 우리가 맞추고자 하는 모델의 종류에 대한 정보를 요청하는 것뿐입니다. |
| 따라서 별표 평점과 같은 연속 응답을 모두 처리할 수 있으며, 연속 응답을 지정할 때 응답을 기반으로 일부 행을 필터링할 수 있도록 필터를 제공합니다. |
| 그리고 명목형 반응 열이 있으면 목표 수준을 선택합니다. 그렇다면 이 경우, 저희 제품을 추천하시겠습니까? 예, 아니오. 우리는 다음을 모델링할 예정입니다... |
| 우리는 권장 사항을 no로 모델링할 것입니다. |
| 파란색, 녹색, 노란색과 같은 다중 수준 응답이 있는 경우 모델링하려는 수준을 선택하고 이에 대한 예를 잠시 후에 살펴보겠습니다. |
| 그런 다음 응답을 지정한 후 우리가 적합하려는 모델 종류에 대한 일부 정보를 플랫폼에 제공합니다. |
| 그렇다면 변수 선택을 할 때 탄력망을 사용할 것인가 아니면 올가미를 사용할 것인가? 둘 다 일반화 회귀에 내장된 변수 선택 기술입니다. 그리고 검증은 어떻게 할 건가요? AIC를 사용하시겠습니까, 아니면 BIC를 사용하시겠습니까? |
| 또한 문서 용어 매트릭스에 대한 세부 정보를 지정할 수 있습니다. 가중치를 선택하고 고려하려는 최대 용어 수를 선택할 수도 있습니다. 따라서 가장 자주 발생하는 상위 200개의 단어를 고려하려는 경우 현재 200으로 설정되어 있습니다. |
| 그렇다면 실행하고 실행 버튼을 누르면 어떻게 될까요? 기본적으로 모든 작업을 수행합니다. |
| 당신은해야합니다. 걱정할 필요가 없도록 데이터를 배후에서 적절하게 설정합니다. 변수 선택을 수행하므로 이제 응답을 예측하는 데 유용하다고 생각되는 작은 단어 하위 집합이 있으며 결과를 쉽게 표시합니다. |
| 보고서를 해석하는 것은 잠시 후에 살펴보겠지만 상당히 상호작용적입니다. 그래서 당신은 이것을 할 수 있었습니다 |
| 문서 용어 매트릭스를 데이터 세트에 저장하고, 일반화된 회귀 플랫폼을 직접 실행하고, |
| 하지만 더 이상 그렇게 할 필요가 없습니다. 이제 선택이라는 측면에서 모든 것이 끝났습니다. |
| 그러면 모델 사양은 무엇을 선택해야 하는지 어떻게 알 수 있습니까? |
| 사용 가능한 추정 방법으로는 탄력망(elastic net)과 올가미(lasso)가 있습니다. 그 차이점을 기억하는 쉬운 방법 |
| 탄력망이 상관된 예측 변수 그룹을 선택하는 경향이 있다는 것입니다. 따라서 이 설정에서 예측 변수가 모두 단어일 때 |
| 이는 함께 나타나는 경향이 있는 단어 그룹을 선택하는 경향이 있음을 의미합니다. 그래서 사용설명서와 매뉴얼을 생각해보면, |
| 이러한 단어는 사용 설명서 때문에 자주 함께 사용됩니다. 따라서 이 두 예측변수는 높은 상관관계를 가지며 탄력망은 아마도 둘 다 선택할 것입니다. 반면 올가미는 아마도 지침이나 매뉴얼을 선택하지만 둘 다 반드시 선택할 필요는 없습니다. |
| 검증 방법에는 AIC와 BIC가 있습니다. |
| 따라서 일종의 경험 법칙은 AIC가 모델을 과도하게 선택하는 경향이 있고 BIC가 과소 선택하는 경향이 있다는 것입니다. 그래서 우리의 사양에서는 |
| 단지 AIC는 더 큰 단어 집합을 선택하는 경향이 있는 반면 BIC는 더 작은 단어 집합을 선택하는 경향이 있습니다. |
| 그리고 개인적으로 저는 설정에서 AIC를 많이 사용하는 경향이 있습니다. 왜냐하면 필요한 것보다 더 많은 단어를 갖고 싶기 때문입니다. 그러나 실제로 그것은 선호의 문제입니다. |
| 그리고 문서 용어 가중치는... |
| 문서 용어 매트릭스 가중치를 의미합니다. |
| 그것은 실제로 당신의 문제에 달려 있습니다. 따라서 이 예에서는 |
| 리뷰에는 페인트라는 단어가 여러 번 등장합니다. 그 말은 평론가가 매우 옳았다는 뜻일 수도 있습니다. |
| 가져갔습니다...페인트는 해당 리뷰어에게 매우 중요했고 이는 회귀 모델에서 의미가 있을 수 있으므로 이진법 대신 빈도와 같은 가중치를 사용하고 싶을 것입니다. |
| 따라서 용어 선택을 시작하면 다음과 같은 위치에 있게 됩니다. |
| 왼쪽에는 모든 문서에 대한 요약이 있고 오른쪽에는 선택한 모든 단어가 표시됩니다. 지금은 이 내용을 건너뛰겠습니다. 데모를 시작하면 더 쉽게 알 수 있습니다. |
| 우리가 매우 유용하다고 생각하는 또 다른 점은 요약이 있다는 것입니다. 따라서 용어 선택을 사용하여 일련의 모델에 맞출 수 있으며 그런 다음 모델이 모두 상단에 요약되어 있고 모델 간에 전환할 수 있습니다. 그리고 다시 우리는 그것을 잠시 후에 보게 될 것입니다. |
| 그럼 플랫폼을 살펴보도록 하겠습니다. |
| 그럼 먼저 이것부터 살펴보겠습니다 |
| JMP 샘플 데이터 폴더에 있는 항공기 사고 데이터 세트입니다. |
| 따라서 테이블의 모든 행은 사건입니다. 그리고 우리는 항공기에 얼마나 많은 손상이 있었는지, 어떤 종류의 부상이 있었는지 알고 있으며 설명도 있습니다. 따라서 이 마지막 열은 사건에서 정확히 무슨 일이 일어났는지에 대한 설명입니다. |
| 따라서 텍스트 탐색기를 시작하겠습니다. 이전에 텍스트 탐색기를 사용해 본 적이 없다면 왼쪽에는 가장 자주 발생하는 용어가 있고 오른쪽에는 가장 자주 발생하는 문구, 즉 단어 그룹이 있습니다. |
| 그래서 우리는 아마도 이해하기 위해 이 단어들을 사용하고 싶습니다. |
| 그게...충돌 사고의 원인이 더 많은 피해를 입히거나 더 심각한 부상을 입힐 수도 있습니다. 그래서 빨간색 삼각형 메뉴로 가서 용어 선택을 요청하겠습니다. |
| 이제 우리는 방금 전에 보았던 이 발사를 볼 수 있으며 피해에 대해 더 자세히 알아보고 싶습니다. 그리고 특히 저는...항공기가 파괴된 사건과 피해가 적은 사건을 구별하고 싶기 때문에 파괴할 목표 수준을 선택하겠습니다. |
| 이러한 조기 중지는 시간을 절약해 주는 기능이라고 말씀드리겠습니다. 그래서 |
| 변수 선택을 할 때 훨씬 더 큰 문제의 경우 시간이 많이 걸릴 수 있습니다. 이 확인란을 선택한 상태로 두면 다음과 같이 됩니다. |
| 우리는 충분히 좋은 모델을 갖고 있다고 생각합니다. 우리는 일찍 그만 두겠습니다. 나는 훨씬 더 큰 문제가 있다는 것을 알지 않는 한 그것을 선택 취소하는 경향이 있습니다. |
| 따라서 Elastic Net인 AIC에 그대로 두고 실행을 누르겠습니다. |
| 이제 백그라운드에서 일어나는 일은 이 회귀 모델을 맞추는 데 필요한 데이터를 생성하고 뒤에서 회귀 모델을 맞추는 것입니다. 이제 요약이 표시됩니다. 그래서 매 |
| 모든 문서는 이 왼쪽 패널에 요약되어 있으므로 이것이 첫 번째 항공기 사건이고 이것이 두 번째이며 공백입니다. |
| 첫 번째는 비행기가 활주로 옆에 있는 눈더미와 접촉했다는 것입니다. |
| 그리고 중요한 단어는 모두 강조 표시되어 있으므로 파란색 단어는 음수 계수를 갖고 주황색 단어는 양수 계수를 갖습니다. |
| 단어에 관심이 있다면 오른쪽 패널을 보면 됩니다. 저는 계수별로 정렬하는 것을 선호하므로 상단을 클릭하기만 하면 됩니다. |
| 따라서 이 경우 음수 계수를 가진 단어는 파괴될 가능성이 적습니다. 그래서 만약 |
| 문서에는 착륙이라는 단어가 포함되어 있습니다. 비행기가 착륙 지점에 도달했다면 아마도 그다지 심각한 사건은 아닐 것입니다. 그래서 이것들은 그럴 가능성이 적습니다. |
| 파괴됨. 반면에 가장 긍정적인 용어를 볼 수 있는데, 이는 파괴되는 항공기와 가장 관련이 있는 단어입니다. |
| 그리고 그것은 불 같은 말입니다, 증인들이여. 사건을 설명하기 위해 증인을 인터뷰하는 경우 비행기에 있던 사람이 인터뷰를 할 수 없었다는 의미일 수 있습니다. |
| 화재, 레이더, 회전, 밤, 이것들은 모두 화재와 밀접한 관련이 있는 단어입니다. |
| 파괴되면서. |
| 이제 우리는 부상 수준에도 관심이 있을 것입니다. 특히 최악의 부상 수준을 살펴보겠습니다. |
| 그리고 용어 선택을 다시 하겠습니다. |
| 그리고 나는 그것을 빨리 유지하기 위해 그것을 받아들일 것입니다. |
| 이제 우리는 같은 종류의 일을 할 수 있지만 대신 부상 수준을 살펴보겠습니다. |
| 따라서 인터뷰에 기장이나 착륙이 포함된 경우 부상 수준 측면에서 그다지 심각하지 않을 것입니다. |
| 그러나 다시 레이더, 밤, 산을 언급한다면 이것은 훨씬 더 심각한 단어입니다. 따라서 우리는 이 두 가지 반응 사이를 빠르게 오가며 어떤 단어가 이 두 가지를 예측하는지 확인할 수 있습니다. |
| 부상 수준과 피해 수준. |
| 그럼 또 다른 예를 살펴보겠습니다. |
| 그래서 이것은 제가 정말 좋아하는 것입니다. 이전에는 예를 들어 피자에 대해 이야기했습니다. 이제 맥주에 대해 이야기하겠습니다. 그러므로 이것들은 분명히 내 마음에 가깝고 소중한 것들입니다. |
| 그래서 제가 여기서 얻은 것은...어떤 맥주 리뷰에 따르면 모든 맥주 스타일에 대한 설명을 다운로드했습니다. |
| 몸. |
| 그래서 모든 맥주에는 설명이 있습니다. |
| 그리고 맥주가 어디서 왔는지 적혀 있습니다. 그래서 우리는 ... |
| 미국, 독일, 아일랜드. |
| 용어 선택을 사용하여 확인하세요. |
