스피커 | 성적 증명서 |
| 클레이 바커 | 감사합니다. 제 이름은 Clay Barker입니다. 저는 JMP 그룹의 통계 개발자이며 오늘은 16 용 JMP pro의 새로운 기능에 대해 이야기 할 것입니다. 이를 용어 선택이라고 부르며 동료 Paris Faison 및 Ernest Pasour와 함께 작업했습니다. |
| 따라서 텍스트 데이터는 실제로 점점 더 보편화되고 있습니다. 우리는 우리가 만드는 제품에 대한 고객 리뷰를 가질 수 있으며, 우리 장비의 일부에 대한 일부 이벤트 또는 유지 보수 로그에 대한 설명을 가질 수 있습니다. |
| 여기 제 슬라이드에있는이 예에서는 |
| 항공기 사고 ... 샘플 데이터에있는 사고 데이터 세트. |
| 그리고 모든 데이터 행은 일부 항공사 사고, 충돌 또는 기타 오작동에 대한 설명입니다. |
| 따라서 텍스트 탐색기 플랫폼을 사용한 적이 없다면 JMP 13에 도입되었으며 주로 텍스트 데이터를 요약하고 분석하는 데 사용합니다. |
| 따라서 가장 빈번하거나 가장 자주 발생하는 단어 및 구를 보는 것과 같은 일반적인 작업을 쉽게 수행 할 수 있으며 문서를 클러스터링하거나 주제 분석과 같은 주제를 찾는 것과 같은 작업을 쉽게 수행 할 수 있습니다. 그리고 모든 것은 문서 용어 매트릭스라고 불리는 것에 의해 주도됩니다. |
| 그렇다면 문서 용어 매트릭스는 무엇입니까? 각 문서에 특정 단어 나 구가 포함되어 있는지 여부를 나타내는 지표 변수의 행렬로 생각하는 것이 가장 쉽습니다. |
| 그리고 각 문서에서 단어가 나오는 빈도에 따라 가중치를 부여 할 수 있습니다. 따라서 각 문서는 문서 용어 행렬의 행이고 각 열은 단어입니다. |
| 여기에있는 아주 간단한 예를 들어, 첫 번째 줄은 "피자 포장이 답답했습니다."입니다. 그래서 우리는 포장을위한 1이 있습니다. |
| 피자는 1, 답답함은 1, 다른 모든 단어는 0입니다. 마찬가지로 두 번째 줄의 경우 냄새, 그레이트, 맛 및 피자에 대해 1을, 다른 곳에서는 0을 사용합니다. 각 문서에서 발생하는 단어에 대한 간단한 요약 일뿐입니다. |
| 또한 문서 용어 매트릭스의 몇 가지 변형이 있다고 언급했습니다. 가장 쉬운 방법은 바이너리입니다. 그것은 단지 1과 0입니다. |
| 그러나 각 단어가 얼마나 자주 발생하는지에 대한 정보를 포함하고 싶을 수 있으므로 여기 피자가 여러 번 나타나는 약간 더 긴 문장이 있습니다. |
| 이진 문서 용어 행렬에서 피자 열은 얼마나 자주 발생하는지 상관하지 않기 때문에 여전히 1입니다. 삼항의 경우 2입니다. 삼항은 0, 1, 2이기 때문입니다. 단어가 발생하지 않으면 0, 한 번 발생하면 1, 두 번 이상 발생하면 2입니다. |
| 여기서 4 번 발생하더라도 2로 코딩됩니다. 그리고 주파수는 정말 간단합니다. 해당 문서에서 각 단어가 나오는 횟수입니다. |
| 이 세 가지는 정말 간단한 것입니다. 또한 TF-IDF 가중치를 제공합니다. 이는 상대적인 빈도와 비슷하지만 이러한 가중치 체계에 대한 자세한 내용은 |
| 텍스트 탐색기 플랫폼. |
| 그럼 다음 단계는 무엇입니까? 다음에 사용하고 싶은 것은 무엇입니까? |
| 결과를 돕기 위해 텍스트를 사용할 수 있습니다. 그래서 여기에 가구 리뷰를 작성했고 모든 리뷰와 관련된 별 등급이 있습니다. |
| 따라서 우리는 이러한 리뷰가 왜 누군가가 제품을 더 높거나 낮게 평가하는지에 대한 단서를 제공한다고 생각할 수 있습니다. 이 첫 번째 줄에서 "지침이 실망 스러웠습니다."사용자는 3 점만 평가했습니다. 만약 그 패턴이 많이 발생하고 많은 사람들이 평가한다면 ... |
| 낮은 등급의 많은 부분이 지침과 관련되어 있으므로 가구와 함께 제공되는 지침을 개선해야한다는 것을 알 수 있습니다. |
| 따라서 간단한 아이디어는 회귀 모델로 사용하는 것입니다. 우리는 ... 문서 용어 매트릭스를 가져갈 것입니다. |
| 우리는 그것을 우리의 응답 정보와 결합하고 회귀를 할 것입니다. |
| 그리고 그것은 고객이 우리 가구를 좋아하거나 좋아하지 않는 이유 또는 우리가 만드는 제품을 이해하는 데 도움이 될 것입니다. |
| 설명을 기반으로 개체를 분류하는 데 도움이 될 수 있습니다. 나중에 그 중 일부를 보거나 유지 관리 기록 중 일부를 기반으로 일부 시스템이 실패하거나 실패하는 이유를 이해하고 싶을 수도 있습니다. |
| 그리고 우리가 이것을하는 방법은 정말 쉽습니다. |
| 우리는 각각의 X 또는 예측 변수가 항 행렬의 열 중 하나 인 회귀 모델을 만들고 있습니다. 따라서 제품 등급을 모델링하는 경우 이는 단순한 선형 회귀입니다. |
| 고객이 우리 제품을 추천할지 여부와 같은 이진 결과를 모델링하는 경우 |
| 수백 개의 단어 일 수 있으며 모두 사용하지 않는 것이 좋습니다. 모든 데이터가 유용하지는 않으므로 회귀 모델에 변수 선택 기술을 적용하고 해석하기 쉽고 잘 맞는 더 간단한 모델을 얻을 것입니다. |
| 그리고 여기 하단에는 이러한 지표 변수를 응답 등급, 별 등급과 결합하여 시각화하는 것이 쉽습니다. |
| 따라서 JMP 16에 포함될 솔루션은 회귀 모델을 텍스트 탐색기 플랫폼으로 가져 오는 것입니다. 일반화 된 회귀 플랫폼을 사용하여 변수 선택을 수행 한 적이 있다면 기본적으로 해당 플랫폼을 텍스트 탐색기 내에 포함하고 있습니다. |
| 따라서 JMP pro를 사용하는 경우 텍스트 탐색기의 빨간색 삼각형 메뉴에 용어 선택 항목이 표시됩니다. |
| 이것이 우리가 정말 기대하는 것입니다. 이러한 종류의 회귀 모델을 쉽고 빠르게 구축하고 개선 할 수 있습니다. |
| 따라서이 플랫폼을 시작하면 몇 분 안에 몇 가지 데모를 살펴볼 것입니다. |
| 출시 초기에는 우리의 반응에 대한 정보와 우리가 맞추고 싶은 모델의 종류를 묻는 것뿐입니다. |
| 따라서 별표 평점과 같은 연속 응답을 모두 처리 할 수 있으며 연속 응답을 지정하면 응답을 기반으로 일부 행을 필터링 할 수 있도록 필터를 제공합니다. |
| 그리고 명목 응답 열이 있으면 목표 수준을 선택합니다. 그래서이 경우 저희 제품을 추천 해 주시겠습니까? 우리는 모델링 할 것입니다 ... |
| 우리는 추천을 no로 모델링 할 것입니다. |
| 파란색, 녹색, 노란색과 같은 다중 레벨 응답이있는 경우 모델링 할 레벨을 선택하고 이에 대한 예를 몇 분 안에 볼 수 있습니다. |
| 그런 다음 응답을 지정한 후 플랫폼에 적합하려는 모델의 종류에 대한 정보를 제공 할 것입니다. |
| 그래서 우리가 변수 선택을 할 때, 우리는 탄성 그물 또는 올가미를 사용할 것입니까? 둘 다 일반화 회귀에 내장 된 변수 선택 기술입니다. 그리고 우리는 어떻게 검증을할까요? AIC 또는 BIC를 사용 하시겠습니까? |
| 또한 문서 용어 매트릭스에 대한 세부 정보를 지정할 수 있습니다. 가중치를 선택하고 고려할 최대 항 수를 선택할 수도 있습니다. 따라서 가장 자주 발생하는 상위 200 개 단어를 고려하고 싶다면 이것이 현재 200 개로 설정된 것입니다. |
| 그래서 당신이 그것을 시작하고 그 실행 버튼을 누르면 어떻게 될까요? 기본적으로 모든 것을 수행합니다. |
| 당신은해야합니다. 그것은 당신이 그것에 대해 걱정할 필요가 없도록 장면 뒤에서 데이터를 적절하게 설정합니다. 변수 선택을 수행하므로 이제 반응을 예측하는 데 유용하다고 생각되는 단어의 작은 하위 집합이 있으며 결과를 쉽게 |
| 보고서를 해석 할 수 있습니다. 잠시 후 보게 되겠지만 매우 상호 작용 적입니다. 그래서 당신은 이것을 할 수있었습니다 |
| 문서 용어 행렬을 데이터 세트에 저장하고 일반화 된 회귀 플랫폼을 직접 시작합니다. |
| 하지만 더 이상 그렇게 할 필요가 없습니다. 이제 선택 측면에서 모든 것이 전부입니다. |
| 그래서 그 모델 사양, 우리는 무엇을 어떻게 압니까, 우리는 무엇을 선택할지 어떻게 압니까? |
| 사용 가능한 추정 방법은 탄성 망과 올가미입니다. 그 차이를 기억하는 쉬운 방법 |
| 탄성 망은 상관 된 예측 변수 그룹을 선택하는 경향이 있습니다. 따라서이 설정에서 예측 변수가 모두 단어 일 때 |
| 이는 함께 발생하는 경향이있는 단어 그룹을 선택하는 경향이 있음을 의미합니다. 따라서 지침과 설명서를 생각하면 |
| 이러한 단어는 사용 설명서 때문에 자주 함께 나타납니다. 따라서이 두 예측 변수는 상관 관계가 높고 Elastic net은 둘 다 선택하는 반면 올가미는 아마도 지침이나 수동을 선택하지만 반드시 둘 다 선택할 필요는 없습니다. |
| 검증 방법에는 AIC와 BIC가 있습니다. |
| 그래서 일종의 경험 법칙은 AIC가 모델을 과도하게 선택하는 경향이 있고 BIC가 과소 선택하는 경향이 있다는 것입니다. 따라서 사양에서 |
| AIC는 더 큰 단어 세트를 선택하는 반면 BIC는 더 작은 단어 세트를 선택하는 경향이 있습니다. |
| 그리고 개인적으로 나는 필요한 것보다 더 많은 단어를 갖고 싶어하기 때문에 설정에서 AIC를 많이 사용하는 경향이 있지만 실제로 그것은 선호도의 문제입니다. |
| 그리고 문서 용어 가중치 ... |
| 문서 용어 매트릭스 가중치, 내 말은. |
| 그것은 정말로 당신의 문제에 달려 있습니다. 따라서이 예에서는 |
| 리뷰에서 페인트라는 단어가 여러 번 나타납니다. 리뷰어가 매우 ... |
| ... 페인트는 리뷰어에게 매우 중요했으며 회귀 모델에서 의미가있을 수 있으므로 바이너리 대신 빈도와 같은 가중치를 사용하고 싶습니다. |
| 그러면 용어 선택을 시작하면 다음과 같은 위치에있게됩니다. |
| 왼쪽에있는 모든 문서와 오른쪽에서 선택한 모든 단어에 대한 요약입니다. 지금은이 부분을 건너 뛰겠습니다. 데모를 시작할 때 더 쉽게 알 수 있습니다. |
| 우리가 매우 유용하다고 생각하는 또 다른 점은 요약이 있다는 것입니다. 따라서 용어 선택을 사용하여 일련의 모델에 맞출 수 있으며 모든 모델이 맨 위에 요약되어 서로 전환 할 수 있습니다. 그리고 다시 우리는 잠시 후에 그것을 보게 될 것입니다. |
| 이제 플랫폼을 살펴 보겠습니다. |
| 먼저 이걸 살펴 볼게요 |
| JMP 샘플 데이터 폴더에있는 항공기 사고 데이터 세트. |
| 따라서 테이블의 모든 행은 사건입니다. 그리고 우리는 항공기에 얼마나 많은 손상이 있었는지, 어떤 종류의 부상이 있었는지 알고 있으며 설명이 있습니다. 따라서이 마지막 열은 사건에서 정확히 무슨 일이 일어 났는지에 대한 설명입니다. |
| 따라서 텍스트 탐색기를 시작합니다. 이전에 텍스트 탐색기를 사용한 적이없는 경우 왼쪽에는 가장 자주 발생하는 용어가 있고 오른쪽에는 가장 자주 발생하는 구문 인 단어 그룹이 있습니다. |
| 그래서 우리는 이해하기 위해이 단어들을 사용하고 싶습니다 |
| 충돌을 일으키는 원인은 더 많은 피해를 입히거나 더 심각한 부상을 입힐 수 있습니다. 그래서 우리는 빨간색 삼각형 메뉴로 가서 용어 선택을 요청합니다. |
| 이제 우리는 방금 전에 살펴본이 발사를보고 손상에 대해 더 자세히 알고 싶습니다. 그리고 특히 저는 ... 항공기가 파괴 된 사건과 적은 피해를 구분하고 싶을 수 있으므로 파괴 할 목표 수준을 선택하겠습니다. |
| 이 조기 중지는 시간 절약 기능이라는 점을 언급하겠습니다. 그래서 |
| 변수 선택을 할 때 훨씬 더 큰 문제에 대해 상당한 시간이 소요될 수 있습니다. 이 확인란을 선택한 상태로두면 |
| 우리는 충분히 좋은 모델이 있다고 생각합니다. 우리는 계속해서 일찍 멈출 것입니다. 나는 내가 훨씬 더 큰 문제가 있다는 것을 알지 못한다면 그것을 확인하지 않는 경향이 있습니다. |
| 그래서 저는 Elastic net, AIC를 남겨두고 달리기를하겠습니다. |
| 이제 백그라운드에서 일어나고있는 것은이 회귀 모델을 맞추는 데 필요한 데이터를 생성했고, 그 뒤에 회귀 모델을 맞추고 있습니다. 이제 요약을 얻었습니다. 그래서 모든 |
| 모든 문서가이 왼쪽 패널에 요약되어 있으므로 이것은 첫 번째 항공기 사고이고 두 번째는 비어 있습니다. |
| 첫 번째는 비행기가 활주로 옆에있는 스노우 뱅크에 닿았습니다. |
| 그리고 우리는 모든 중요한 단어를 강조 표시 했으므로 파란색 단어는 음의 계수를, 주황색 단어는 양의 계수를 갖습니다. |
| 단어에 관심이 있다면 오른쪽에있는이 패널을 볼 수 있습니다. 저는 계수별로 정렬하는 것을 좋아하므로 상단을 클릭하기 만하면됩니다. |
| 따라서이 경우 계수가 음수 인 단어는 파괴 될 가능성이 적습니다. 그래서 만약 |
| 문서에는 착륙이라는 단어가 포함되어 있습니다. 만약 비행기가 착륙 지점까지 도달했다면 그것은 아마도 매우 심각한 사건이 아닐 것입니다. 따라서 이들은 |
| 파괴됨. 반대로, 우리는 가장 긍정적 인 용어를 볼 수 있으며, 이것은 파괴되는 항공기와 가장 관련이있는 단어입니다. |
| 그리고 그것은 불, 증인과 같은 말입니다. 사건을 설명하기 위해 증인을 인터뷰하는 경우 비행기에 탑승 한 사람이 인터뷰를 할 수 없었 음을 의미합니다. |
| 그래서 불, 레이더, 회전, 밤,이 모든 단어들은 |
| 파괴됩니다. |
| 이제 우리는 부상 수준에도 관심이있을 수 있습니다. 특히 최악의 부상 수준을 살펴 보겠습니다. |
| 그리고 다시 용어 선택을 할 것입니다. |
| 그리고 나는 그것을 빨리 유지하기 위해 그것을 받아 들일 것입니다. |
| 이제 우리는 같은 종류의 일을 할 수 있지만 대신 부상 수준을 살펴 봅니다. |
| 따라서 인터뷰에 선장이나 착륙이 포함되어 있다면 부상 수준 측면에서 그리 심각하지 않을 것입니다. |
| 그러나 레이더, 밤, 산에 대해 다시 언급하면 훨씬 더 심각한 단어입니다. 따라서 우리는이 둘 사이를 빠르게 앞뒤로 이동할 수 있습니다.이 두 응답을 통해 어떤 단어가이 둘을 예측하는지 확인할 수 있습니다. |
| 부상 수준 및 손상 수준. |
| 그럼 다른 예를 살펴 보겠습니다. |
| 그래서 이것은 제가 정말 좋아하는 것입니다. 이전에 저는 제 예에서 피자에 대해 이야기했습니다. 이제 우리는 맥주에 대해 이야기 할 것입니다. 그래서 이것들은 분명히 내 마음에 가깝고 소중한 것들입니다. |
| 그래서 제가 여기있는 것은 제가 가지고 있다는 것입니다 ... 저는 맥주 리뷰에 따르면 모든 맥주 스타일에 대한 설명을 다운로드했습니다. |
| 몸. |
| 따라서 모든 맥주에는 설명이 있습니다. |
| 그리고 그것은 맥주가 어디에서 왔는지 알려줍니다. 그래서 우리는 ... |
| 미국, 독일, 아일랜드. |
| 용어 선택을 사용하여 확인 |
