스피커 | 성적 증명서 |
| 키라 알혼 | 좋습니다. 제 강연에 오신 것을 환영합니다. 고객의 요구를 이해하기 위한 텍스트 탐색기 둘러보기. 나는 매우 기쁘다 |
| 여기에 가상 형식의 JMP Discovery Summit이 있습니다. 제 이름은 Kira Alhorn이고 WL Gore and Associates의 통계학자입니다. |
| 그리고 프리젠테이션 자체를 시작하기 전에 저희 회사에 대해 간단히 소개하고 싶습니다. WL Gore and Associates는 글로벌 소재 과학 기업으로, |
| 항공 우주에서 시작하여 의료 제품 및 대부분의 사람들에게 친숙할 수 있는 제품에 이르기까지 매우 다른 산업에 대한 매우 다른 솔루션입니다. |
| 고어텍스 브랜드입니다. 이것이 우리가 오늘 초점을 맞출 것이며 Gore-tex 브랜드는 내구성이 뛰어난 방수 및 통기성 직물 라미네이트를 생산하고 있습니다. |
| 그리고 이러한 라미네이트는 고객 또는 그것으로 제품을 만드는 브랜드 파트너에게 판매됩니다. 보다 구체적으로 오늘은 신발에 초점을 맞출 것입니다. |
| 그래서 이것은 제 이야기에 대한 짧은 개요입니다. 배경과 동기부터 시작하겠습니다. 그래서 우리는 무엇을 보고 있습니까? 우리는 신발 설명을 보고 있으며 왜 그것에 관심이 있습니까? |
| 이후 나머지 이야기는 JMP에서 진행됩니다. 저는 JMP 15 Pro를 사용하고 텍스트 탐색기를 사용하는 방법을 보여드리겠습니다. |
| 신발 설명을 분석하기 위해. 해당 텍스트 또는 신발 설명에서 주제를 찾는 방법으로 해당 주제를 사용하여 일반적인 신발 설명 또는 신발 설명에서 일반적인 주제를 찾고 이를 다른 카테고리의 신발과 비교할 수 있습니다. |
| 그리고 마지막으로 이것은 매우 간략한 소개일 뿐입니다. 몇 가지 예측 모델을 사용하여 결과를 검증하고 더 많은 정보를 얻을 수 있습니다. 다양한 신발 설명이 신발을 어떻게 분류하는지 더 자세히 살펴볼 것입니다. |
| 그러니 당신의 찬장과 당신의 찬장 안에 있는 신발을 상상해보세요. |
| 그리고 여러분 각자의 찬장에는 적어도 적거나 상당히 많은 다양한 신발 컬렉션이 있을 것입니다. 질문은, 왜 그렇게 많은 신발을 가지고 있습니까? |
| 그리고 신발은 자신의 스타일에 맞아야 하고 다른 색상이 필요할 수도 있습니다. 이것이 신발이 다른 유일한 이유는 아닙니다. |
| 다른 이유는 다른 신발이 필요하기 때문입니다. 그러니 여러분이 한 켤레의 러닝화를 가지고 있고, 캐주얼한 최종 사용을 위한 여러 켤레의 신발을 가지고 있고 하이킹 신발을 가지고 있다고 상상해보세요. |
| 그리고 각 신발에는 이 신발을 이 최종 용도에 사용할 수 있도록 하는 기능이 다르거나 약간 다르기 때문에 해당 기능이 필요합니다. |
| 그래서 우리가 궁금한 점은 브랜드 파트너의 신발 설명을 보면 서로 다른 신발을 독특하게 만드는 것이 무엇인지 어떻게든 찾을 수 있을까요? 여기에서 컬렉션을 볼 수 있습니다. |
| 신발의 다양한 최종 용도에 대해 이제 우리에게 해당하는 다양한 신발 카테고리. |
| 이제 문제는 고객이 새로운 하이킹 신발을 생산하고자 하는 경우입니다. 예를 들어 하이킹용 신발을 위해 판매하는 라미네이트에 어떤 기능 구성을 제공해야 합니까? |
| 그렇다면 이러한 신발 설명이 고객에게 제공할 수 있는 프로토타입을 제공할 수 있습니까? |
| 그리고 물론 여기에서 흥미로운 또 다른 측면은 무엇입니까? 다른 신발은 어떻게 차별화됩니까? 그렇다면 그 하이킹 신발과 스트리트 신발의 차이점은 무엇입니까? 왜 우리는 그러한 차이점이 필요합니까? |
| 데이터 분석을 시작했을 때 이것이 우리의 의도였습니다. |
| 그래서 저는 JMP로 가고 싶습니다. |
| 그리고 JMP에서는 먼저 수집한 데이터가 어떻게 보이는지 보여드리고 싶습니다. |
| 그래서 우리는 단순히 브랜드 파트너의 웹 페이지를 방문하고 해당 패키지에서 신발 설명을 수집했습니다. |
| 신발의 각 범주에 대해 특정 수의 신발 설명이 있으며 전체 설명을 데이터 테이블에 복사하기만 하면 됩니다. |
| 그래서 다소 길 수도 있고 짧을 수도 있지만 단순히 복사하는 것 이상은 하지 않았습니다. |
| 그러나 다른 한편으로는 그 텍스트 필드로 많은 일을 할 수 없다는 것을 상상할 수 있습니다. |
| 또는 적어도 우리가 할 수 없는 것처럼 보입니다. JMP는 무언가를 할 수 있는 큰 가능성을 제공하기 때문입니다. 그리고 무엇을 의미합니까? 우리는 긴 텍스트에서 정보를 추출하여 좀 더 소화하기 쉬운 덩어리로 만들고 싶습니다. |
| 그리고 그 소화 가능한 덩어리들 |
| 텍스트 탐색기를 사용하여 추출할 수 있습니다. 텍스트 탐색기로 이동하여 여기에 있는 텍스트 열에 신발 설명을 입력합니다. |
| 그리고 여기에는 많은 옵션이 있습니다. 이러한 옵션은 신발 설명을 자르거나 텍스트 분석 언어로 설명 문서를 호출하는 알고리즘에 입력됩니다. |
| 그리고 이것은 내가 언급한 것처럼 문서를 더 작은 정보 조각, 즉 소화 가능한 덩어리로 자르는 것입니다. |
| 그리고 여러분이 보게 될 것은 소화 가능한 덩어리입니다. 즉, 정보의 가장 작은 단위인 용어가 있고, 자주 함께 발생하고 결합하면 의미를 가질 수 있는 용어인 구가 있습니다. |
| 여기에서 가장 일반적으로 사용되는 용어를 볼 수 있습니다. |
| 모든 문서와 모든 신발 설명에는 편안함이라는 용어가 있습니다. |
| 그래서 먼저 우리가 한 일은 여기에 있는 모든 문구를 살펴보고 살펴보는 것이었습니다. 말이 되는 것이 있습니까? |
| 그리고 첫 번째는 이미 의미가 있습니다. 따라서 여기에서 Gore와 tex라는 용어는 단일 용어로 표시되지만 Gore와 tex라는 용어가 아니라 Gore-tex라는 용어를 분석해야 한다는 것이 이치에 맞습니다. |
| 따라서 용어 목록에 의미가 있는 모든 구를 추가할 수 있습니다. 그래서 우리는 문구를 추가하고 이제 여기에서 볼 수 있듯이 Gore라는 단일 용어 대신 Gore-tex라는 용어가 있습니다. |
| 이것이 데이터 처리의 1단계였습니다. 두 번째 단계는 용어 목록에 중복이 있는지 확인하는 것이었습니다. |
| 이해가 되지 않는 용어가 있는 경우. 그리고 JMP는 이미 and, a, |
| 또는 정보를 제공하지 않습니다. 그러나 예를 들어 이 S와 같이 의미가 없는 일부 용어가 남아 있을 것입니다. |
| S로 무엇을 하시겠습니까? 신발에 대해 무엇을 말합니까? 그래서 우리는 모든 용어를 검토해야 했고, 이치에 맞지 않는 용어가 있으면 불용어라고 부르고 불용어 목록에 편집하여 분석에서 제외했습니다. |
| 그게 한 가지였습니다. 내가 언급한 또 다른 사항은 중복이 있는지 확인해야 하며 여기에서 볼 수 있습니다. 예를 들어 Gore tex라는 용어가 있습니다. |
| GTX라는 용어. 그리고 GTX는 Gore-tex라는 용어의 약자일 뿐이므로 둘 다 따로 분석할 것이 아니라 결합해야 합니다. |
| 따라서 열과 거의 동일한 Recode 기능이 있으며 이 기능은 이러한 기능을 결합하는 훌륭한 도구입니다. |
| ??? 데이터. 여기 Recode라는 함수가 있습니다. 저는 이 두 가지를 그룹화합니다. |
| 이제 이것이 하나의 용어(Gore-tex)라는 것을 알게 될 것입니다. 이것은 실제로 우리 데이터에서 가장 빈번한 용어입니다. |
| 그래서. |
| 우리는 4,000개 용어로 시작했고 모든 청소를 마친 후에는 100개 용어에 불과했습니다. 보시다시피, 100개의 용어가 남아 있고 그것으로 많은 분석을 할 수 있습니다. 신발 설명이 무엇인지 이해하는 데 매우 유용합니다. |
| 따라서 이 목록을 사용하여 가장 자주 사용되는 용어를 확인할 수 있지만 JMP는 매우 쉬운 시각화 도구도 제공합니다. |
| 빨간색 삼각형을 클릭하면 단어 구름을 추가할 수 있습니다. 그리고 이 단어 구름은 단어의 크기에 따라 모든 문서, 즉 모든 신발 설명에서 해당 단어의 빈도를 제공합니다. 따라서 Gore-tex, 편안함 및 경량은 우리가 수집한 신발 설명에서 가장 일반적으로 사용되는 용어입니다. |
| 하지만 이것이 우리가 궁금했던 것과 정확히 일치하지 않는다는 것을 기억하실 것입니다. 그렇죠? 그래서 우리는 다양한 최종 사용자를 위한 신발이 무엇인지 궁금했습니다. |
| 이를 위해 여기에 로컬 데이터 필터를 쉽게 추가하고 신발의 최종 용도를 필터로 사용할 수 있습니다. 그래서 예를 들어 거리 겨울 신발에 대한 모든 설명에서 가장 자주 사용되는 용어가 무엇인지에 관심을 가질 수 있습니다. |
| 거리 겨울 신발에 대한 설명에 겨울과 따뜻함이라는 용어가 자주 등장하는 것도 당연합니다. |
| 반면에 예를 들어 트레일 러닝화를 보면 여기에서 다른 강조점을 볼 수 있습니다. 따듯할 필요는 없지만 통기성이 좋고 가벼우며 잘 맞아야 합니다. |
| 따라서 이러한 단어 구름은 우리의 초기 질문에 대한 첫 번째 이해를 얻는 데 매우 매우 훌륭합니다. 즉, 다양한 신발 유형의 기능 구성을 설명하는 것은 무엇입니까? |
| 그리고 우리는 그것으로 끝나지 않았습니다. 우리는 한 걸음 더 나아가고 싶었습니다. |
| 한 단계 더 나아가, 이미 모든 데이터를 준비했다면 이 신발 구성의 프로토타입을 찾기 위해 어떻게든 모델링을 할 수 있습니까? 이러한 모델링을 위해 JMP에는 다양한 옵션이 있으므로 SVD를 사용하기로 결정했습니다. |
| SVD는 문서 용어 매트릭스의 주성분 분석을 수행하고 있습니다. |
| 그리고 그것은 무엇을 의미합니까? 문서 용어 행렬은 각 문서에 대해 포함하므로 각 신발 설명에 대해 |
| 각 용어의 빈도. 예를 들어 첫 번째 신발 설명에서 Gore-tex라는 용어가 얼마나 자주 사용되는지, 편안함이라는 용어가 얼마나 자주 사용되는지 등이 중요합니다. 그래서 여러분은 그것이 매우 거대한 행렬이라고 상상할 수 있습니다. |
| 이제 아이디어는 문서 용어 행렬의 차원을 줄이는 주성분 분석을 통해 데이터를 더 잘 파악하는 것입니다. |
| 그리고 데이터를 더 잘 시각화할 수 있습니다. |
| 그리고 치수 축소를 기반으로 이제 일부 모델링을 수행할 수 있습니다. 그리고 어떤 종류의 모델링이 우리에게 흥미로울까요? 그래서 우리는 특정 최종 용도를 위한 신발을 설명하는 것이 무엇인지에 관심이 있었습니다. |
| 그리고 그 지점에 도달하기 위해 우리는 신발 설명에 어떤 주제가 있는지 분석했습니다. 주제가 있는 경우 해당 주제가 특정 최종 용도에 해당합니까? |
| 따라서 이상적인 세상에서 우리는 데이터에서 9개의 주제를 찾고 이 9개의 주제는 정확히 하나의 신발 범주를 나타냅니다. 따라서 우리는 각 신발에 대한 프로토타입 신발 구성 또는 기능 구성을 갖게 됩니다. |
| 그럼 내가...9개의 주제를 검색하면 어떻게 되는지 봅시다. 9개의 다른 신발 카테고리에 관심이 있으므로 주제 분석을 클릭하고 9를 입력하겠습니다. |
| 그리고 내가 얻는 것은 해당 주제에서 자주 발생하는 용어가 포함된 주제 목록입니다. 예를 들어 주제 1에는 신발이 포함됩니다. |
| 신발 설명에 슈퍼핏, 텍스타일, 웜 등의 용어가 있습니다. 그래서 여기에서 내 첫 번째 직감은 이것이 거리 또는 거리 겨울 신발이어야 한다는 것입니다. |
| 예를 들어 주제 2는 산장, 트레킹, 멀티 데이 등의 용어를 포함하는 신발 설명으로 구성되어 있어 트레킹 신발과 같은 것으로 보입니다. |
| 하지만 물론 통계학자로서 저는 직감만 주는 것이 만족스럽지 않습니다. 어떤 카테고리의 신발이 어떤 주제에 속하는지 정말 알고 싶습니다. 이를 위해 신발 카테고리의 간단한 분포를 수행하고 있으며 여기에 로컬 데이터 필터를 추가하여 |
| 카테고리 |
| 그것은... |
| 선택한 신발만 표시합니다. |
| 그게 무슨 뜻이야? 어떻게 사용할 수 있습니까? JMP는 여기에서 주제 점수 도표와 이러한 주제 점수 도표를 제공합니다. |
| 각 주제에 대한 각 신발 설명에 대해 1점을 받습니다. |
| 따라서 신발 설명 점수가 높을수록 이 신발이 특정 주제를 더 잘 대표한다는 의미입니다. |
| 그래서 제가 하는 일은 주제 1에 대해 높은 점수를 받은 모든 신발을 선택하는 것입니다. |
| 거리 및 거리 겨울 신발이라는 히스토그램이 있습니다. 그래서 기본적으로 내 직감이 옳았습니다. 텍스타일로 만든 슈퍼핏의 신발, 스트리트와 스트리트 윈터 슈즈입니다. |
| 두 번째 주제는 트레킹화일 것으로 예상했다는 점을 기억하십시오. 여기 히스토그램에서 트레킹화를 볼 수 있습니다. |
| 이제 모든 주제에 대해 그렇게 할 수 있습니다. 저는 그것을 저널에 넣었습니다. |
| 그리고 당신은 그 모든 것을 하는 데 약간의 어려움을 보게 될 것입니다. 따라서 각 주제에 하나 이상의 신발 카테고리를 할당하면 두 가지 문제가 나타납니다. |
| 첫 번째 문제는 여기에 표현되어 있습니다. 등산과 같은 특정 신발 카테고리가 하나의 주제가 아닌 여러 주제로 표현되는 것을 볼 수 있습니다. |
| 또한 이러한 주제가 겹치는 것을 볼 수 있습니다. 예를 들어 크램폰이라는 단어는 두 주제 모두에서 발생합니다. |
| 즉, 여기에 너무 많은 주제가 있는 것 같습니다. |
| 따라서 이러한 주제는 이상적으로는 신발 카테고리당 하나의 주제를 갖고 싶고 여러 카테고리에 해당하는 겹치는 주제가 있는 경우 9개는 너무 많은 것 같습니다. |
| 그러나 이것은 물론 또 다른 ???가 있어야 하므로 등산화가 하나 이상의 주제에 해당하는 경우 명확하게 식별할 수 없는 주제가 있어야 합니다. |
| 예를 들어 이 주제 5번을 보십시오. 그래서 가장 대표적인 신발처럼. 당신은 이것을 거대한 컬렉션으로 볼 것입니다. |
| 프로그레시브 슈즈, 로드 러닝화, 스트리트 슈즈 등이 있습니다. 그래서 그것들은 대부분 겹치고 서로 구별되지 않는 범주입니다. 트레일 러닝화와 로드 러닝화의 차이점이 어디인지 상상해 보세요. |
| 아니면 트레일 러닝과 하이킹의 차이점이 무엇인지 다음 단계로 이동하세요. |
| 해당 신발에는 특정 중복이 있으며 이러한 중복이 있는 경우 해당 신발 범주에 대한 하나의 기능 구성을 명확하게 식별할 수 없습니다. |
| 그래서 그것은 또한 매우 귀중한 배움입니다. 물론 다양한 라미네이트의 포트폴리오를 관리하는 것입니다. 특정 최종 용도를 위해 특정 라미네이트가 필요한지 알고 싶습니까? 아니면 이미 가지고 있는 다른 라미네이트와 유사합니까? |
| 그래서 결국 우리는 하나 이상의 범주에 해당하는 주제가 없는 주제의 최종 컬렉션을 원했고 이를 수작업으로 수행했습니다. 그래서 우리는 다양한 수의 주제를 분석했고 결국 5개를 얻었습니다. |
| 이 다섯 가지 주제는 일정량의 범주에 해당하지만 모든 신발 범주를 나타낼 수 있는 것은 아닙니다. |
| 그래서 우리는 두 가지를 배웠습니다. 첫 번째 학습은 우리가 신발 설명의 몇 가지 프로토타입을 가지고 있다는 것입니다. |
| 신발 카테고리. 반면에 여기에 이름이 지정되지 않은 모든 신발 카테고리는 크게 차별화되지 않았거나 이 단일 구성이 없을 수 있습니다. |
| 그들의 신발 설명에서. |
| 그리고 그것은 Text Explorer가 제공하는 유일한 옵션이었습니다. 다른 옵션도 있지만 우리는 이것에 집중했고 꽤 잘 작동했습니다. |
| 그리고 텍스트 탐색기를 종료하고 항목 문서 용어 행렬로 추가로 수행할 수 있는 작업에 대한 간략한 개요만 제공하고 싶습니다. |
| 그래서 여기에 이전과 동일한 데이터 세트가 있지만 문서 용어 행렬을 내보냈습니다. 따라서 각 용어에 대해 표시되는 많은 새 열을 볼 수 있습니다. |
| 특정 신발 설명에서 해당 용어의 빈도. |
| 그리고 우리는 그것의 다른 버전으로 시도했고, 그래서 우리는 빈도를 나타내는 문서 용어 행렬을 가졌습니다. 우리는 그것이 포함되어 있다는 것을 나타내는 하나를 가졌습니다. 그것은 포함되지 않았습니다; 등등. 그리고 우리는 그 버전으로 끝났습니다. |
| 그리고 JMP Pro의 가능성을 활용하여 데이터 세트를 교육, 검증 및 테스트 데이터로 분할하는 검증 열을 만들었습니다. 학습 및 검증 데이터는 예측 모델을 학습하는 데 사용되고 테스트 데이터는 테스트에 사용됩니다. |
| 그리고 예측 모델링에 대해 이야기할 때 여기서 우리의 목표는 무엇입니까? 그래서 우리가 이전에 했던 것은 감독되지 않은 기술이었습니다. |
| 방금 주제를 검색하고 나중에 신발 카테고리와 비교했습니다. 이제 우리는 좀 더 능동적이기를 원하므로 신발 설명이 있습니다. 범주를 명시적으로 예측할 수 있습니까? |
| 그리고 우리는 JMP 15 Pro가 제공하는 다양한 예측 모델링 기술을 시도했고 결과적으로 부트스트랩 포리스트를 만들었습니다. 여기서는 결과가 어떻게 표시되고 결과를 사용할 수 있는지에 대한 아이디어만 제공하고 싶습니다. |
| 따라서 테스트 데이터 세트의 혼동 행렬에서 결과, 카테고리, 특정 신발 설명 및 부트스트랩 포레스트를 사용하여 예측한 내용을 볼 수 있습니다. |
| 그리고 흥미롭게도 이전에 보았던 것과 거의 동일한 결과를 보게 될 것입니다. 따라서 다른 카테고리와 명확하게 구분할 수 있는 특정 카테고리가 있으며, |
| 이미 고유한 기능 구성이 있고 없는 사용자도 있습니다. 예를 들어 로드 러닝화를 살펴보십시오. |
| 우리는 이미 첫 번째 분석에서 그것들이 고유하게 정의되지 않았다는 것을 발견했습니다. 그리고 우리는 여기서도 보게 될 것입니다. 나는 많은 신발이 실제로 다른 신발인 로드 러닝화일 것이라고 예측합니다. |
| 그래서 이것은 우리가 이전에 발견한 것을 확인시켜준다는 것을 의미합니다. 감독되지 않은 기법을 사용하여 잘 설명된 신발 범주가 여기에 잘 설명되어 있고 잘 구분되지 않은 신발 범주도 여기에서 잘 구분되지 않은 것을 볼 수 있습니다. |
| 보기에 꽤 흥미로웠고 이제 이 분석을 사용하여 할 수 있는 추가 작업이 많이 있습니다. 예를 들어 다음과 같이 할 수 있습니다. |
| 분석, 어떤 신발을 차별화하고 싶을 때 가장 중요한 문제는 무엇입니까? 신발 범주를 구분할 때 어떤 용어가 가장 많이 기여하는 열 기여도입니까? |
| 또는 ROC 곡선을 사용하여 어떤 신발 범주가 매우 차별화될 수 있고 그렇지 않은지 더 자세히 탐색할 수 있습니다. |
| 마지막으로 이 모델을 예측에 사용할 수 있습니다. 따라서 여기에 특정 기능 구성 또는 신발 설명을 입력할 수 있습니다. |
| 그런 다음 이 설명이 특정 신발 범주에 속할 확률을 예측합니다. 이 경우 예를 들어 이 신발이 로드 러닝화일 수 있다고 예측합니다. |
| 시간 관계상 자세한 내용은 다루지 않겠지만 간단히 요약하겠습니다. 그래서 우리의 주요 발견은 무엇입니까? 주요 결과는 |
| 텍스트 탐색기는 절대적으로 직관적인 매우 훌륭한 도구이며 구조화되지 않은 텍스트 데이터에서 신속하게 정보를 추출하는 데 사용할 수 있습니다. |
| 그들은 어디에서 구별합니까, 어디에서 그렇지 않습니까? 그 신발에 필요한 기능은 무엇입니까? 그러나 그 결과는 우리가 기대한 바를 확인시켜 주었습니다. |
| 그리고 이 확인에서 우리는 감독되지 않은 기술이나 감독된 기술을 사용하여 이를 수행할 수 있습니다. 그래서 여기에서 SVD 및 예측 모델을 부트스트랩 포레스트와 함께 사용하여 주제 분석을 비교했습니다. 다른 것도 비슷하게 잘 작동할 수 있습니다. |
| 마지막으로 그룹에 감사드립니다 ??? 누가 그 문제를 생각해 냈습니까? 그들은 모든 데이터를 수집하고 모든 데이터를 정리했습니다. |
| 다른 기술의 의미 또는 넌센스. 따라서 그들이 없었다면 지금 그 말씀을 듣지 못했을 것입니다. 그리고 추가적으로, |
| 텍스트 분석에 관해 저와 상담해 준 TU Dortmund University의 전 동료인 Jonas에게 감사를 표하고 싶습니다. |
| 마지막으로 여러분의 관심에 감사드리며 이메일이나 JMP 사용자 커뮤니티를 통해 어떤 질문에도 기꺼이 답변해 드리겠습니다. 저에게 메모를 남겨주세요. |
