스피커 | 성적 증명서 |
| 키라 알혼 | 좋습니다. 고객의 요구 사항을 이해하기위한 텍스트 탐색기 안내에 오신 것을 환영합니다. 나는 매우 행복하다 |
| 여기에 가상 형식의 JMP Discovery Summit이 있습니다. 제 이름은 Kira Alhorn이고 WL Gore and Associates의 통계 학자입니다. |
| 그리고 프리젠 테이션 자체를 시작하기 전에 우리 회사를 빨리 소개하고 싶습니다. WL Gore and Associates는 글로벌 재료 과학 회사입니다. |
| 항공 우주에서 시작하여 의료 제품과 대부분의 사람들에게 익숙한 제품까지 매우 다양한 산업을위한 매우 다른 솔루션 |
| Gore-tex 브랜드입니다. 이것이 우리가 오늘 집중할 것이며 Gore-tex 브랜드는 내구성있는 방수 및 통기성 직물 라미네이트를 생산하고 있습니다. |
| 그리고 그 라미네이트는 제품을 만드는 고객이나 브랜드 파트너에게 판매됩니다. 더 구체적으로 오늘은 신발에 초점을 맞출 것입니다. |
| 그래서 이것은 제 강연에 대한 간략한 개요입니다. 배경과 동기부터 시작하겠습니다. 그래서 우리는 무엇을보고 있습니까? 우리는 신발 설명을보고 있으며 왜 그것에 관심이 있는가. |
| 그 후 나머지 강연은 JMP에서 진행됩니다. JMP 15 Pro를 사용하고 Text Explorer를 사용하는 방법을 보여 드리겠습니다. |
| 신발 설명 분석을 위해 해당 텍스트 또는 신발 설명에서 주제를 찾는 방법, 그러면 해당 주제를 사용하여 신발 설명에서 일반적인 신발 설명 또는 일반적인 주제를 찾고 우리가 보유한 다른 카테고리의 신발과 비교할 수 있습니다. |
| 마지막으로, 이것은 매우 간단한 소개 일뿐입니다. 우리는 몇 가지 예측 모델을 사용하여 결과를 검증하고 더 많은 정보를 얻습니다. 다양한 신발 설명이 신발을 분류하는 방법에 대해 자세히 살펴볼 것입니다. |
| 그러니 자신의 찬장과 찬장에있는 신발을 상상해보세요 |
| 그리고 여러분 모두는 자신의 찬장에 적어도 작거나 다소 큰 신발 컬렉션을 가지고있을 것입니다. 질문은, 왜 그렇게 많은 신발을 가지고 있는가입니다. |
| 그리고 당신의 신발이 당신의 스타일에 맞아야하고 당신은 다른 색상이 필요할 수도 있습니다. 이것이 당신이 다른 신발을 가지고있는 유일한 이유는 아닙니다. |
| 다른 이유는 다른 신발이 필요하기 때문입니다. 운동화 한 켤레가 있고 캐주얼 한 최종 사용을위한 여러 켤레의 신발이 있고 하이킹 신발이 있다고 상상해보십시오. |
| 그리고 각 신발에는이 신발을이 최종 용도에 사용할 수 있도록하는 기능이 다르거 나 약간 다르기 때문에 이러한 기능이 필요합니다. |
| 그래서 우리가 궁금했던 것은 브랜드 파트너의 신발 설명을 보면 어떻게 든 다른 신발을 독특하게 만드는지 찾을 수 있습니까? 여기에서 컬렉션을 볼 수 있습니다. |
| 신발의 다양한 최종 용도에 대해 현재 우리에게 해당하는 다양한 신발 카테고리. |
| 그리고 문제는 이제 고객이 새로운 하이킹 신발을 생산하고자한다면 하이킹 용 신발에 대해 판매하는 라미네이트에 어떤 기능 구성을 제공해야 하는가입니다. |
| 그렇다면 이러한 신발 설명이 고객에게 제공 할 수있는 프로토 타입을 제공 할 수 있습니까? |
| 물론 여기서 흥미로운 또 다른 측면은 무엇입니까? 다른 신발은 어떻게 차별화됩니까? 그렇다면 그 하이킹 신발과 거리 신발의 차이점은 무엇입니까? 왜 우리는 그러한 차이가 필요합니까? |
| 이것이 우리가 데이터 분석을 시작했을 때의 의도였습니다. |
| 그래서 저는 JMP로 가고 싶습니다. |
| 그리고 JMP에서는 먼저 우리가 수집 한 데이터가 어떻게 보이는지 보여 드리고 싶습니다. |
| 그래서 우리는 단순히 브랜드 파트너의 웹 페이지를 방문하여 해당 패키지에서 신발 설명을 수집했습니다. |
| 신발의 각 카테고리에 대해 특정 개수의 신발 설명이 있으며 보시다시피 전체 설명을 데이터 테이블에 복사했습니다. |
| 그래서 이것은 다소 길 수도 있고 짧을 수도 있지만 단순히 복사하는 것 이상을하지 않았습니다. |
| 그러나 다른 한편으로, 그 텍스트 필드로 우리는 많은 것을 할 수 없다고 상상할 수 있습니다. |
| 아니면 적어도 JMP는 무언가를 할 수있는 큰 가능성을 제공하기 때문에 우리가 할 수없는 것처럼 보입니다. 그리고 무엇을 의미합니까? 우리는 긴 텍스트에서 정보를 추출하여 좀 더 이해하기 쉬운 덩어리로 만들고 싶습니다. |
| 소화 가능한 덩어리 |
| 텍스트 탐색기를 사용하여 추출 할 수 있습니다. 그래서 저는 텍스트 탐색기로 가서 여기의 텍스트 열에 신발 설명을 입력하고 싶습니다. |
| 그리고 여기에 많은 옵션이 있습니다. 이러한 옵션은 신발 설명을 자르는 알고리즘에 적용되거나 텍스트 분석 언어로 설명 문서를 호출합니다. |
| 그리고 이것은 문서를 내가 언급했듯이 소화 가능한 덩어리로 작은 조각으로 자르는 것입니다. |
| 그리고 여러분이 보게 될 것은 소화 할 수있는 덩어리입니다. 즉, 가장 작은 정보 단위 인 용어가 있고, 종종 함께 발생하고 조합하면 의미를 가질 수있는 용어 인 구문이 있습니다. |
| 여기에서 가장 일반적으로 사용되는 용어를 볼 수 있습니다. |
| 모든 문서에서 모든 신발 설명에서 편안함이라는 용어가 있습니다. |
| 그래서 먼저 우리가 한 것은 여기에있는 모든 구절을 살펴보고 살펴 보는 것입니다. 말이되는 것이 있습니까? |
| 그리고 첫 번째는 이미 의미가 있습니다. 따라서 여기에서 Gore와 tex라는 용어는 단일 용어로 나타납니다. 물론 Gore-tex라는 용어를 분석해야하고 Gore와 tex라는 용어를 사용하는 것이 좋습니다. |
| 따라서 용어 목록에 의미가있는 모든 구문을 추가 할 수 있습니다. 그래서 우리는 구를 추가합니다. 이제 여기에서 볼 수 있습니다. 우리는 단일 용어 Gore 대신 Gore-tex라는 용어를 사용합니다. |
| 이것이 데이터 처리의 1 단계였습니다. 두 번째 단계는 용어 목록을 확인하는 것이 었습니다. |
| 의미가없는 용어가있는 경우 그리고 JMP는 이미 정말 훌륭한 처리 능력을 가지고 있습니다. 왜냐하면 JMP는 이미 and, a, |
| 또는 어떤 정보도 제공하지 않습니다. 그러나 예를 들어이 S와 같이 의미가없는 용어가 항상 남아 있습니다. |
| S로 무엇을 하시겠습니까? 그게 신발에 대해 무엇을 말해 주나요? 그래서 우리는 모든 용어를 살펴 봐야했고, 말이 안되는 용어가 있으면 그것을 불용어라고 부르고 분석에서 제외하기 위해 불용어 목록으로 편집합니다. |
| 그게 한 가지였습니다. 제가 언급 한 다른 것은 중복이 있는지 확인해야한다는 것입니다. 여기에서 볼 수 있습니다. 예를 들어 Gore tex라는 용어가 있습니다. |
| 및 용어 GTX. GTX는 Gore-tex라는 용어의 약어 일 뿐이므로 두 가지를 따로 분석해서는 안되며 결합해야합니다. |
| 따라서 열과 거의 동일한 Recode 기능이 있습니다. |
| ??? 데이터. 여기에 Recode 함수가 있습니다. 저는 둘 다 그룹화합니다. |
| 그리고 이제 이것은 단 하나의 용어 (Gore-tex) 일 뿐이며 실제로 우리 데이터에서 가장 자주 사용되는 용어입니다. |
| 그래서. |
| 우리는 4,000 용어로 시작했고 모든 청소 후 결과는 단지 100 용어였습니다. 보시다시피, 100 개의 용어가 남았고 이것으로 많은 분석을 할 수 있습니다. 이것들은 우리가 신발 설명이 무엇인지 이해하는 데 매우 유용합니다. |
| 따라서이 목록을 사용하여 가장 자주 사용되는 용어를 확인할 수 있지만 JMP는 매우 쉬운 시각화 도구도 제공합니다. |
| 빨간색 삼각형을 클릭하면 단어 구름을 추가 할 수 있습니다. 그리고이 단어 구름은 단어의 크기, 모든 문서에서의 빈도, 그래서 모든 신발 설명에서 여러분에게 제공합니다. 따라서 Gore-tex, 편안함 및 경량은 우리가 수집 한 신발 설명에서 가장 일반적으로 사용되는 용어입니다. |
| 하지만 이것이 정확히 우리가 궁금해했던 것이 아님을 기억할 것입니다. 그래서 우리는 다른 최종 사용자를위한 신발은 무엇입니까? |
| 이를 위해 여기에 로컬 데이터 필터를 쉽게 추가하고 신발의 최종 용도를 필터로 사용할 수 있습니다. 예를 들어 저는 길거리 겨울 신발에 대한 모든 설명에서 가장 자주 사용되는 용어가 무엇인지에 관심이있을 수 있습니다. |
| 그리고 당신은 이상하지 않을 것입니다, 겨울과 따뜻함이라는 용어는 거리 겨울 신발의 설명에 자주 나타납니다. |
| 다른 한편으로, 예를 들어 트레일 러닝화를 사용하면 여기서 다른 강조점을 볼 수 있습니다. 따뜻할 필요는 없지만 통기성이 있고 가볍고 잘 맞아야합니다. |
| 그래서이 단어 구름은 우리의 초기 질문에 대한 첫 번째 이해를 얻기에 매우 아주 좋습니다. 그래서 다른 신발 유형의 특징 구성을 설명하는 것은 무엇입니까? |
| 그리고 우리는 그것으로 끝나지 않았습니다. 우리는 한 단계 더 나아가고 싶었습니다. |
| 한 단계 더 나아가, 이미 모든 데이터를 준비했다면이 신발 구성 프로토 타입을 찾기 위해 어떻게 든 모델링을 할 수 있습니까? 그리고 그 모델링을 위해 JMP에는 다양한 옵션이 있으며 우리는 SVD를 사용하기로 결정했습니다. |
| SVD는 문서 용어 매트릭스의 주요 구성 요소 분석을 수행하고 있습니다. |
| 그게 무슨 뜻입니까? 문서 용어 매트릭스에는 각 문서에 대해 포함되므로 각 신발 설명에 대해 |
| 각 용어의 빈도. 예를 들어 첫 번째 신발 설명의 경우 Gore-tex라는 용어가 얼마나 자주 사용되는지, 편안함이라는 용어가 얼마나 자주 사용되는지 등이 계산됩니다. 그래서 여러분은 이것이 매우 거대한 매트릭스라고 상상할 수 있습니다. |
| 이제 아이디어는 문서 용어 매트릭스의 차원을 줄이는 주 구성 요소 분석을 통해 데이터를 더 잘 파악하는 것입니다. |
| 그리고 데이터를 더 잘 시각화 할 수 있습니다. |
| 그리고 치수 감소를 기반으로 이제 몇 가지 모델링을 할 수 있습니다. 그리고 어떤 종류의 모델링이 우리에게 흥미로울까요? 그래서 우리는 특정 최종 용도를위한 신발을 설명하는 것에 관심이있었습니다. |
| 그리고 그 지점에 도달하기 위해 우리는 분석했습니다. 신발 설명에 주제가 있습니까? 그리고 주제가있는 경우 해당 주제가 특정 최종 용도에 해당합니까? |
| 따라서 이상적인 세상에서 우리는 데이터에서 9 개의 주제를 찾고 그 9 개의 주제는 정확히 하나의 신발 카테고리를 나타냅니다. 따라서 우리는 각 신발에 대한 프로토 타입 신발 구성 또는 기능 구성을 갖게됩니다. |
| 그러니 제가 ... 9 개의 주제를 검색하면 무슨 일이 일어나는지 봅시다. 9 가지 신발 카테고리에 관심이 있으므로 주제 분석을 클릭하고 9를 입력하겠습니다. |
| 그리고 제가 얻은 것은 해당 주제에서 자주 발생하는 용어가 포함 된 주제 목록입니다. 예를 들어 주제 1에는 신발이 포함됩니다. |
| 신발 설명에 슈퍼 핏, 텍스타일, 따뜻함 등이라는 용어가 있습니다. 그래서 첫 번째 직감은 이것들이 길거리 또는 길거리 겨울 신발이어야한다는 것입니다. |
| 예를 들어 주제 2는 오두막, 트레킹, 멀티 데이 등의 용어를 포함하는 신발 설명으로 구성되어 있으므로 트레킹 신발처럼 보입니다. |
| 하지만 물론 통계 학자로서 저는 직감 만주는 것이 만족스럽지 않습니다. 어떤 신발이 어떤 주제에 속하는지 정말 알고 싶습니다. 이를 위해 신발 카테고리를 간단히 배포하고 여기에 로컬 데이터 필터를 추가하여 |
| 카테고리 |
| 그것은... |
| 선택한 신발 만 표시합니다. |
| 그게 무슨 뜻입니까? 어떻게 사용할 수 있습니까? JMP는 여기에서 주제 점수 플롯과 이러한 주제 점수 플롯을 제공합니다. |
| 각 주제에 대한 각 신발 설명에 대해 하나의 포인트가 있습니다. |
| 따라서 신발 설명에 대한 점수가 높을수록이 신발은 특정 주제를 더 많이 대표합니다. |
| 그래서 제가하는 것은 주제 1에서 높은 점수를받은 신발을 모두 선택하는 것입니다. |
| 여기 히스토그램은 거리 및 거리 겨울 신발입니다. 그래서 기본적으로 내 직감이 옳았습니다. 텍스타일로 만든 신발, 슈퍼 핏이있는 신발은 거리와 거리 겨울 신발입니다. |
| 두 번째 주제는 트레킹 신발이 될 것이라고 예상했습니다. 여기 히스토그램에서 볼 수 있습니다. 트레킹 신발입니다. |
| 이제 모든 주제에 대해 그렇게 할 수 있습니다. 저는 그것을 저널에 기록했습니다. |
| 그리고 그 모든 일을하는 데 어려움을 겪을 것입니다. 따라서 각 주제에 하나의 신발 카테고리 또는 더 많은 신발 카테고리를 할당하면 두 가지 문제가 발생합니다. |
| 여기에 표현 된 첫 번째 문제는 등산과 같은 특정 신발 카테고리가 하나의 주제가 아니라 여러 주제로 표현된다는 것을 알 수 있습니다. |
| 또한 이러한 주제가 겹치는 것을 볼 수 있습니다. 예를 들어 크램폰이라는 단어가 두 주제 모두에서 발생합니다. |
| 즉, 여기에 너무 많은 주제가있는 것 같습니다. |
| 따라서 이러한 주제는 이상적으로는 신발 카테고리 당 하나의 주제를 갖고 싶습니다. 여러 카테고리에 해당하는 겹치는 주제가있는 경우 9 개가 너무 많은 것 같습니다. |
| 그러나 이것은 물론 다른 ???가 있어야합니다. 따라서 등산용 신발이 둘 이상의 주제에 해당하는 경우 명확하게 식별 할 수없는 주제가 있어야합니다. |
| 예를 들어이 주제 5 번을보세요. 그래서 가장 대표적인 신발처럼. 이것은 거대한 컬렉션으로 볼 수 있습니다. |
| 프로그레시브 신발, 도로 운동화, 거리 신발 등이 있습니다. 그래서 그것들은 대부분 서로 겹치고 서로 구별되지 않는 카테고리입니다. 그렇다면 트레일 러닝화와로드 러닝화의 차이점이 무엇일까요? |
| 아니면 다음 단계로 이동합니다. 트레일 러닝과 하이킹의 차이점은 무엇입니까? |
| 이러한 신발에는 특정 겹치는 부분이 있으며 이러한 겹치는 부분이 있으면 해당 신발 카테고리에 대한 하나의 기능 구성을 명확하게 식별 할 수 없습니다. |
| 그래서 그것은 또한 매우 귀중한 학습입니다. 물론 다양한 라미네이트 포트폴리오를 관리하는 것입니다. 특정 최종 용도를 위해 특정 라미네이트가 필요합니까, 아니면 이미 가지고있는 다른 라미네이트와 비슷합니까? |
| 그래서 결국 우리는 하나 이상의 카테고리에 해당하는 주제가없는 주제의 최종 컬렉션을 갖고 싶었고이를 수작업으로했습니다. 그래서 우리는 서로 다른 수의 주제를 분석했고 결국 5 개의 주제를 갖게되었습니다. |
| 이 다섯 가지 주제는 특정 범주의 범주에 해당하지만 모든 신발 범주가이 범주로 표현 될 수있는 것은 아닙니다. |
| 그래서 우리는 두 가지를 배웠습니다. 첫 번째로 배운 것은 우리는 이들을위한 신발 설명의 프로토 타입을 |
| 신발 카테고리. 반면에 여기에 이름이 지정되지 않은 모든 신발 카테고리는 매우 차별화되지 않거나 단일 구성이 없을 수 있습니다. |
| 신발 설명에. |
| 그리고 그것은 텍스트 탐색기가 제공하는 유일한 옵션이었습니다. 다른 옵션도 있지만 우리는 이것에 중점을 두었고 꽤 잘 작동했습니다. |
| 이를 통해 텍스트 탐색기를 종료하고 주제 문서 용어 매트릭스로 무엇을 더 할 수 있는지에 대한 간략한 개요 만 제공하고자합니다. |
| 그래서 여기에는 이전과 동일한 데이터 세트가 있지만 문서 용어 매트릭스를 내보냈습니다. 따라서 각 용어에 대해 표시되는 새로운 열이 많이 표시됩니다. |
| 특정 신발 설명에서 해당 용어의 빈도. |
| 그리고 우리는 그것의 다른 버전으로 시도했습니다. 그래서 우리는 빈도를 나타내는 문서 용어 행렬을 가졌습니다. 우리는 단지 그것이 포함되어 있음을 나타내는 하나를 가지고 있습니다. 등등. 그리고 우리는 그 버전으로 끝났습니다. |
| 그리고 JMP Pro의 가능성을 사용하여 데이터 세트를 훈련, 검증 및 테스트 데이터로 분할하는 검증 열을 만들었습니다. 훈련 및 검증 데이터는 예측 모델을 훈련하는 데 사용되며 테스트 데이터는 테스트에 사용됩니다. |
| 예측 모델링에 대해 이야기 할 때 여기서 우리의 목표는 무엇입니까? 그래서 우리가 이전에 한 것은 일종의 감독되지 않은 기술이었습니다. |
| 방금 주제를 검색하고 나중에 신발 카테고리와 비교했습니다. 그리고 이제 우리는 좀 더 적극적인 자세를 취하고 싶으므로 신발에 대한 설명이 있습니다. 범주를 명시 적으로 예측할 수 있습니까? |
| 그리고 우리는 JMP 15 Pro가 제공하는 다양한 예측 모델링 기술을 시도해 보았고 결국 부트 스트랩 포리스트로 끝났습니다. 그리고 여기에서는 결과가 어떻게 생겼는지, 결과를 어떻게 사용할 수 있는지에 대한 아이디어 만 제공하고 싶습니다. |
| 따라서 테스트 데이터 세트의 혼동 행렬에서 결과를 볼 수 있습니다. 카테고리, 특정 신발 설명 및 부트 스트랩 포리스트를 사용하여 무엇을 예측 했습니까? |
| 흥미롭게도 이전에 본 것과 거의 동일한 결과를 볼 수 있습니다. 따라서 다른 카테고리와 명확하게 구분할 수있는 특정 카테고리가 있습니다. |
| 이미 고유 한 기능 구성이 있고 그렇지 않은 다른 사람도 있습니다. 예를 들어 도로 운동화를 살펴보십시오. |
| 우리는 이미 첫 번째 분석에서 그것들이 독특하게 정의되지 않는다는 것을 발견했습니다. 그리고 여기서도 볼 수 있습니다. 저는 많은 신발이 실제로 다른 신발 인로드 러닝화가 될 것으로 예상합니다. |
| 이것은 이것이 우리가 이전에 얻은 결과를 확인한다는 것을 의미합니다. 우리는 감독되지 않은 기술을 사용하여 잘 설명 된 신발 카테고리도 여기에 잘 설명되어 있고 잘 구별되지 않은 신발 카테고리도 여기에서 구별되지 않습니다. |
| 보기에 꽤 흥미로 웠습니다.이 분석을 사용하여 지금 더 많은 작업을 수행 할 수 있습니다. 예를 들어, |
| 분석, 무엇입니까 ... 특정 신발을 구별하고 싶을 때 가장 중요한 문제는 무엇입니까? 그렇다면 신발 카테고리를 구분할 때 어떤 용어가 가장 많이 기여하는 열 기여도입니까? |
| 또는 ROC 곡선을 사용하여 구분할 수없는 매우 차별화 할 수있는 신발 카테고리를 추가로 탐색 할 수 있습니다. |
| 마지막으로이 모델을 예측에 사용할 수 있습니다. 여기에 특정 기능 구성이나 신발 설명을 입력 할 수 있습니다. |
| 이 설명이 특정 신발 카테고리에 속할 확률을 예측합니다. 예를 들어이 경우에는이 신발이 도로 달리기 신발 일 수 있다고 예측합니다. |
| 시간 때문에 더 자세한 내용은 다루지 않겠지 만 빠르게 요약하고 싶습니다. 그렇다면 우리의 주요 결과는 무엇입니까? 주요 결과는 |
| Text Explorer는 매우 직관적 인 매우 훌륭한 도구이며 구조화되지 않은 텍스트 데이터에서 정보를 빠르게 추출하는 데 사용할 수 있습니다. |
| 그들은 어디에서 차별화합니까? 그 신발에서 원하는 기능은 무엇입니까? 그러나 그 결과는 우리가 기대하는 바를 확인했습니다. |
| 그리고이 확인을 통해 우리는 감독되지 않은 기술 또는 감독되는 기술을 사용하여이를 수행 할 수 있습니다. sowhe는 여기에서 부트 스트랩 포리스트와 함께 SVD 및 예측 모델을 사용하여 주제 분석을 비교했으며 다른 사람들도 유사하게 잘 작동 할 수 있습니다. |
| 마지막으로 그룹에게 감사드립니다 ??? 누가 그 문제를 생각 해냈습니까? 그들은 모든 데이터를 수집하고 모든 데이터를 정리했습니다. |
| 다른 기술의 센스 또는 넌센스. 그래서 그들 없이는 지금 그 이야기를 듣지 않았을 것입니다. 또한 |
| 텍스트 분석에 대해 저와 상담해 주신 TU Dortmund University의 전 동료 Jonas에게 감사드립니다. |
| 마지막으로 관심을 가져 주셔서 감사 드리며 이메일이나 JMP 사용자 커뮤니티를 통해 질문에 답해 드리겠습니다. 메모를 남겨주세요. |
