자연어 처리(NLP) 전문가이자 1440 Consulting의 데이터 과학 책임자인 Manya Mayes를 첫 번째 전체 연사로 참여하게 되어 매우 기쁩니다. 텍스트 분석에 대한 통계적 말하기 . 우리는 또한 두 명의 정통한 텍스트 분석 전문가와 함께 그녀를 패널리스트로 초대하게 된 것을 기쁘게 생각합니다. Weida Tong, FDA의 생물정보학 및 생물통계학 이사; 및 Procter & Gamble의 과학자인 Jeff Swartzel이 있습니다.
통계적으로 생각하는 이 전문가들이 전달하는 실용적인 전문 지식과 그들이 공유하는 흥미로운 예는 고무적입니다. 라이브 스트리밍 중에 패널에 대한 질문이 너무 많아서 모두 답변할 수 없었습니다. 추천 게스트는 이 블로그 게시물을 통해 답변하는 데 친절하게 동의했습니다.
텍스트 분석에 대한 ROI를 어떻게 측정하고 입증합니까?
마야: 예상대로 텍스트 분석의 ROI를 측정하는 것이 항상 쉬운 것은 아닙니다. 제품 문제에 대한 조기 경고를 식별할 때 Ford Explorer/Firestone 타이어 문제가 되기 전에 수정된 문제에 대한 진정한 ROI를 식별하는 것은 결코 불가능할 수 있습니다. 예상 비용 $7.5B ) 또는 Toyota 급가속 문제( 벌금 12억 달러 법무부와 20억 달러 리콜 비용 ). 두 회사가 텍스트 분석 결과(NHTSA(National Highway Traffic Safety Administration) 데이터와 우수한 텍스트 분석 기능을 사용하여 쉽게 찾을 수 있음)에 대해 조치를 취했다면 실제로 얼마나 절약했는지 알지 못했을 것입니다. 레이블이 지정되고 감독된 예측 모델에서 텍스트 분석을 사용하면 ROI를 검증할 수 있지만 항상 가능한 것은 아닙니다. 또한, 향후 기업의 비즈니스 결정 및 전략을 알려주는 데이터 분석을 위해 동인/민감도 분석을 통해 투자한 달러당 수익률을 측정할 수 있습니다.
제프: 이것은 까다 롭습니다. 영향이 일관되지 않을 수 있기 때문에 종종이 질문에 어려움을 겪습니다. 때로는 매우 빠르고 쉬운 작업이 귀중한 통찰력을 제공하는 반면, 다른 경우에는 노력이 많이 드는 분석이 덜 영향력 있는 결과를 산출할 수 있습니다. 내가 일반적으로 텍스트 분석의 가치로 중점을 두는 것은 1) 시간 절약, 2) 문제에 앞서 개입하는 능력, 3) 기술 없이는 불가능했을 수 있는 통찰력의 독창성, 4) 향상된 능력입니다. 중요한 주제에 집중할 수 있습니다.
Text Explorer 창에서 화면의 플롯(whompy wheel vs. time)이 어떻게 생성되었습니까?
마야: 전기자동차에 대한 불만 샘플에 텍스트 탐색기를 사용하여 정보가 낮은 용어 집합을 중지 목록에 추가한 다음 한 번 또는 두 번 나타나는 용어를 제거한 다음 잠재 클래스 분석을 수행했습니다. 잠재 클래스 분석 결과( JMP 프로 ) 행별 클러스터 확률 창을 포함합니다. 해당 창에는 각 문서에 대해 가장 가능성이 높은 클러스터가 표시됩니다. 데이터 테이블로 만들기를 마우스 오른쪽 버튼으로 클릭할 수 있습니다. 다음 창에는 테이블 > 결합을 선택한 다음 이 결과를 행 번호별로 일치하는 원래 데이터와 결합하여 차량 불만의 원래 샘플에 다시 결합할 수 있는 데이터 테이블로 결과가 포함됩니다. whopy wheel 클러스터에 대한 행만 선택했습니다. 원본 데이터에는 그래프 > 그래프 빌더를 사용하여 그릴 수 있는 faildate 필드가 있습니다. Graph Builder에서 X 변수로 faildate를 사용하고 Response Scale을 Count로 설정한 히스토그램을 사용했습니다. 나머지는 대부분 화장품이었으며 범례에서 faildate 변수를 클릭하여 색상을 변경했습니다(자세한 내용은 첨부 이미지 참조). 모델별 정보를 얻기 위해 그래프의 Group X 부분에 차량 모델 변수를 끌어다 놓고 색상 변수로 차량 모델을 사용했습니다.
부정적인 감정에 대한 점수가 긍정적인 감정보다 낮은 이유(98 v. 100)?
마야: 감정 점수 범위는 -100에서 100 사이입니다. 저는 우연히 -98점의 부정적인 용어와 100점의 긍정적인 용어를 선택했습니다.
이 이미지는 전반적으로 부정적인 문서보다 긍정적인 문서가 더 많이 있음을 보여줍니다. 점수는 전체 문서(검토)에 걸쳐 계산된 감정을 보여주므로 문서에 부정적인 부분과 긍정적인 부분이 있더라도 전체 긍정적인 점수를 가질 수 있습니다.
FDA 검토 프로세스에 대한 텍스트 분석이 검토 노력을 대상으로 더 많이 사용됩니까, 아니면 문서 읽기에 대한 보완입니까?
위다 : 텍스트 분석은 연구와 검토를 포함하여 FDA에서 광범위하게 사용되었습니다. 그 중 정보 검색 및 문서 분류는 검토 프로세스에서 강력한 존재입니다. 또한 텍스트 요약, 명명된 엔터티 인식 및 감정 분석도 조사했으며 대부분은 규제 과학 중심의 노력입니다.
텍스트 분석 및 기타 분석 방법으로 어떤 시너지 효과를 얻을 수 있습니까?
마야: 텍스트 기반 정보를 다른 분석 방법과 결합하는 것이 일반적입니다. 텍스트는 본질적으로 구조화된 표현을 제공합니다. 이제 구조화된 텍스트를 통합하면 전체 사용 사례(고객 확보, 유지, 사기, 위험 등)에 적용될 때 머신 러닝 지도 모델의 모델 정확도를 높이는 데 도움이 될 수 있습니다. 또한 모델 설명에 도움이 될 수 있으며 브랜딩, 메시징 등에 사용할 올바른 언어를 알려줄 수 있습니다. 또한 트랜잭션 및 인구 통계 정보와 같은 구조화된 데이터와 함께 용어가 클러스터를 설명하는 데 도움이 될 수 있는 감독되지 않은 분류/클러스터링에 도움이 될 수 있습니다.
제프: JMP 텍스트 분석의 출력을 모델링(용어 선택 및 판별 분석)을 위해 다른 관련 변수(시간, 고객 평가, 의미 있는 범주 등)에 직접 연결하는 데 유용합니다. 관련 키워드 및 주제는 다른 곳에서도 보다 정성적인 분석을 제공할 수 있습니다.
bag-of-words 접근 방식과 고급 NLP에 대해 어떻게 생각하십니까?
마야: Bag of Words 접근 방식은 문맥이나 방향성을 고려하지 않지만 구문을 포함할 수 있어 분석을 더 간단하고 빠르게 만들면서도 여전히 가치를 제공합니다. 고급 NLP는 여전히 사전 훈련된 모델이 필요하고 컨텍스트가 훨씬 더 현지화될 수 있지만(예를 들어 문장 내에 있을 가능성이 더 높음) 더 많은 컨텍스트를 제공합니다. 고급 NLP는 더 큰 자동화를 제공하지만 데이터 과학자가 데이터를 자세히 알게 되면 관련된 뉘앙스를 놓칠 수 있습니다. 기본적으로 두 기술 모두 장단점이 있습니다.
제프: 나는 깨진 기록처럼 들리지만 항상 "분석 기법을 질문에 연결하십시오."라고 말합니다. 종종 나는 기본적인 방법으로 빠르고 유용한 통찰력을 얻을 수 있습니다(특히 질문이 명확하게 정의된 경우). 사람들은 저에게 와서 “우리가 무엇을 찾고 있는지 모르지만 모든 것에 대해 모든 것을 알고 싶습니다. 우리는 전지전능한 방식으로 NLP를 할 수 있습니까?” :웃는 얼굴_땀_땀: 나는 그들이 질문 정의에 집중하도록 돕거나 잠재 클래스 분석, 잠재 의미 분석 또는 감정 분석으로 텍스트 탐색을 시작할 것입니다. 또한 bag-of-words 접근 방식은 매우 쉽게 개념화하고 해석할 수 있다는 이점이 있으며 훌륭한 출발점입니다. 내 제한된 경험에서 BERT와 같은 방법은 잘 훈련된 기계 학습 모델을 사용하여 분류 질문에 적합합니다.
"첨단 규제 과학"으로 이동한다는 것은 무엇을 의미합니까?
위다: FDA는 규제 과학을 "FDA 규제 제품의 안전성, 효능, 품질 및 성능을 평가하기 위한 새로운 도구, 표준 및 접근 방식을 개발하는 과학"으로 정의합니다. 어떤 의미에서 고급 규제 과학은 FDA의 운영을 개선하기 위해 새로운 기술과 방법론을 취하는 것을 의미합니다.
JMP는 다른 사람과 특히 텍스트 분석과의 협업을 어떻게 촉진합니까?
마야: JMP 커뮤니티는 다른 사람들과 협업할 수 있는 훌륭한 플랫폼입니다. 텍스트 분석은 JMP 커뮤니티의 일부이며 SKP(JMP 통계 지식 포털 ), 텍스트 분석 콘텐츠 및 협업으로 더욱 활성화될 예정입니다.
제프: P&G에는 매우 큰 JMP 사용자 기반이 있으며 많은 사람들이 기본 사항에 익숙합니다. JMP 분석의 결과를 쉽게 공유하고 Text Explorer를 사용하여 누군가와 작업 세션을 가질 수 있습니다. 스크립트와 저널을 공유하면 매우 쉽습니다.
우리가 수집하는 모든 텍스트 데이터로 수행할 수 있는 작업의 표면을 긁었다고 생각하십니까?
마야: 최근에 텍스트 분석과 NLP는 기능면에서 큰 발전을 이루었지만 아직 더 많은 것이 있습니다. 표면에 흠집이 있지만 추가 기능을 사용하면 텍스트가 구조화된 데이터와 다르게 간주되지 않습니다. 현재로서는 인간적인 요소가 여전히 매우 가치가 있습니다.
제프: 네, 그리고 이런 종류의 작업의 기본에 익숙한 사람들의 문화를 구축하는 것이 텍스트 데이터 분석에 대한 이해를 구축하는 가장 좋은 출발점이라고 생각합니다.
텍스트 데이터를 분석하는 사람들과 또 무엇을 공유합니까?
제프: 때때로 나는 그것이 우리보다 똑똑하지 않다는 것을 그들에게 상기시키는 요점을 만들 것입니다. 즉, 분석 기술이 "재미있는 냄새가 나서 귀하의 제품 사용을 중단했습니다"와 같은 문장을 보고 이해할 수 없다는 것을 의미합니다. 인간 수준. 이상한 냄새는 큰 문제를 나타내는 것일 수도 있고, 사람들이 일반적으로 이 제품에 대해 말하는 것일 수도 있고, 의도적인 변경의 일부일 수도 있습니다. 텍스트 분석 및 NLP는 항상 우리가 답하고자 하는 질문에 대한 도메인 지식 및 호기심과 짝을 이루어야 합니다. 우리는 (아직) 버튼을 누를 수 없고 우리가 알고 싶어하는 모든 것을 알 수 없습니다.
실시간 이벤트를 놓쳤다면 시청할 수 있습니다. 주문형 더 많은 통찰력을 위해. 위의 질문 외에도 시청자로부터 많은 훌륭한 질문이 있었습니다. 수집한 일부 텍스트 데이터에서 얻을 수 있는 "엉뚱한" 바퀴, 재미있는 냄새 및 기타 통찰력에 대해 자세히 알아보십시오.
