자연어 처리(NLP) 전문가이자 1440 컨설팅의 데이터 과학 책임자인 Manya Mayes를 첫 번째 '텍스트 분석에 대한 통계적 고찰' 기조연설자로 모시게 되어 매우 기뻤습니다. 또한, Mayes를 다른 두 명의 유능한 텍스트 분석 전문가, 즉 미국 식품의약국(FDA) 생물정보학 및 생물통계학 책임자인 Weida Tong과 Procter & Gamble의 과학자인 Jeff Swartzel과 함께 패널로 초대하게 되어 기뻤습니다.
통계에 관심이 많은 전문가들이 전하는 실질적인 전문 지식과 흥미로운 사례들은 정말 감동적입니다. 라이브 스트리밍 중에 패널 여러분께 질문이 너무 많아서 모든 질문을 다 드릴 수 없었습니다. 특별 게스트분들께서 이 블로그 게시물을 통해 답변해 주시기로 친절하게 응대해 주셨습니다.
텍스트 분석에 대한 ROI를 어떻게 측정하고 입증합니까?
Manya: 예상하셨듯이 텍스트 분석의 ROI 측정은 항상 쉬운 것은 아닙니다. 제품 문제의 조기 경고를 식별할 때, 포드 익스플로러/파이어스톤 타이어 문제( 추정 비용 75억 달러 )나 도요타 급발진 문제( 법무부 로부터 12억 달러의 벌금과 20억 달러 의 리콜 비용 발생)처럼 악화되기 전에 해결된 문제에 대한 실제 ROI를 파악하는 것은 불가능할 수 있습니다. 두 회사 모두 텍스트 분석 결과(미국 도로교통안전국(NHTSA) 데이터와 우수한 텍스트 분석 기능을 사용하여 쉽게 찾을 수 있음)에 대한 조치를 취했더라면, 실제로 얼마나 절감했는지 결코 알 수 없었을 것입니다. 레이블 지정 및 감독 예측 모델에서 텍스트 분석을 사용하면 ROI를 검증할 수 있지만, 항상 가능한 것은 아닙니다. 또한, 향후 회사의 사업 결정 및 전략에 도움이 되는 데이터 분석의 경우, 운전자/민감도 분석을 통해 투자 금액당 수익률을 측정할 수 있습니다.
Jeff: 까다롭습니다. 저도 이 질문에 대해 종종 어려움을 겪습니다. 그 영향이 일정하지 않을 수 있기 때문입니다. 때로는 매우 빠르고 쉬운 작업이 귀중한 통찰력을 제공하는 반면, 때로는 많은 노력이 필요한 분석이 영향력이 낮은 결과를 낳기도 합니다. 제가 텍스트 분석의 가치로 주로 강조하는 것은 다음과 같습니다. 1) 시간 절약, 2) 문제 발생 전에 개입할 수 있는 능력, 3) 해당 기법이 없었다면 불가능했을 통찰력의 독창성, 그리고 4) 중요한 주제에 집중할 수 있는 능력 향상.
텍스트 탐색기 창에서 화면의 플롯(울리는 바퀴 대 시간)이 어떻게 생성되었나요?
성인: 전기 자동차에 대한 불만 샘플에 텍스트 탐색기를 사용하여 정보가 부족한 용어 집합을 제거한 다음, 중지 목록에 추가하고 한두 번 나타나는 용어를 제거한 다음 잠재 계층 분석을 수행했습니다. 잠재 계층 분석 결과( JMP Pro 에서)에는 행별 클러스터 확률 창이 포함됩니다. 이 창에는 각 문서에 대해 가장 가능성이 높은 클러스터가 표시됩니다. 데이터 테이블로 만들기를 마우스 오른쪽 버튼으로 클릭할 수 있습니다. 다음 창에는 결과가 데이터 테이블로 포함되어 있으며, 테이블 > 조인을 선택한 다음 행 번호를 기준으로 이러한 결과를 원본 데이터와 조인하여 원래 차량 불만 샘플에 다시 조인할 수 있습니다. 휙휙 돌아가는 바퀴 클러스터의 행만 선택했습니다. 원본 데이터에는 실패 날짜 필드가 있으며, 그래프 > 그래프 빌더를 사용하여 그릴 수 있습니다. 그래프 빌더에서 실패 날짜를 X 변수로, 응답 척도를 개수로 설정한 히스토그램을 사용했습니다. 나머지는 대부분 외관상의 요소였으며, 범례에서 실패 날짜 변수를 클릭하여 색상을 변경했습니다(자세한 내용은 첨부 이미지 참조). 모델별 정보를 얻으려면 그래프의 그룹 X 부분에 차량 모델 변수를 끌어서 놓고 차량 모델을 색상 변수로 사용했습니다.
왜 부정적인 감정에 대한 점수가 긍정적인 감정에 대한 점수보다 낮을까요(98 대 100)?
성인: 감정 점수는 -100에서 100 사이입니다. 저는 우연히 -98점의 부정적인 단어와 100점의 긍정적인 단어를 골랐습니다.
이 이미지들은 전반적으로 긍정적인 문서가 부정적인 문서보다 더 많았음을 보여줍니다. 점수는 전체 문서(리뷰)에 대해 계산된 감정을 보여주므로, 문서에 부정적인 부분과 긍정적인 부분이 모두 있더라도 전체적으로 긍정적인 점수를 받을 수 있습니다.
FDA 검토 프로세스의 텍스트 분석은 검토 활동을 타겟팅하는 데 주로 사용되나요, 아니면 문서 읽기를 보완하는 용도인가요?
Weida : 텍스트 분석은 FDA에서 연구 및 검토를 포함하여 광범위하게 활용되어 왔습니다. 그중에서도 정보 검색과 문서 분류는 검토 과정에서 중요한 역할을 합니다. 또한, 텍스트 요약, 개체명 인식, 그리고 감정 분석도 조사했는데, 이 중 대부분은 규제 과학 중심적인 연구입니다.
텍스트 분석과 다른 분석 방법을 함께 사용하면 어떤 시너지 효과를 얻을 수 있나요?
성인: 텍스트 기반 정보를 다른 분석 방법에 결합하는 것은 흔한 일입니다. 텍스트는 본질적으로 구조화된 표현을 갖습니다. 이렇게 구조화된 텍스트를 통합하면 머신 러닝 지도 학습 모델을 다양한 사용 사례(고객 확보, 유지, 사기, 위험 등)에 적용할 때 모델 정확도를 높이는 데 도움이 될 수 있습니다. 또한, 모델 설명에도 도움이 되며, 브랜딩, 메시징 등에 사용할 적절한 언어를 결정할 수 있습니다. 또한, 거래 및 인구 통계 정보와 같은 구조화된 데이터와 함께 용어를 사용하여 클러스터를 설명하는 비지도 분류/클러스터링에도 도움이 될 수 있습니다.
제프: JMP는 텍스트 분석 결과를 다른 관련 변수(시간, 고객 평점, 유의미한 범주 등)에 직접 연결하여 모델링(용어 선택 및 판별 분석)하는 데 매우 유용합니다. 관련 키워드와 주제는 다른 곳에서 더욱 정성적인 분석에 활용할 수도 있습니다.
단어 묶음 방식과 더 진보된 NLP 방식에 대해 어떻게 생각하시나요?
성인: 단어 주머니 접근법은 맥락이나 방향성을 고려하지 않지만, 구문을 포함할 수 있어 분석을 더 간단하고 빠르게 만들면서도 가치를 제공합니다. 고급 자연어 처리(NLP)는 더 많은 맥락을 제공하지만, 여전히 사전 학습된 모델이 필요하고 맥락이 훨씬 더 국소화될 수 있습니다(예: 문장 내에 있을 가능성이 더 높음). 고급 자연어 처리는 더 큰 자동화 기능을 제공하지만, 데이터 과학자가 데이터를 자세히 파악하게 되면 관련된 미묘한 차이를 간과할 가능성이 있습니다. 기본적으로 두 기술 모두 장단점이 있습니다.
제프: 반복되는 말 같지만, 저는 항상 "분석 기법을 질문에 연결하세요."라고 말합니다. 기본적인 방법론을 통해 빠르고 유용한 통찰력을 얻는 경우가 많습니다(특히 질문이 명확하게 정의되어 있을 때 더욱 그렇습니다). 사람들이 저에게 와서 "무엇을 찾고 있는지는 모르지만, 모든 것에 대한 모든 것을 알고 싶습니다. NLP를 통해 전지전능에 도달할 수 있을까요?"와 같은 질문을 던지곤 합니다. :grinning_face_with_sweat: 저는 질문 정의에 집중하도록 돕거나, 잠재 클래스 분석, 잠재 의미 분석 또는 감정 분석을 통해 텍스트 탐색을 시작하도록 돕습니다. 또한, 단어 주머니(bag-of-words) 방식은 개념화하고 해석하기가 매우 쉽다는 장점이 있으며, 훌륭한 시작점입니다. 제 제한된 경험에 따르면, BERT와 같은 방법은 잘 훈련된 머신 러닝 모델을 사용하는 분류 문제에 매우 효과적입니다.
"고도 규제 과학"으로 나아가는 것은 무엇을 의미합니까?
와이다: FDA는 규제 과학을 "FDA 규제 제품의 안전성, 효능, 품질 및 성능을 평가하기 위한 새로운 도구, 표준 및 접근 방식을 개발하는 과학"으로 정의합니다. 어떤 의미에서 첨단 규제 과학은 새로운 기술과 방법론을 활용하여 FDA 운영을 개선하는 것을 의미합니다.
JMP는 다른 사람과의 협업, 특히 텍스트 분석을 어떻게 용이하게 합니까?
성인: JMP 커뮤니티는 다른 사람들과 협업하기에 훌륭한 플랫폼입니다. 텍스트 분석은 JMP 커뮤니티와 SKP(JMP 통계 지식 포털 )에 속하며, SKP는 텍스트 분석 콘텐츠 및 협업을 통해 더욱 활발하게 활동할 예정입니다.
제프: P&G는 JMP 사용자 기반이 매우 크고, 많은 사람들이 기본 기능에 익숙합니다. JMP 분석 결과를 공유하고 텍스트 탐색기를 사용하는 다른 사람과 작업 세션을 갖는 것은 쉽습니다. 스크립트와 저널을 공유하면 매우 편리합니다.
우리가 수집한 모든 텍스트 데이터로 무엇을 할 수 있는지에 대한 시작에 불과하다고 생각하시나요?
성인: 최근 텍스트 분석과 자연어 처리(NLP)는 기능 면에서 큰 발전을 이루었지만, 앞으로 더 발전할 가능성이 있습니다. 아직은 미흡하지만, 추가적인 기능을 추가하면 텍스트도 구조화된 데이터와 크게 다르지 않게 인식될 것입니다. 현재로서는 인간적인 요소가 여전히 매우 중요합니다.
제프: 네, 저는 이런 종류의 작업의 기본에 익숙한 사람들의 문화를 구축하는 것이 텍스트 데이터 분석에 대한 이해를 구축하는 데 가장 좋은 시작점이라고 생각합니다.
텍스트 데이터를 분석하는 사람들과 또 무엇을 공유하시나요?
제프: 가끔은 제품이 우리보다 똑똑하지 않다는 점을 상기시켜 주곤 합니다. 즉, 분석 기술이 "냄새가 이상해서 제품 사용을 중단했습니다"와 같은 문장을 인간적인 관점에서 이해할 수 없다는 뜻입니다. 이상한 냄새는 큰 문제를 나타내는 것일 수도 있고, 사람들이 이 제품에 대해 흔히 하는 말일 수도 있으며, 의도적으로 이런 식으로 받아들여지도록 변경한 것일 수도 있고, 심지어 비꼬거나 아이러니한 것일 수도 있습니다. 텍스트 분석과 자연어 처리(NLP)는 항상 도메인 지식과 우리가 답하고자 하는 질문에 대한 호기심과 결합되어야 합니다. (아직은) 버튼 하나만 누르면 알고 싶은 모든 것을 (심지어 우리가 알고 싶어 할지도 모르는 것까지) 알 수 있는 것은 아닙니다.
라이브 이벤트를 놓치셨다면, 더 많은 정보를 얻기 위해 주문형으로 시청하실 수 있습니다. 위의 질문 외에도 시청자 여러분께서 다양한 질문을 해주셨습니다. "쿵쿵" 하는 바퀴, 이상한 냄새, 그리고 수집하신 텍스트 데이터를 통해 얻을 수 있는 다른 유용한 정보들에 대해 자세히 알아보세요.
