회사 기밀. 공개하지 마십시오.
텍스트 데이터의 위험 제거
Sandia National Laboratories는 JMP Text Explorer를 마샬링하여 비정형 위험 관리 데이터를 처리하고 평가합니다.
__________________________________________________________________________________________________________
도전: 기록을 자유 형식 텍스트로 캡처하는 위험 및 문제 관리 도구를 8년 동안 사용한 후 Sandia의 경영진은 데이터의 복잡한 형식으로 인해 실제로 수행된 분석이 거의 없다는 것을 깨달았습니다. 조직의 Contractor Assurance Group은 보다 효과적인 도구를 개발하는 임무를 받았습니다.
해결책: 분석가는 JMP Text Explorer에 크게 의존하여 특이값 분해와 함께 잠재 의미론적 분석을 사용하여 과거 텍스트 데이터를 처리했습니다.
결과: 3개월 이내에 이 텍스트 분석의 결과는 새롭고 더 정확한 위험 관리 도구를 구성하기 위한 명확한 경로를 제공했습니다.
__________________________________________________________________________________________________________
Sandia National Laboratories보다 더 엄격하게 데이터 분석에 접근하는 조직은 거의 없습니다. 미국 국가핵안보국(NNSA)의 3개 연구 및 개발 기관 중 하나인 Sandia의 임무는 핵무기 시스템의 신뢰성을 유지하고 비확산 기술을 개발하며 핵폐기물 처리 방법을 모색하는 것입니다.
큰 부담이 되는 임무와 그에 맞는 예산을 고려할 때 위험 완화가 핵심 신조라는 것은 놀라운 일이 아닙니다. 이를 위해 Sandia는 8년 동안 조직 전체의 사용자가 발생에 대한 자세한 기록을 작성할 수 있는 위험 및 문제 관리 도구를 개발했습니다. 이 레코드의 형식은 구조화되지 않은 텍스트였습니다. 이론적으로는 포괄적이지만 문제를 일으키는 매체.
예를 들어 도구의 주석 상자에 입력한 모든 콘텐츠가 위험 또는 문제로 분류될 심각도 임계값을 전혀 충족하지 못했습니다. 일부 필드는 비어 있었습니다. 맞춤법 및 문법 오류는 사용자의 의미를 올바르게 해석하는 데 방해가 됩니다. 그리고 의미 있는 통찰력을 지적할 수 있는 패턴이나 추세로 정제하기에는 너무 많은 의견이 있었습니다.
2019년이 되자 데이터 아카이브가 풍부함에도 불구하고 해당 콘텐츠의 분석이 거의 이루어지지 않고 있으며 실행되는 작업도 더 적습니다. 그래서 Sandia의 지도부는 시스템의 정비를 발표했습니다.
이 엄청난 작업은 규정 준수 분석가 Yvonne Petrova와 컴퓨터 과학자 Scarlett Marklin이 정규직으로 맡았던 Sandia의 Contractor Assurance Group에 할당되었습니다. 판돈이 컸습니다. 기존 도구가 더 이상 새로운 조직의 명령을 준수하지 않았기 때문에 Sandia는 프로젝트 자금을 잃을 위험에 처했습니다. " 에너지부는 새로운 데이터 요구 사항을 도입했습니다.”라고 Marklin은 설명합니다. "도구를 즉시 수정하지 않으면 결국 예산이 손실될 것입니다."
텍스트의 문제
쌍은 먼저 새로운 접근 방식을 구성하는 데 사용할 수 있는 일련의 설명과 지침을 식별하기 위해 기존 도구의 결함을 이해하는 데 착수했습니다. “[우리는] 사용자가 다섯 단어를 쓸 수도 있고 전쟁과 평화 [도구의 주석 필드에서]!” 농담 페트로바. "그들은 문서가 어디에 있는지 표시하지 않고 문서를 참조할 수 있습니다. 좋지 않았어요.”
Marklin은 "데이터의 텍스트 부분이 너무 다양하고 지저분하기 때문에 아무도 분석하지 않았습니다."라고 덧붙입니다. “사람들은 Excel에서 100,000행의 텍스트를 살펴보지 않을 것입니다. 우리는 정보를 수집하고 있었지만 아무 것도 하지 않았습니다.” 이 늪에서 실행 가능한 정보를 찾으려면 비정형 데이터에 일련의 체계적이고 분석적인 원칙을 적용할 수 있는 소프트웨어를 찾아야 합니다.
그 때 동료 중 한 명이 JMP를 보여주었습니다. "나는 성스러운 암소 같았다! 시각화와 상호 작용 덕분에 많은 작업을 수행할 수 있었습니다.”라고 Marklin은 회상합니다. “전에는 JMP를 사용해 본 적이 없었지만 지금은 전혀 사용하지 않는 것보다 낫다고 생각했습니다.” 그래서 두 사람은 JMP를 사용하여 구조화되지 않은 데이터에 구조화를 가져오는 데 도움이 되도록 위험 관리 도구에 의해 보관된 많은 양의 텍스트를 사전 처리하기 시작했습니다.
Marklin은 "텍스트 사전 처리는 [보통] 지저분하고 보기 흉하고 어렵습니다."라고 설명합니다. “먼저 찾고 있는 것이 무엇인지 알아야 합니다. 그리고 데이터를 볼 수 없으면 데이터에서 나올 수 있는 질문을 예상하기가 정말 정말 어렵습니다. 하지만 JMP를 사용하면 사전 처리가 쉬웠습니다.”
그 단순화는 의도된 것입니다. JMP 텍스트 탐색기 플랫폼을 사용하면 유사한 단어를 결합하고, 잘못 지정된 용어를 다시 코딩하고, 잠재 의미론적 분석을 수행하고, SVD(특이값 분해)를 사용하여 유사한 문서를 주제 또는 클러스터로 그룹화할 수 있습니다. 방대하고 다양한 텍스트 기반 데이터 세트에서 이러한 도구는 매우 중요했습니다. 마크린은 말합니다. "JMP에는 텍스트 탐색기 플랫폼에 내장된 다양한 도구가 있어 R조차 할 수 없는 방식으로 데이터를 심층적으로 다룰 수 있습니다."
JMP 대 R 대결은 개념 증명입니다.
Petrova와 Marklin은 모두 오픈 소스 프로그래밍 언어인 R과 Python의 오랜 사용자입니다. 그러나 이러한 플랫폼에 대한 능숙함에도 불구하고 이 쌍은 내장된 기능을 통해 분석 시간을 단축할 수 있는 JMP와 같은 새로운 도구를 평가하는 데 가치를 보았습니다. Marklin은 "JMP를 통해 데이터에 대해 훨씬 더 빨리 배울 수 있었습니다."라고 설명합니다. 팀이 새로운 위험 및 문제 도구에 통합하는 데 중요한 세 가지 주요 지표를 식별하기 위해 8,000개 행의 데이터를 조사하는 기능. JMP를 사용하여 한 쌍이 만든 이 발견은 R만 사용했다면 간과되었을 것입니다. 이제 그녀는 이러한 지표가 큰 영향을 미치고 있다고 말합니다.
실제로 두 사람은 JMP에서 정규식 사용을 크게 강조하여 데이터 사전 처리 시간을 절반으로 줄이고 결과의 품질을 전반적으로 향상시켰다고 추정합니다. 감정 분석의 일부로 정규식을 사용하여 수정 조치를 취하지 않은 곳, 조치를 취했지만 차이가 없는 곳, 조치를 취하여 개선을 주도한 곳을 확인할 수 있었습니다.
주제 전문가의 의견을 바탕으로 Petrova와 Marklin은 분류의 정확성을 판단하여 원래 도구로 캡처한 데이터와의 격차와 불일치를 확인할 수 있었습니다. 더욱이, 그들의 연구 결과(시작부터 3개월 미만)는 미래에 더 나은 데이터 캡처 시스템을 위한 필수적인 청사진을 제공했습니다. 결국 Sandia의 리더십은 Petrova와 Marklin의 권장 사항을 모두 통합했을 뿐만 아니라 팀의 텍스트 분석에서 드러난 문제를 사용하여 새 시스템을 구성했습니다.
Marklin은 추가 보너스로 많은 사람들이 전통적으로 오픈 소스 대안을 사용해 온 Sandia에서 JMP 라이선스의 필요성을 평가하는 데 전체 프로젝트가 개념 증명이 되었다고 설명합니다. 그러나 그들은 JMP가 특히 비정형 데이터를 신속하게 처리하는 능력에서 분석 시간을 단축하고 실제 가치를 추가한다는 것을 발견했습니다. 그러나 Petrova는 부서 내에서 품질 검증 수단으로 R 및 Python에 대한 전문 지식을 유지하는 데 항상 가치가 있다고 설명합니다. “JMP에서 작업을 수행할 때 확인도 합니다. 동료가 R에서 이 작업을 수행할 수 있습니까? 그러면 같은 답을 얻도록 합시다.”
그러나 그 동안 두 사람은 JMP를 계속 사용할 것입니다. Petrova는 다음과 같이 덧붙입니다. “JMP 라이선스가 있기 때문에 거의 모든 프로젝트에 이 라이선스를 사용합니다. JMP는 어떤 식으로든 그들을 만지고 있습니다.”
'실시간, 즉석 유체 연속체'
내부 시스템을 평가하는 역할 외에도 Petrova와 Marklin은 Sandia의 동료들에게 분석 지원을 제공합니다. 이들 중 일부는 통계 방법에 정통하지 않습니다. 그러나 Marklin은 말합니다. “JMP를 통해 사람들에게 분석이 얼마나 일관되고 가치가 있으며 결과를 시각화할 수 있는지 보여줄 수 있습니다. JMP에서 데이터를 보면 실시간이고 즉석에서 유동적인 연속체입니다. 그리고 매우 효율적입니다.” 또한 JMP의 시각화 기능은 "정말 강력하며 사람들이 보고 있는 내용을 쉽게 이해할 수 있도록 합니다."라고 Petrova는 덧붙입니다.
Petrova와 Marklin은 통계적 접근 방식을 적용해야 하는 이유를 찾기 위해 너무 힘들게 찾을 필요가 없습니다. 한 사례에서 Marklin은 동료의 텍스트 분석 프로젝트가 3년 동안 의미 있는 결과 없이 실행되었다고 설명합니다. 팀은 자금 조달이 거의 끝났지만 "그들이 우리에게 돈을 줬고 JMP를 사용하여 3개월 이내에 우리가 필요한 결과를 얻었습니다."라고 덧붙였습니다.
