현재 사건은 사고 실험에 박차를 가합니다.
얼마 전 뉴스에서 한 교수가 최종 에세이를 작성하는 데 AI를 사용하여 반 학생의 절반을 낙제시킨 기사를 봤습니다. 헤드라인이 실제 이야기보다 훨씬 더 흥미로웠다는 것이 밝혀졌습니다. 아이러니하게도 교수는 AI 사용을 감지하기 위해 AI를 오용했습니다. 어쨌든, 저는 다음과 같은 생각을 하게 되었습니다. JMP가 텍스트 본문을 작성한 사람을 판별할 수 있고 텍스트 분석에 대해 잘 모르는 사람을 위해 이 작업을 수행할 수 있습니까? 아래 그래프와 같이 JMP Pro가 할 수 있는 것으로 나타났습니다.
분석할 텍스트 가져오기:
저는 많은 학생 논문에 접근할 수 없기 때문에, 저는 프로젝트 구텐베르크 , 저작권이 만료된 도서를 호스팅합니다. 저는 5명의 저자가 쓴 6권의 책을 후보로 선택했습니다.
- 위대한 개츠비, F. Scott Fitzgerald
- 허먼 멜빌의 모비딕
- 프랑켄슈타인, 메리 셸리 저
- 야생의 부름, 잭 런던
- 오스카 와일드의 도리안 그레이의 초상
- 진지함의 중요성, 오스카 와일드
미국 작가나 영국 작가가 각 책을 썼고 그들의 원래 언어는 영어였습니다. 번역자가 같은 사람인 책을 실수로 선택하여 일을 망치고 싶지 않았기 때문에 이 선택을 했습니다.
가져오기 및 정리:
텍스트 가져오기는 쉽습니다. 모든 책을 개별 텍스트 파일로 단일 폴더에 넣고 아래 그림과 같이 여러 파일 가져오기 도구를 사용하기만 하면 됩니다. 파일 이름에 대한 열 추가, 행당 한 줄 추가, 유사한 파일 스택 옵션을 선택했는지 확인했습니다. 이것의 최종 결과는 약 53,000개의 행이 있는 하나의 데이터 테이블입니다.
데이터 정리에는 각 책의 시작 부분에 있는 빈 줄과 헤더 정보를 제거하고 각 책의 저자에 대한 열 이름을 만드는 작업이 포함되었습니다. 이를 위해 기본 제공 수식 열, 특히 First Word 수식 열에 크게 의존했습니다. 최종 데이터 파일의 복사본을 Cleaned Text.jmp로 첨부했으므로 읽는 사람은 누구나 분석을 따를 수 있어야 합니다.
분석 실행:
분석을 수행하려면 분석... 텍스트 탐색기를 선택한 다음 아래 그림과 같이 대화 상자에 텍스트 및 파일 이름 열을 배치합니다. 다른 모든 옵션은 기본값으로 두고 확인을 선택하여 계속합니다.
그런 다음 텍스트 탐색기의 빨간색 삼각형 메뉴에서 "판별 분석"을 선택하고 표시되는 첫 번째 대화 상자에서 작성자 열을 선택하여 JMP Pro에 각 줄을 작성한 작성자를 확인하겠다고 알립니다. 텍스트 판별 분석은 JMP Pro에서만 사용할 수 있습니다.
두 번째 대화 상자(아래 그림 참조)에서 확인을 클릭하여 기본값을 수락하고 분석을 시작합니다. JMP가 백그라운드에서 수학을 수행하므로 이 단계를 완료하는 데 약 1분 정도 걸릴 수 있습니다.
최종 결과에 대한 초기 결과:
분류 요약 섹션에서 처음에는 그다지 유망해 보이지 않습니다. 모델이 라인의 64.5%를 잘못 분류합니다. 그러나 각 줄은 최대 80자의 텍스트이고 각 책은 수천 줄이라는 점을 명심하십시오. 오분류 비율 섹션 아래에 있는 예상 비율 표로 시간을 보내는 것과 관련된 큰 그림을 볼 수 있는 방법이 필요합니다.
예측 비율 테이블을 마우스 오른쪽 버튼으로 클릭하고 데이터 테이블로 만들기를 선택한 다음 데이터 테이블을 빠르게 쌓으면 아래 그림과 같은 테이블이 생성됩니다(분류 요약 - Stacked.jmp로 첨부됨).
Graph Builder를 사용하여 예측 저자 대 저자의 히트 맵은 오른쪽 상단 모서리에 있는 Oscar Wilde를 제외하고 각 저자에 대한 가장 높은 예측이 정확함을 보여줍니다. 이것은 좋지만 완벽하지는 않습니다.
여기서 도움이 될 수 있는 또 다른 플랫폼은 Analyze...Multivariate Methods...Multiple Correspondence Analysis입니다. 아래와 같이 이것을 실행하면 예측 저자가 실제 저자와 매우 가깝다는 것을 보여주는 매우 유용한 그래프가 생성됩니다. 오스카 와일드는 다시 한 번 다른 사람들만큼 예측에 가깝지는 않지만 좋은 결정을 내리기에 충분히 가깝습니다.
결론 및 추가 생각:
Discriminant Analysis 도구는 처음에는 어떤 저자가 각 책을 썼는지 명확하게 예측하지 못하는 것처럼 보였지만 출력을 조금 더 탐색하면 훨씬 더 유망한 결과가 나타났습니다. 텍스트 탐색기나 Discriminant Analysis의 옵션을 이해할 필요 없이 JMP Pro 어떤 저자가 각 책을 썼는지에 대한 좋은 예측을 할 수 있었습니다.
오스카 와일드(Oscar Wilde)의 예측에 대한 불확실성은 다른 것들보다 약간 더 크지만,
- 그는 데이터 세트에 두 권의 책을 가지고 있습니다.
- 그냥 기본 설정을 수락합니다. 아마도 모델을 조정할 수 있거나
- <진지함의 중요성>이 소설이 아니라 희곡으로 쓰여졌다는 사실은 분석을 하고서야 알게 된 사실이다.
내 추측은 옵션 c가 이유입니다. 다른 저자 및 다른 샘플 책과 함께 이 실험을 반복하는 것은 재미있을 수 있습니다. 실험을 다시 실행하면 얻을 수 있는 결과에 관심이 있습니다. 댓글로 결과를 올려주세요!
