사고 실험에 박차를 가하는 현재 사건
얼마 전 뉴스에서 한 교수가 최종 에세이를 작성하기 위해 AI를 사용했다는 이유로 수업에서 학생의 절반을 낙제했다는 헤드라인을 보았습니다. 헤드라인이 실제 이야기보다 훨씬 더 흥미로웠다는 것이 밝혀졌습니다. 아이러니하게도 교수는 AI 사용을 감지하기 위해 AI를 오용했습니다. 어쨌든 JMP가 텍스트 본문을 작성한 사람을 결정할 수 있고 텍스트 분석에 대해 잘 모르는 사람을 위해 이 작업을 수행할 수 있는지 생각하게 되었습니다. 아래 그래프와 같이 JMP Pro가 할 수 있는 것으로 나타났습니다.
분석할 텍스트 가져오기
저는 많은 학생 논문에 접근할 수 없기 때문에, 저는 프로젝트 구텐베르크 , 저작권이 만료된 도서를 호스팅합니다. 저는 5명의 저자가 쓴 6권의 책을 후보로 선택했습니다.
- F. Scott Fitzgerald의 "위대한 개츠비"
- 허먼 멜빌의 "모비 딕"
- 메리 셸리의 "프랑켄슈타인"
- 잭 런던의 "야생의 부름"
- 오스카 와일드의 "도리안 그레이의 초상"
- 오스카 와일드의 "진지함의 중요성"
미국 작가나 영국 작가가 각 책을 썼고 그들의 원래 언어는 영어였습니다. 번역자가 같은 사람인 책을 실수로 선택하여 일을 망치고 싶지 않았기 때문에 이 선택을 했습니다.
가져오기 및 정리
텍스트 가져오기는 쉽습니다. 모든 책을 개별 텍스트 파일로 단일 폴더에 넣고 아래 그림과 같이 여러 파일 가져오기 도구를 사용하기만 하면 됩니다. 파일 이름에 대한 열 추가, 행당 한 줄 추가, 유사한 파일 스택 옵션을 선택했는지 확인했습니다. 최종 결과는 약 53,000개의 행이 있는 하나의 데이터 테이블입니다.
데이터 정리에는 각 책의 시작 부분에 있는 빈 줄과 헤더 정보를 제거하고 각 책의 저자에 대한 열 이름을 만드는 작업이 포함되었습니다. 이를 위해 기본 제공 수식 열, 특히 First Word 수식 열에 크게 의존했습니다. 최종 데이터 파일의 복사본을 Cleaned Text.jmp로 첨부했으므로 읽는 사람은 누구나 분석을 따를 수 있어야 합니다.
분석 실행
분석을 수행하려면 분석...텍스트 탐색기를 선택한 다음 아래 그림과 같이 대화 상자에 텍스트 및 파일 이름 열을 배치합니다. 다른 모든 옵션은 기본값으로 둡니다. 계속하려면 확인을 선택하십시오.
그런 다음 텍스트 탐색기의 빨간색 삼각형 메뉴에서 판별 분석을 선택하고 표시되는 첫 번째 대화 상자에서 작성자 열을 선택하여 JMP Pro에 각 줄을 작성한 작성자를 확인하겠다고 알립니다. 텍스트 판별 분석은 JMP Pro에서만 사용할 수 있습니다.
두 번째 대화 상자(아래 그림 참조)에서 확인을 클릭하여 기본값을 수락하고 분석을 시작합니다. JMP가 백그라운드에서 수학을 수행하므로 이 단계를 완료하는 데 약 1분 정도 걸릴 수 있습니다.
최종 결과에 대한 초기 결과
분류 요약 섹션에서 처음에는 상황이 매우 유망해 보이지 않습니다. 모델이 라인의 64.5%를 잘못 분류합니다. 그러나 각 줄은 최대 80자의 텍스트이고 각 책은 수천 줄이라는 점을 명심하십시오. 오분류 비율 섹션 아래에 있는 예상 비율 표로 시간을 보내는 것과 관련된 큰 그림을 볼 수 있는 방법이 필요합니다.
예측 비율 테이블을 마우스 오른쪽 버튼으로 클릭하고 데이터 테이블로 만들기를 선택한 다음 데이터 테이블을 빠르게 쌓으면 아래 그림과 같은 테이블이 생성됩니다(분류 요약 - Stacked.jmp로 첨부됨).
Graph Builder를 사용하여 예측 저자 대 저자의 히트 맵은 오른쪽 상단 모서리에 있는 Oscar Wilde를 제외하고 각 저자에 대한 가장 높은 예측이 정확함을 보여줍니다. 이것은 좋지만 완벽하지는 않습니다.
여기서 도움이 될 수 있는 또 다른 플랫폼은 Analyze...Multivariate Methods...Multiple Correspondence Analysis입니다. 아래와 같이 실행하면 예측 작성자가 실제 작성자와 매우 가깝다는 것을 보여주는 매우 유용한 그래프가 생성됩니다. 다시 오스카 와일드는 다른 사람들만큼 예측에 가깝지는 않지만 좋은 결정을 내릴 수 있을 만큼 충분히 가깝습니다.
결론 및 추가 생각
Discriminant Analysis 도구는 처음에는 어떤 저자가 각 책을 썼는지 명확하게 예측하지 못하는 것처럼 보였지만 출력을 조금 더 탐색하면 훨씬 더 유망한 결과가 나타났습니다. 텍스트 탐색기나 Discriminant Analysis의 옵션을 이해할 필요 없이 JMP Pro 어떤 저자가 각 책을 썼는지에 대한 좋은 예측을 할 수 있었습니다.오스카 와일드(Oscar Wilde)의 예측에 대한 불확실성은 다른 것보다 약간 더 크지만 다음과 같은 이유 때문일 수 있습니다.
- 데이터 세트에 그의 책 두 권이 있습니다.
- 단순히 기본 설정을 수락하면 모델을 조정할 수 있거나
- <간절함의 중요성>이 소설이 아니라 연극이라는 사실은 분석을 하고 나서야 알게 된 사실이다.
내 추측은 옵션 C가 이유입니다. 다른 저자 및 다른 샘플 책과 함께 이 실험을 반복하는 것은 재미있을 수 있습니다. 실험을 다시 실행하면 얻을 수 있는 결과에 관심이 있습니다. 댓글로 결과를 올려주세요!
정말 흥미롭군요, 제드.'Wilde' 파일의 크기가 다른 파일보다 작았기 때문에 예측 정확도가 약간 떨어지는 이유가 아닐까 싶습니다.더 큰 샘플, 더 나은 예측?다시 말하지만, 이것은 매우 멋지다.이 방법을 사용하면 대작가의 정체를 밝힐 수 있습니다!
@척_보일러 확실히 가능성이 있습니다. <진심의 중요성>이 연극이라는 점이 더 큰 요인인 것 같아요. 즉, 다른 작품들과 문체가 많이 다르다는 거죠. 사실 생각해보면 장르를 넘나들며 매칭이 더 인상적이네요.
