現在の出来事が思考実験を引き起こします。
先日、AI を使用して期末論文を作成したために、クラスの学生の半数を落第させた教授についての見出しをニュースで見ました。 その見出しは実際の話よりもはるかに刺激的なものであったことが判明しました。皮肉なことに、教授は AI の使用を検出するために AI を悪用したのです。 とにかく、それで私は考えさせられました。JMP は誰がテキスト本文を書いたかを判断できるのでしょうか、そしてテキスト分析についてあまり知らない人でもそれを行うことができるのでしょうか? 以下のグラフに示すように、JMP Pro では次のことが可能であることがわかりました。
分析するテキストを取得する:
大量の学生レポートにアクセスできないため、プロジェクト・グーテンベルク、著作権が期限切れになった書籍をホストしています。 私は5人の著者による6冊の本を候補として選びました。
- 『華麗なるギャツビー』F・スコット・フィッツジェラルド著
- 『白鯨』ハーマン・メルヴィル著
- フランケンシュタイン、メアリー・シェリー著
- 『野生の呼び声』ジャック・ロンドン著
- ドリアン・グレイの絵、オスカー・ワイルド作
- 真剣であることの重要性、オスカー・ワイルド著
これらの本はそれぞれアメリカ人またはイギリス人の著者が執筆しており、原語は英語でした。 この選択をしたのは、翻訳者が同じ人である本を誤って選択して、物事を台無しにしたくなかったからです。
インポートとクリーンアップ:
テキストのインポートは簡単です。すべての書籍を個別のテキスト ファイルとして 1 つのフォルダーに配置し、以下の図のように複数ファイル インポート ツールを使用するだけです。 ファイル名の列を追加するオプション、1 行に 1 行を追加するオプション、類似したファイルをスタックするオプションを必ず選択しました。 この最終結果は、約 53,000 行を含む 1 つのデータ テーブルになります。
データのクリーンアップには、各本の冒頭にある空白行とヘッダー情報の削除、および各本の著者の列名の作成が含まれます。 このために私は組み込みの数式列、特に First Word の数式列に大きく依存しました。 最終的なデータ ファイルのコピーを Cleaned Text.jmp として添付したので、誰が読んでも分析を追跡できるはずです。
分析の実行:
分析を行うには、「分析...テキスト エクスプローラー」を選択し、下の図のようにダイアログに「テキスト」列と「ファイル名」列を配置します。 他のオプションはすべてデフォルトのままにし、「OK」を選択して続行します。
次に、テキスト エクスプローラーの赤い三角ボタン メニューから「判別分析」を選択し、表示される最初のダイアログ ボックスで「作成者」列を選択して、JMP Pro に各行の作成者を特定したいことを伝えます。 テキスト判別分析は JMP Pro でのみ使用できることに注意してください。
2 番目のダイアログ ボックス (下図) で [OK] をクリックしてデフォルトを受け入れ、分析を開始します。 JMP がバックグラウンドで計算を行うため、このステップが完了するまでに 1 分ほどかかる場合があります。
初期結果から最終結果まで:
[分類の概要] セクションでは、最初はあまり期待できるようには見えません。モデルは行の 64.5% を誤って分類しています。 ただし、各行は最大でも 80 文字のテキストであり、各本は数千行であることに注意してください。 全体像を把握する方法が必要です。それには、「誤分類率」セクションの下にある「予測率」テーブルに時間を費やす必要があります。
[予測レート] テーブルを右クリックして [データ テーブルに作成] を選択し、データ テーブルを簡単に積み重ねると、以下の図のテーブルが作成されます (分類概要 - Stacked.jmp として添付されます)。
グラフ ビルダーを使用すると、予測著者対著者のヒート マップにより、右上隅のオスカー ワイルドを除いて、各著者の最も高い予測が正しいことが示されます。 これは良いことですが、完璧ではありません。
ここで役立つもう 1 つのプラットフォームは、分析...多変量メソッド...多重対応分析です。 以下に示すようにこれを実行すると、予測された作成者が実際の作成者に非常に近いことを示す、非常に役立つグラフが作成されます。 オスカー ワイルドも、他の人たちほど予測に近いわけではありませんが、適切な決定を下すには十分近い予測です。
結論とさらなる考察:
当初、判別分析ツールは各書籍の著者を正確に予測できていないようでしたが、出力をもう少し詳しく調査すると、より有望な結果が得られました。テキスト エクスプローラーや判別分析のオプションを理解する必要がなくても、JMP Pro各本をどの著者が書いたかを適切に予測することができました。
オスカー ワイルドの予測に関する不確実性は他の予測よりも若干大きいですが、その原因は次のとおりである可能性があります。
- 彼はデータセットに2冊の本を持っていて、
- デフォルト設定を受け入れるだけです。モデルを調整できるかもしれません。あるいは、
- 『真剣であることの大切さ』が小説ではなく戯曲として書かれているという事実は、私が分析した後に初めて発見した事実です。
私の推測では、オプションcが理由です。 他の著者や他のサンプル本を使ってこの実験を繰り返すのも楽しいかもしれません。 実験を再実行した場合の結果に興味があります。 結果をコメント欄に投稿してください。
