現在の出来事が思考実験を引き起こす
先日、AI を使用して期末論文を作成したために、クラスの学生の半数を落第させた教授についての見出しをニュースで見ました。 その見出しは実際の話よりもはるかに刺激的なものであったことが判明しました。皮肉なことに、教授は AI の使用を検出するために AI を悪用したのです。 とにかく、そこで考えたのは、JMP は誰がテキスト本文を書いたかを判断できるのか、そしてテキスト分析についてあまり知らない人でもそれができるのかということです。 以下のグラフに示すように、JMP Pro では次のことが可能であることがわかりました。
分析するテキストの取得
大量の学生レポートにアクセスできないため、プロジェクト・グーテンベルク、著作権が期限切れになった書籍をホストしています。 私は5人の著者による6冊の本を候補として選びました。
- F・スコット・フィッツジェラルド著『華麗なるギャツビー』
- ハーマン・メルヴィルの「白鯨」
- メアリー・シェリーの「フランケンシュタイン」
- ジャック・ロンドンの「野生の呼び声」
- オスカー・ワイルド著『ドリアン・グレイの肖像』
- オスカー・ワイルド著『真剣であることの大切さ』
これらの本はそれぞれアメリカ人またはイギリス人の著者が執筆しており、原語は英語でした。 この選択をしたのは、翻訳者が同じ人である本を誤って選択して、物事を台無しにしたくなかったからです。
インポートとクリーンアップ
テキストのインポートは簡単です。すべての書籍を個別のテキスト ファイルとして 1 つのフォルダーに配置し、以下の図のように複数ファイル インポート ツールを使用するだけです。 ファイル名の列を追加するオプション、1 行に 1 行を追加するオプション、類似したファイルをスタックするオプションを必ず選択しました。 最終結果は、約 53,000 行を含む 1 つのデータ テーブルになります。
データのクリーンアップには、各本の冒頭にある空白行とヘッダー情報の削除、および各本の著者の列名の作成が含まれます。 このために私は組み込みの数式列、特に First Word の数式列に大きく依存しました。 最終的なデータ ファイルのコピーを Cleaned Text.jmp として添付したので、誰が読んでも分析を追跡できるはずです。
分析の実行
分析を行うには、[分析...テキスト エクスプローラー] を選択し、下の図に示すようにダイアログに [テキスト] 列と [ファイル名] 列を配置します。 他のオプションはすべてデフォルトのままにしておきます。 [OK] を選択して続行します。
次に、テキスト エクスプローラーの [赤い三角] メニューから [判別分析] を選択し、表示される最初のダイアログ ボックスで [作成者] 列を選択して、JMP Pro に各行を書いた作成者を決定するように指示します。 テキスト判別分析は JMP Pro でのみ使用できることに注意してください。
2 番目のダイアログ ボックス (下図) で [OK] をクリックしてデフォルトを受け入れ、分析を開始します。 JMP がバックグラウンドで計算を行うため、このステップが完了するまでに 1 分ほどかかる場合があります。
初期結果から最終結果まで
[分類の概要] セクションでは、最初はあまり期待できるようには見えません。モデルは行の 64.5% を誤って分類しています。 ただし、各行は最大でも 80 文字のテキストであり、各本は数千行であることに注意してください。 全体像を把握する方法が必要です。それには、「誤分類率」セクションの下にある「予測率」テーブルに時間を費やす必要があります。
[予測レート] テーブルを右クリックして [データ テーブルに作成] を選択し、データ テーブルを簡単に積み重ねると、以下の図のテーブルが作成されます (分類概要 - Stacked.jmp として添付されます)。
グラフ ビルダーを使用して、予測された著者と著者のヒート マップを表示すると、右上隅のオスカー ワイルドを除いて、各著者の最も高い予測が正しいことがわかります。 これは良いことですが、完璧ではありません。
ここで役立つもう 1 つのプラットフォームは、分析...多変量メソッド...多重対応分析です。 以下に示すように実行すると、予測された作成者が実際の作成者に非常に近いことを示す、非常に役立つグラフが作成されます。 オスカー ワイルドも、他の人ほど予測に近いわけではありませんが、適切な決定を下すには十分に近い予測です。
結論とさらなる考察
当初、判別分析ツールは各書籍の著者を正確に予測できていないようでしたが、出力をもう少し詳しく調査すると、より有望な結果が得られました。テキスト エクスプローラーや判別分析のオプションを理解する必要がなくても、JMP Pro各本をどの著者が書いたかを適切に予測することができました。オスカー ワイルドの予測に関する不確実性は他の予測よりも若干大きいですが、次のことが原因である可能性があります。
- 彼の本が 2 冊データセットに含まれています。
- 単にデフォルト設定を受け入れるだけで、モデルを調整できる可能性があります。あるいは、
- 『真面目さの大切さ』が小説ではなく戯曲だったということは、分析して初めて知った事実である。
私の推測では、オプション C が理由だと思います。 他の著者や他のサンプル本を使ってこの実験を繰り返すのも楽しいかもしれません。 実験を再実行した場合の結果に興味があります。 結果をコメント欄に投稿してください。
これは興味深いですね、ジェド。「ワイルド」ファイルのサイズは他のファイルよりも小さかったので、それが予測の精度がわずかに低いことを説明できるのではないかと思います。より大きなサンプルほど、より良い予測ができるでしょうか?繰り返しますが、これは非常にクールです。この方法を使えば、ゴーストライターの正体を暴くことができるかもしれません！
@chuck_boiler確かにその可能性はあります。 それよりも大きな要因は、『本気でいることの大切さ』が戯曲であるということ、つまり文体が他の作品とは大きく異なるということだと思います。 実際、よく考えてみるとジャンルを超えたマッチングはさらにすごいですね。
