無料のオンライン コースで詳細をご覧ください:
産業問題解決のための統計的思考
このビデオでは、Pet Owner.jmp ファイルを使用して非構造化テキスト データを処理する方法を学びます。 この例は、JMP サンプル データ ライブラリ内のファイル Pet Survey.jmp に基づいています。
このシナリオでは、150 人の犬と猫の飼い主に「あなたの猫や犬について考えてください。 最初に思い浮かぶのは何ですか?」
回答は「調査回答」列にあります。 これらのデータは非構造化テキストであるため、モデリング タイプとして非構造化テキストが適用されています。
これらのデータを分析するには、JMP の分析メニューから Text Explorer を選択します。
テキスト列として「アンケート回答」を選択します。
デフォルトの言語は英語ですが、他の言語も使用できます。
トークン化、用語、および表現にはいくつかのオプションがあります。
フレーズ オプションを使用して、フレーズごとの最大単語数と表示するフレーズの最大数を指定できます。
単語オプションを使用して、単語の最小サイズと単語ごとの最大文字数を指定できます。
ステミング オプションを使用すると、同じ語幹を持つ用語を自動的に結合できます。
[トークン化] には、正規表現と基本単語の 2 つのオプションがあります。 デフォルトは Regex、つまり正規表現です。 Regex を使用すると、一般的な句読点、スペース、タブなどの組み込みの式と記号を使用してドキュメントが解析されます。 [正規表現のカスタマイズ] オプションを使用して、独自のカスタム式を追加できます。
デフォルトのオプションを使用し、「OK」をクリックします。
JMP は舞台裏でデータをトークン化しました。 「a」、「an」、「the」などの基本的な単語とともに、句読点、スペース、記号が削除されました。
上部の概要には、一意の用語の数、ドキュメント (またはケース) の数、トークンの総数、およびケースごとの平均トークン数が報告されます。
用語リストとフレーズリストも提供されます。
興味深いフレーズがいくつかあります。 たとえば、「アヒル狩り」というフレーズは、「アヒル」や「狩猟」という個々の単語よりも大きな意味を持ちます。
上位のフレーズを用語リストに追加するには、フレーズを選択し、右クリックして [フレーズの追加] を選択します。
用語リストを詳しく見てみましょう。 用語リスト内の「用語」をクリックして、アルファベット順に並べ替えます。
リストをスクロールすると、いくつかの誤字が見つかることがあります。 たとえば、「犬」という用語は「dogs」と綴る必要があります。
タイプミスを修正する場合、または同じ意味を持つ用語を 1 つの用語に結合する場合は、用語を選択して右クリックし、「再コード化」を選択します。 たとえば、これら 2 つの用語を 1 つの用語「犬」にグループ化するとします。 2 つの値を選択し、[グループ] をクリックし、グループの名前を「dogs」に変更して、[再コード] をクリックします。
「犬」と「犬」、あるいは「アヒル」と「アヒル」という用語はどうでしょうか？これらの単語は同じベース、つまり語幹を持っています。 同じ語幹を持つ用語を結合したい場合は、ステミングを使用できます。
これを行うには、上部の赤い三角形をクリックし、[用語オプション]、[語幹]、[結合用の語幹] の順に選択します。
用語の末尾のドットは、語幹のある用語が結合されていることを示します。 これらの語幹用語にカーソルを置くと、結合された用語のリストが表示されます。
[カウント] 列を 2 回クリックして降順に並べ替えます。 上位の用語は「猫」と「犬」であることに注目してください。 これらのデータは犬と猫に関する調査から得られたものであることがわかっているため、これらの用語は特に有用ではありません。
これらの用語を削除するには、ストップワードとして追加します。 これを行うには、用語を選択します。
右クリックして、「ストップワードの追加」を選択します。
これで、上位の用語が吠える、歩く、ジャンプする、ビデオに関連していることがわかります。
後で同じ分析を繰り返すことができるように、この分析のスクリプトをデータ テーブルに保存します。
