758530_ja-JP

liliconcom

おばあちゃんのチリの起源を探る: 調査テキストマイニング (2020-US-45MP-532)

SAS、JMP 教育チーム シニア マネージャー、スコット ワイズ氏

テキスト マイニングの威力は、収集したデータによく含まれるあらゆる種類の非構造化テキストを調査するのに最適なツールです。保証問題に関するメモ、ラボ テスト/実験コメント、さらには料理のレシピを調べることまで、この新しい方法は私たちの世界をより深く理解するための多くの機会をもたらします。このプレゼンテーションでは、最新のテキスト分析方法を使用して、祖母のおいしいチリのレシピの地域的な起源に関する家族の謎を解く方法を紹介します。その過程で、テキスト マイニングを使用して主要な用語とフレーズのリスト、およびワード クラウド レポートを作成する方法を確認します。次に、結果として得られるドキュメント用語マトリックスを使用してトピック分析 (潜在クラス分析クラスタリング経由) を実行し、質問に対する解決策を見つけます。強力なテキスト マイニング アプローチを理解して、独自のツールボックスに追加し、独自のテキスト データの課題を解決し始めることができます。

自動生成されたトランスクリプト...

スピーカー	トランスクリプト
スコット・ワイズ	調査テキスト探索。私の名前はスコット ワイズ、JMP 教育チームのシニア マネージャーです。
	今日はとても楽しいプレゼンテーションを用意しました。このプレゼンテーションの目的は、皆さんにもう少し親しみを持ってもらうことです
	JMP と JMP Pro のテキスト探索機能と簡単さについて説明し、また、テキスト探索の別の見方、たとえば探偵のように何かを調査するにはどうすればいいかなどについても説明します。
	さて、私の祖母のチリとそれがテキサスチリ料理コンテストとどう関係するかについて話します。始める前に
	テキスト マイニングに関する用語のいくつかを解明してみましょう。私にとっては、実際には 5 つの簡単なステップがあります。時間をかけてデータを要約し、テキスト内でどの単語が最も頻繁に出現するか、さらにはどの単語の組み合わせが最も頻繁に出現するかを調べます。
	それで、??? は、これを非構造化テキストに目を通すことと呼び、これは何でもかまいません。これは、製品やサービスのパフォーマンスについて顧客があなたに与えた文章かもしれません。それは...
	ソーシャルメディアなら、コメントから人々の好みや嫌いなことが分かります。
	あなたの製品やサービスについて、あるいはレシピのような内容かもしれません。
	特許出願されている人気の高いものは何なのか、自分たちもそうすべきなのかを研究しているときに、特許に関してもこのようなことが行われているのを見たことがあります。
	つまり、要約すると、その中からどの単語が最も重要かがわかります。次に、重要な単語のリストを絞り込むという準備作業があります。
	もちろん、視覚化や分析、モデル化ができないとJMPとは言えません。高度なモデル化もできます。そのため、JMP Proバージョン15.1を使用します。
	そして、JMP で何ができるか、そして私の質問にさらに答えるのに役立つ Pro の機能を実際に少し紹介します。
	ドキュメント、コーパス、用語。ドキュメントはこれらになります...
	分析しているのは、基本的にはテキストの個々の本文、テキストの各行です。これが私の例のレシピです。
	それは、あなたの製品やサービスについてコメントを返してくれたさまざまな顧客である可能性があります。コーパスは、実際には処理しようとしている非構造化テキスト、つまり分析するテキストの本文です。
	そして、用語は、質問に答えるのに役立つ、あなたが関心のある単語または単語の組み合わせになります。それでは、話の話をしましょう。なぜ私がチリのレシピを調べることにしたのか？これは、
	約 25 年前、私が初めてテキサスに引っ越してきて、大企業に就職したとき、テキサスのほとんどの大企業と同様に、その企業でも大規模なテキサス チリ クック コンテストが開催されました。
	そして私も参加するように言われました。全員が参加しました。しかし、私はそれ以上のことも求められました。審査員を務めるように言われたのです。
	だから私は審査員の申し出を断るべきだった。新人としては名誉なことだと思っていたが、彼らがその賞を授与できるのは私だけだったと思う。その理由が分かった。
	でも、まずは私が持ってきたチリに対する反応についてお話ししましょう。私の家族がいつも使っているチリのレシピは、祖母のリリアンおばあちゃんから受け継いだものです。
	これはチリではありません。テキサス人がチリと考えるものではありません。
	幸いなことに、私はチリを食べるのが好きなので、何でも家に持ち帰らなければなりません。彼らはチリ以外のものを検討しました。彼らのチリには豆が入っていませんでした。彼らのチリはボリュームがありませんでした。とても辛くて、とてもスープ状でした。
	私のは牛肉。彼らのは主に豚肉。全部入っていました。私が困ったもう一つのことは、彼らが私の祖母のチリを気に入らなかっただけでなく、私は審査を乗り切れそうになかったことです。
	なぜなら、本物のテキサス人の名誉の証は、最も辛いチリを作ることだから。だから、隣人に勝ちたい。同僚に勝ちたい。だから、彼らはここにありとあらゆるとんでもない辛さのチリやスパイスを投入していた。
	そして私は思った、味見をするだけで胃に穴が開きそうだったし、熱を逃がすために牛乳を飲んでいた。だから
	それは厳しい試練でした。ですから、私のお勧めは、あなたが厳しい試練が好きでない限り、審査員として参加しないことです。それは良い考えではありません。しかし、私は順位をつけたかったのです。それがいつも私を悩ませていました。
	え、おばあちゃんのチリはなぜうまくいかなかったの？チリには本当にいろいろな種類があるの？どこから来たの？
	チリにはすごい歴史があることがわかりました。チリに関するすごい歴史のブログや論文もいくつかありますが、おそらくそれは
	中央アメリカ、主にメキシコです。軽い料理もありますが、サンアントニオでは、州内でチリが売られているのが初めて見られました。今ではチリとして知られています。
	アラモのそばの古いサンアントニオ広場で、牛の群れを移動させるときに使われ、人気が出始め、その後、国中西部まで北上していきました。
	セントルイス万国博覧会では、多くの食品のイノベーションが生まれ、それが発表されると本当に人気が出たと聞きました。これはその一つです。チリは
	セントルイス万国博覧会で本当に人気が出ました。
	さまざまな種類があります。そこで考えたのは、材料やレシピにテキスト探索を使えるかどうかです。レシピ全体を取り出して、それを投入して、何が起こるか見てみましょう。
	では、何と比較したらいいのでしょうか? そこで、伝統的な地域がどこなのか調べてみました。テキサスからミシガンまで、いくつかありました。
	テキサスには様々な種類があります。私が試食したのはテキサスボウ​​ルレッドです。これはチリコンカンです。
	フリトパイはフットボールの試合で食べられるものですが、とても人気があり、ルイジアナ州には独自のバージョンがあります。グリーンチリとチキンを使ったニューメキシコ州にも独自のバージョンがあります。オクラホマ州、カンザスシティ、スプリングフィールド、
	イリノイ州、シンシナティのスカイラインチリはスパゲッティにかけられます。ミシガン州、コニーアイランドのホットドッグには、あのチリソースがかかっていて、本格的なチリです。
	どこから来たのかは不明な白唐辛子。ベジタリアン用唐辛子。でも、今はいろいろな種類があります。
	そこで私は、これらのスタイルのそれぞれから 3 つのレシピを取り出して、それを祖母のチリと比較したら、探しているものが見つかるだろうかと考えました。
	では、これを実行し、手順を説明しながら、手順の概要を示し、その後、JMP での実行方法を説明します。
	最初のステップは、データを要約することです。関心のある単語を見つけたいのです。
	では、入力すると何が起こるでしょうか
	このテキスト分析、このテキストデータ、私の材料のようなものをテキストエクスプローラーに入力すると、ライブラリを介して実行されます
	正規表現について考えてみましょう。そして、その言葉が日常会話の一部であるかのように考えてみましょう。
	そして、それらはあまり役に立ちません。リストに「the」や「and」が含まれていても役に立ちません。そのため、気にしない単語を抜き出すのに役立ちます。そして、はい、カスタマイズできます。
	すでにかなり強力なものが組み込まれているので、それを使用しました。そしてステミングです。ステミングとは、
	単語をどのように扱いたいかを述べます。つまり、「dice」は「dice」、「dicing」、複数形、違う...違う...
	語源の異なるバージョン。語源ですべてを数えるのか、それとも分けて数えるのか。これは考慮すべき点です。
	そして要約した後、これらの単語を取り上げます。ここに単語のリストがあります。後ろのものは編集されていないもので、前のものは編集されていません。
	これは実際に私たちが単語リストを調べて、ある程度サイズを縮小したものです。つまり、気にしない単語を探して、それをストップワードと呼び、基本的には削除するということです。気にしないもののライブラリに戻します。
	本当に重要なフレーズを持ち込むこともできます。これらができたら、いくつかを視覚化できるようになります。
	そして、私の場合、材料に非常に興味があったので、どの材料が最も頻繁に出てくるかを確認できるようになります。
	ここではワードクラウドをよく見かけますが、ワードクラウドでは、単語が大きいほど、その単語の頻度が高くなります。
	クラウドで見ると、散発的なレイアウトとして、または、一番上の単語が一番大きいという順序で見ることができます。
	スライドの前のグラフです。その後、これを使って何かを行います。そして、いくつかの基本的なモデルを作成します。
	最も簡単な方法は、リストの中のどの単語が重要かがわかったら、
	これをデータテーブルに追加することができます。これはドキュメント用語マトリックスの保存と呼ばれます。この場合、簡単な方法はバイナリだけです。ここに別の列があります。右側に見えますが、
	「タマネギ」は、レシピの行に 1 が表示されます。行にない場合は 0 が表示されます。つまり、列に 0 と 1 が表示されます。そして、何が最も重要なのかがわかります。
	そして多くの場合、もし私が行き詰まったら、
	おそらく私はこれで審査スコアを出したので、各レシピに数値スコアを結び付けることができます。材料が何であるかを見たいのです
	高いスコアにつながる一般的なものです。これは私がやっていることかもしれないので、もう少し予測的にやってみてください。
	しかし、今回はグループ化について見ていきます。レシピをグループ化して、おばあちゃんのチリがどのグループに当てはまるかを調べることに非常に興味があります。では、その方法を説明します。まずは JMP にアクセスして、JMP でこれらの手順を実行する方法を説明します。
	これが私の生データです。
	ここにあるすべてのドキュメントのすべての行には、構造化されていないテキストが含まれており、私の場合は、生の材料だけです。
	ここでこれらのセルのいずれかをクリックすると、文字通りコピーされた材料が表示されます。最初のセルはルイジアナのケイジャン チリです。
	「トマト」や「チリパウダー」や「ハチミツ」など、私にとって関心のある言葉も含まれています。また、「缶」など、私にとって関心のない言葉も含まれています。
	おそらく、私があまり気にしないのは「1ポンド」「2ポンド」「小さじ」などの材料の量です。では、これをどう扱えばいいのでしょうか？
	分析に移動してテキスト エクスプローラーに移動し、それらの要素をテキスト列に入力します。
	すべての用語の語幹抽出方法を尋ねます。これは非常に役立ちます。次に、組み込みの正規表現を使用します。
	わかりました。これが私の最初のリストです。
	それで、今できることは、気にしないものを選択することです。数字は気にしません。だから、ここに行ってそれらをハイライトし、右クリックしてストップワードを追加すれば、それが気にしないもののリストに追加されます。
	「チリパウダー」はどうでしょうか? これは単独で入力する必要があるようです。そこで、このフレーズを右クリックします。そして、「フレーズを追加」を選択すると、フレーズが追加されます。
	したがって、合理化されてサイズが縮小されたリストが得られるまで、これを繰り返します。
	私はただ走るつもりです
	完成したリストです。正規表現から見つかったすべての単語と、
	私が追加したもの
	そしてストップワード。これが完成した用語とフレーズのリストです。これらのフレーズを追加しました。気にしています。「玉ねぎ」が最も上位にきて、次に「塩」、「クミン」、「チリパウダー」の順になりました。
	ご想像のとおり、これは視覚化するのに非常に役立ちます。ワード クラウドもあります。ここに、この中のすべてのワード クラウドがあります。また、ここにある赤い三角形のオプションで、表示される内容が明確になるように順序を変更できます。
	中央に置いたままにしておくと、楽しいです。データにフィルターを追加したり、他の操作をしなくても視覚的に答えを見つけられることもあります。その場合は、これについて説明したいと思います。
	赤い三角形です。ローカルデータフィルターを取得します。タイプを見て、次のものを見てみましょう。
	リリアンおばあちゃんのチリはどんな感じでしょうか。ご存知のとおり、「トマト」と「インゲン豆」と「牛肉」といった類のものです。ケイジャンチリと比べてどうでしょうか?
	まあ、チリパウダーとビーフは共通だけど、チリベルデと比べると何か違うものがあるかもしれないね
	ご存知のとおり、これはグリーンチリに近いものです。生のチリやハラペーニョ、チキンストックなど、チキンブロスも入っています。
	これは本当に興味深いですが、何が起こっているのか理解するには十分ではないと思います。
	(そして、これはもう 1 つです...赤い三角形の下にすべてのオプションがあります) ローカル データ フィルターをオフにし、すべてが選択されていること、すべての用語を確認していることを確認しました (おそらくここで確認する必要があります)。
	ここに 299 があります。右クリックして、「ドキュメント用語マトリックスを保存」を選択します。
	そして、それを実行すると、どのような方法で保存するか、重み付けの種類は何かと尋ねられました。基本的にはバイナリで、使用できる頻度、用語の数、つまり、データ テーブルに実際に配置するために必要な最小の用語頻度があります。そして、私はすでにそれを実行しました。
	それで、横にスライドして見てみると...
	実は
	先に進んで、その様子をお見せします。「ドキュメント用語マトリックスを保存」と入力して、「OK」をクリックします。
	スライドで示したように、これで必要な用語がすべて取得できました。最初の「玉ねぎ」があります。これが「チリパウダー」です。それぞれに関連しています。
	レシピ、ご存知のとおり、行です。
	だから、どこにあるのかは分かっていますし、このケイジャン チリにはチリ パウダーが入っていたことも知っています。
	ゼロになると、
	これはオクラホマ チリのように見えますが、ニュー メキシカン チリにはチリ パウダーは入っていません。これは、単に、それが仕組みです。これはモデリングに使用できます。JMP の「モデルの適合の分析」に進み、これを何らかのモデルに適用できます。
	しかし、私がやろうとしているのは、どの材料が私に高いスコアをもたらすかを予測しようとしているわけではないので、
	出力データはここにあります。これらをグループ化したいのですが、JMP Pro では実際にそれができると聞きました。それでは、スライドに戻ります。
	データの分析についてお話しします。さらに分析を進めるには
	JMP Pro では、非常に優れたグループ化テクニックを実行できます。これらは多変量手法であり、テキスト分析の処理と、テキストに関するドキュメント用語マトリックスの操作に特化しています。
	これは潜在クラス分析と呼ばれるものです。これは用語の1つです。この手法に慣れている方なら、主成分分析に似ています。しかし基本的には
	どのくらいのグループやクラスターのデータを見たいのかを尋ねます。多次元空間全体を見ていきます
	これらの列にあるすべてのものと、モデル内の重要な用語のドキュメント用語マトリックスとの間には、単語で取得した重要な用語があります
	単語リストですね。そして、それらをグループ化します。私の場合は、3 つのグループに絞り込むことができました。
	クラスターの 1 つがあり、牛ひき肉、トマトソース、チリパウダー、豆を使ったチリのレシピがたくさんあるようです。
	クラスター 2 は、鶏肉と青唐辛子、ここでは生の唐辛子と大きく関係しています。
	そして、クラスター 3 には、やはり唐辛子がたくさん入っていましたが、赤唐辛子が多く、豚肉をベースにした味だったので、とても納得できました。
	さて、これらのクラスターを作成するときに、行ごとにクラスター確率を使用できました。これにより、個々のクラスターの強さがわかりました。
	レシピ、私のドキュメントの行、これらは元の...私のコントロールレシピです。これらはどこに分類され、どの程度の強さで属していたのでしょうか。なぜ私はこれらをどのクラスターに割り当てたのでしょうか。そして、これを実行したとき、
	22 は私の祖母のクラスターで、祖母のコントロールでした。そして、祖母はミズーリ州カンザスシティのレシピを含む他のレシピとともにクラスター 1 に集まっていることがわかりました。
	24番に非常に近いレシピが1つあります。クラスター3のテキサスのレシピには、辛いチリやスパイスが使われていました。たくさんのスパイスが使われていて、豚肉はよく使われていて、豆は使われていませんでしたね。豆はクラスター1にはありましたが、クラスター3には入っていませんでした。
	クラスター2
	グリーンチリ用です
	ニューメキシコでよく見かける、チキンベースのチリやグリーンチリを使ったものなどです。
	さて、それで何が起こったかというと、私はマッチングに成功し、レシピを見つけました。そしてミズーリ州の代表的な3つのレシピのうちの1つは
	それは実際にはカンザスシティチリと呼ばれ、リリアンおばあちゃんのチリとほとんど同じでした。
	それで、母にこのことを尋ねたとき、私は「どうしてこんなことが起きるの？ミズーリ州から来たとは思わなかったのに」と言いました。すると母は「すべて理にかなっているわ」と言いました。「おばあちゃんのリリアンは、
	彼女はミズーリ州セントジョセフの農場で育ち、唯一の女の子で、兄弟は11人か12人いました。だから料理をよく作っていました。」
	ちなみに、彼女は大学教育を受けた唯一の人で、当時としては非常に進歩的な人で、私のお気に入りの親戚の一人でしたが、彼女のレシピはそれをよく表しています。それでは、これがライブでどのように見えるかをお見せしましょう。
	それで、私が行ったら...
	この時点で、
	作成したデータに戻り、そのホットスポットの下で、JMP Proが提供できる追加のモデルを求めます。この方法を使用した潜在クラス分析クラスタードキュメントがあります。
	バイナリ方式に基づいて用語マトリックスをドキュメント化します。つまり、ドキュメント用語マトリックスを使用します。つまり、保存する必要すらなく、自動的に生成されます。
	潜在的意味解析もあります。これは、もう少し数学的な処理と、もう少し高度な手法を使用しますが、どちらも基本的に同じことを行います。私は特に、この潜在クラス解析が気に入りました。それで、これを選択しました。
	そして、私は 3 つのクラスターを要求しました。違いがあるかどうか試してみることができます。そして、私はさらに多くのクラスターを試し、3 つに戻しました。
	そしてその中で
	オプションを使用すると、行ごとにクラスター確率を確認できます。
	そして、すべての出力の中で、これが最も意味を成すものでした。スライドに戻って思い出してください。これは、祖母のチリがどこに落ちたかを見るのに役立ちました。
	それは22でした、
	22 行目。そして、他に何とうまく組み合わせられるか。こうしてこの分析を行うことができました。
	とても簡単です。
	それで、
	JMPでテキスト探索を行う機能と、JMP Proを使用して
	これらのクラスターを見つけて、おばあちゃんのチリとマッチするレシピを見つけてください。もっと知りたい場合は、ブログへのリンクがあります
	プレゼンテーションでは、クリックするか、コミュニティに直接アクセスして「おばあちゃんのチリ」と入力するだけで、そのブログを見つけることができます。また、それと一緒に、
	レシピ。あなたもリリアンおばあちゃんのチリを作ることができます。
	本日これをお見せできることを嬉しく思います。
	ご質問はQ&Aにご記入ください。私たちがお答えします。そして、これを試してください。
	職場や自宅など、構造化されていないテキスト データがある場所ならどこでも、それを探索したり質問したりすることができます。これは非常に優れた方法であり、非常に強力で、データの 3 次元を分析するのに非常に役立つことがわかります。