281489_ja-JP

liliconcom

おばあちゃんのチリのソースを見つける：調査テキストマイニング（2020-US-45MP-532）

レベル：初心者

 

SAS、JMP教育チーム、シニアマネージャー、スコットワイズ

 

テキストマイニングを使用することの力は、収集されたデータに一般的に存在するあらゆる種類の非構造化テキストを調査するための優れたツールです。 保証の問題について記録されたメモ、実験室でのテスト/実験的なコメントから、食品のレシピを見ることまで、この新しい方法は私たちの世界をよりよく理解するための多くの機会を開きます。 このプレゼンテーションでは、最新のテキスト分析手法を使用して、おばあちゃんのおいしいチリレシピの地域の情報源に関する家族の謎を解く方法を紹介します。 その過程で、テキストマイニングを使用して、主要な用語やフレーズリスト、ワードクラウドレポートを作成する方法を見ていきます。 次に、結果のドキュメント用語マトリックスを利用して、トピック分析を実行し（潜在クラス分析クラスタリングを介して）、質問の解決策を見つけることができます。 独自のツールボックスに追加して独自のテキストデータの課題を解決し始めることができる強力なテキストマイニングアプローチの理解が残ります。

 

 

自動生成されたトランスクリプト...

 

スピーカー	トランスクリプト
スコットワイズ	調査テキストの調査。 私の名前はスコットワイズです。JMP教育チームのシニアマネージャーです。
	そして、私は今日私たちが見ることができる本当に楽しいプレゼンテーションを持っています、そしてこのプレゼンテーションの目標はあなたにもう少し親しみを与えることです
	JMPとJMPProでテキスト探索を行う機能と簡単さ、およびテキスト探索の別の見方を示します。たとえば、探偵のように何かを調査することはできますか？
	さて、おばあちゃんの唐辛子と、それがテキサスの唐辛子の料理コンテストとどのように関係しているかについてお話します。 始める前に、
	テキストマイニングに関連する用語のいくつかをデバンキングしましょう。私にとって、実際には5つの簡単なステップがあります。 あなたはデータを要約することに時間を費やし、文字通り、テキスト内のどの単語が最も頻繁に発生するか、どの単語の組み合わせが最も頻繁に発生するかを見つけます。
	だから???これを非構造化テキストを正しく見て、それからこれと呼んでください。これは何でもかまいません。 これは、顧客が製品またはサービスのパフォーマンスについてあなたに与えた文である可能性があります。 かもしれない...
	コメントに基づいて人々が好きなものや嫌いなものを把握しているソーシャルメディアかもしれませんが、
	あなたの製品やサービスについての何か、あるいはそれはレシピのようなこの男かもしれません。
	人々が特許を申請している人気のあるものを研究しているとき、そして私たちがこれらを行うべきであるときに、それが特許で行われるのを見たことさえあります。
	だから本当に、それからどの単語が最も重要であるかを見つけることを要約する。 次に、気になる単語の小さなリストにたどり着く準備があります。
	もちろん、それを視覚化して分析し、モデル化することができなければ、JMPにはなりません。 高度なモデリングも可能です。 したがって、これを行うためにJMPProバージョン15.1を使用します。
	そして、JMPで何ができるのか、そして私の質問にさらに答えるのに役立つProを実際にどこに投入するのかを必ず指摘します。
	ドキュメント、コーパス、用語。 ドキュメントはそれらになります...
	分析しているもの、基本的にはテキストの個々の本文、テキストの各行。 だから、それは私の例のための私のレシピです。
	あなたの製品やサービスについてあなたにコメントを返したのは、さまざまな顧客である可能性があります。 コーパスは、実際には、処理しようとしている非構造化テキストであり、分析しようとしているテキストの本文です。
	そして、用語は、質問に答えるのに役立つ、気になる単語または単語の組み合わせになります。 それでは、その話について話しましょう。 なぜ私は唐辛子のレシピを考えたのですか？ さて、これはに戻ってきます
	ほぼ25年前、私が最初にテキサスに引っ越して、大企業で働くようになったとき、テキサスのほとんどの大企業と同様に、彼らは大きなテキサスチリ料理コンテストを開催しました。
	そして、私は参加するように頼まれました。 みんな参加しました。 しかし、それ以上のことをするように頼まれ、裁判官になるように頼まれました。
	だから私は裁判官を断るべきだった。 新しい人にとっては名誉だと思いましたが、彼らがそれを与えることができたのは私だけだったと思います。その理由を知りました。
	しかし、最初に私が持ってきた唐辛子に対する反応について話しましょう。 だから私は家族がいつも使っているチリレシピを持っていて、それは私の祖母、おばあちゃんリリアンから来ました。
	これは唐辛子ではありません。 これは、テキサンズが唐辛子と見なしたものではありません。
	幸いなことに、私はそれを食べるのが好きなので、家に持ち帰らなければなりませんでした。 彼らは唐辛子以外の何かを考えました。 彼らの唐辛子には豆が入っていませんでした。 彼らの唐辛子は心のこもったものではありませんでした。 とても暑くて、とてもスープでした。
	私は牛肉を食べました。 彼らは主に豚肉を持っていました。 彼らはすべて入っていた。 これが私を困らせたもう一つのことです。 彼らは私のおばあちゃんの唐辛子が好きではなかっただけでなく、私は審査をほとんど生き残れませんでした
	なぜなら、本物のテキサンの名誉の本物のバッジは、最も熱い唐辛子のボウルを作ることだからです。 だからあなたはあなたの隣人を打ち負かしたいのです。 あなたは同僚を打ち負かしたいと思っています。 それで彼らはここにあらゆる種類の不敬虔な唐辛子とスパイスを投げていました。
	そして、私はちょうどそれを味わうためにちょうど私の胃に穴を開けようと思った、そしてあなたは熱を消そうとしてこのすべてのミルクを飲んでいる。 そう
	それは火の洗礼でした。 ですから、暑さが気に入らない限り、審査員として参加しないことをお勧めします。 良い考えではありません。 しかし、私は配置したかった。それはいつも私を悩ませました。
	なに、おばあちゃんの唐辛子が上手くいかなかったの？ 本当に違う種類の唐辛子がありますか？ 彼らはどこから来たのか？
	そして、チリには本当にクールな歴史があることがわかりました。 あなたはそれに関するいくつかの実際に本当にクールな歴史のブログと論文を見ることができます、そしてそれはおそらくから出てきました
	中央アメリカ、主にメキシコ。 軽食もいくつかありますが、サンアントニオでは、州内で販売されていることが最初に観察されました。今ではチリであることがわかります。
	アラモのそばの古いサンアントニオ広場にあります。 そしてそれは牛のドライブで使用され、人気が出始め、それから国の真ん中から中西部にかけてその道を進んだ。
	そして、セントルイス万国博覧会で多くの食品イノベーションが生み出されたと言われました。それらが展示されたとき、これは本当に成功したものの1つでした。 チリはそれを
	セントルイス万国博覧会とそれは本当に人気がありました。
	ですから、さまざまな種類があります。 それで、もし私が...材料とレシピにテキスト探索を使用できるかどうかという考えでしたか？ レシピ全体を取り出してダンプし、何が起こるか見てみましょう。
	そして、私はそれを何と比較したいですか？ それで私は伝統的な地域が何であるかを調べました。テキサスからミシガンまで、いくつかありました。
	テキサスでは、さまざまな品種があります。 テキサスボウルレッドは私が味わったものです。 それはチリコンカーンです。 A
	フリートパイはフットボールの試合で手に入るものですが、ルイジアナには独自のバージョンがあるので非常に人気があります。 グリーンチリとチキンのあるニューメキシコには、独自のバージョンがあります。 オクラホマ、カンザスシティ、スプリングフィールド、
	イリノイ州、シンシナティ、スカイラインチリと一緒にスパゲッティの上に置いてください。 ミシガン。 コニーアイランド、ホットドッグ、あなたが知っている、彼らがそこに置いたチリソースは深刻なチリです。
	白唐辛子、それがどこから来たのか不明。 ベジタリアンチリ。 しかし、今そこにあるスタイルはたくさんあります。
	だから私は、これらのスタイルのそれぞれから3つのレシピを取り、それを比較しておばあちゃんの唐辛子を制御した場合、私が探しているものを見つけることができますか？
	だから私たちはこれを行うつもりですそして私はあなたに見せます、私がステップを歩きながら、私はあなたにステップの要約を見せますそして私はすぐ後ろに行きそして私がそれをする方法をあなたに見せますJMPで。
	最初のステップは、データを要約することです。 気になる言葉を見つけたい。
	さて、あなたが入ると何が起こるか
	このテキスト分析のいずれか、このテキストデータは、私の材料のように、テキストエクスプローラーに入れられ、ライブラリを介して実行されます
	正規表現の、そして正規表現のように、日常のスピーチのほんの一部であるものについて考えてください。
	そして、彼らはそれほど役に立ちません。 リストに「the」と「and」が含まれていると役に立ちません。 だからそれはあなたが気にしない言葉を引き出すのを助けようとします。 そして、はい、それはカスタマイズすることができます。
	そして、それはすでにかなり強力なものが組み込まれています、そしてそれは私が使用したものです。 そして、ステミング。 ステミングはあなたが行くところですそして
	言葉のように扱いたいと言う-つまり、「サイコロ」は「サイコロ」、「さいの目に切る」、複数形、異なる...異なる...
	ルートワードの異なるバージョン。 ルートワードですべてを数えたいですか、それとも分離したいですか？ ですから、それは考慮事項です。
	そして、要約した後。 これらの言葉を聞かせてください。 あなたは私がここに単語の小さなリストを持っているのを見ることができます。 後ろの方は編集されておらず、前の方は編集されていません
	これは実際に私たちが調べたものであり、その単語リストのサイズを縮小したものです。 つまり、気にしない単語を探し、それらをストップワードと呼び、基本的にはこれらを削除します。 気にしないもののライブラリにそれらを追加し直します。
	本当に重要なフレーズを持ち込むこともできます。 そして、これらを入手したら、いくつかを視覚化できるようになります。
	そして、私の場合は、食材に本当に興味を持ったことがわかります。 そのため、どの材料が最も頻繁に出てきたかを確認できるようになります。
	そして、ここでは単語の雲がよく見られます。単語の雲は、単語が大きいほど頻度が高くなります。
	そして、それをクラウドで見ることができます。ちょうど...散発的なレイアウトのように、または最初に最大の単語がある順序を見ることができます。 それは
	スライドの前にあるグラフ。 そしてその後、私たちはそれを使って何かをするつもりです。 そして、いくつかの基本的なモデルを作成できます。
	そして、それを行う最も簡単な方法の1つは、リストのどの単語が気になるかを知ったら、
	データテーブルに追加し直すことができます。 これは、ドキュメント用語マトリックスの保存と呼ばれます。 この場合、それを行う簡単な方法は単なるバイナリです。 だから私はここに別のコラムを持っています、あなたは私の右側に見ることができます、ここで
	「タマネギ」はその列にあるものがあります、あなたが知っている、レシピ。 そうでない場合はゼロがあるので、ここの列でゼロと1を取得できます。 そして、あなたは何が最も重要であるかを見ることができます。
	そして、多くの場合、あなたは私が立ち往生している場合のようなものをモデル化しようとしています、
	多分私はこれによって審査スコアを持っていました、そして私は言うことができます、まあ、これは各レシピに結び付けられた数値スコアです。 どんな具材が見たい
	高得点になるのが一般的です。 それは私がやっていることかもしれないので、もう少し予測的にやってみてください。
	ただし、この場合は、グループ化について見ていきます。 レシピのようにグループ化して、おばあちゃんの唐辛子がどこに落ちるかを見ることに本当に興味があります。 それで、私たちがそれをどのように行うのかをお見せします。 ただし、最初にJMPに移動して、JMPでこれらの手順を実行する方法を示します。
	これが私の生データです。
	ここにあるすべてのドキュメントでは、すべての行が...構造化されていないテキストを取得しています。私の場合、それは単なる原材料です。
	ここでこれらのセルのいずれかをクリックすると、文字通り材料にコピーされていることがわかります。 ルイジアナのケイジャンチリの最初のものがあります。
	「トマト」「チリパウダー」「はちみつ」など、気になる言葉があります。 「できる」のように気にしない言葉があります。
	それはおそらく、「1」、「2ポンド」、「小さじ」など、私があまり気にしない成分測定です。 では、これをどのように処理するのでしょうか。 だから私たちがやろうとしていること
	Analyzeに移動し、Text Explorerに移動して、これらの材料をテキスト列に配置します。
	ステミング、すべての用語でステミングする方法を尋ねます。 とても参考になりました。 次に、組み込みの正規表現を使用します。
	私は大丈夫と言います、そして今ここに私の最初のリストがあります。
	だから私が今できることは、私が気にしないものを選んで行くことができるということです。 数字は気にしません。 だから、ここに行ってハイライトし、右クリックしてストップワードを追加すると言うと、気にしないもののリストに追加されるかもしれません。
	「チリパウダー」はどうですか？ それはそれ自体である必要がある何かのように聞こえます。 そのフレーズを右クリックします。 そして、私はフレーズを追加すると言うつもりです、そしてそれはそれを追加します。
	したがって、合理化されたサイズダウンリストが得られるまで、これを実行します。
	私はちょうど私を実行するつもりです
	それによる私の完成したリスト。 そして、ここに見つかった正規表現から外れたすべての単語があります。
	追加したもの
	ストップワード。 そして今、これが私の完成した用語とフレーズのリストです。 そして、私はこれらのフレーズを追加しました。 気になります。 つまり、「タマネギ」、「塩」、「クミン」、「チリパウダー」の順に出てきました。
	ご想像のとおり、これは視覚化するのに非常に優れており、ワードクラウドがあります。 これが、この1つに含まれるすべての単語クラウドです。 そして、ここでも私の赤い三角形のオプションの下で、それを注文に変更して、出てくるものをより鮮明にすることができます。
	中央に置いておけば、楽しいことです。 データにフィルターを追加できることはご存知でしょう。できることは、他に何もしなくても視覚的に答えを見つけることができる場合です。 そしてその場合、私はこれに入るつもりです
	赤い三角形。 ローカルデータフィルターを取得します。 タイプを見てみましょう。まあ、見てみましょう。
	おばあちゃんのリリアンの唐辛子がどのように見えるか、あなたは「トマト」と「インゲン豆」と「牛肉」、そのタイプのものを知っています。 そして、それはケイジャンチリとどのように比較されますか？
	彼らはチリパウダーと牛肉を共有していましたが、ご存知のように、そこにはいくつかの異なるものがあるかもしれません。 あなたが知っている、それが唐辛子のヴェルデと比較してどうですか、
	あなたが知っている、あなたは知っている、より多くの緑の唐辛子です。 そして、そこには生の唐辛子とハラペーニョ、鶏がらだし、そのようなものすべて、チキンブロスがあります。
	ですから、これは本当に興味深いことですが、何が起こっているのかを理解するにはおそらく十分ではありません。 だから私は行きました
	（これは別の...赤い三角形の下にすべてのオプションがあります）ローカルデータフィルターをオフにし、すべてが選択されていることを確認しました（おそらくここで確認する必要があります）。私はすべての私の用語を見ていること。
	ここで299を取得しました。 右クリックして、「ドキュメント用語マトリックスを保存」と言います。
	そして、それを行うと、どのような方法で保存したいのか、with with weights、with weights、どのような重みを付けたいのかを尋ねられました。 これは基本的にバイナリであり、使用できる頻度、用語の数、データテーブルに実際に配置するための最小用語頻度があります。 そして、私はすでにそれをしました。
	だから私が横切って見ると...
	実際に
	私は先に進んでそれを行い、それがどのように見えるかをお見せします。 したがって、「ドキュメント用語マトリックスを保存する」とだけ言って、「大丈夫」と言います。
	そして今、私がスライドであなたに示したように、今私は私が気にかけているすべての用語を手に入れます。 そして、「タマネギ」の最初のものがあります。 これが「チリパウダー」の1つで、それぞれに関連しています。
	レシピ、あなたが知っている、行。
	だから私はそれがどこにあるか知っています、私はこのケイジャンチリがチリパウダーを持っていたことを知っています。
	ゼロの場合、
	これはオクラホマンチリのように見えますが、申し訳ありませんが、ニューメキシコチリにはチリパウダーがありませんでした。 そして、これはモデリングに使用できます。 したがって、JMPのフィットモデルの分析に移動して、実際にこれをあるタイプのモデルに適用することができます。
	しかし、私がやろうとしていることは、私が実際に予測しようとしているわけではないので、あなたが知っているように、どの成分が私に高いスコアを与えるかということです。 私には好きなものはありません
	ここで出力データを知っています。 私は本当にそれらをグループ化したいのですが、JMP Proで聞いたのですが、実際にこれを行うことができます。 ここでスライドに戻ります。
	そして、データの分析についてお話します。 したがって、さらに分析を行うには
	JMP Proでは、いくつかの非常に優れたグループ化手法を実行できます。これらは多変量メソッドであり、テキスト分析の処理に特化しており、これらのドキュメント用語マトリックスの操作はテキストに関するものです。
	そして、それは潜在クラス分析と呼ばれるものを使用します。 それは用語の1つです。 そして、あなたがそのテクニックをすることに慣れているならば、これは主成分に似ています。 しかし、基本的には
	調べたいデータのグループ化またはクラスターの数を尋ねてください。 それはその多次元空間を見渡すつもりです
	これらの列にあるすべてのものと、ここでのモデルの重要な用語のドキュメント用語マトリックスとの間で、
	単語リストでしょ？ そして、それらをグループ化します。 そして私の場合、それを3つのグループに分類することができました。
	クラスターのものがあります。これには、牛ひき肉、トマトソース、チリパウダー、豆を使ったチリレシピがたくさんあるようです。
	クラスター2があります。これは、鶏肉と青唐辛子、生の唐辛子と関係があります。
	そして、再びたくさんの唐辛子が入ったクラスター3がありますが、それらはより赤唐辛子であり、一種の豚肉ベースであり、これは非常に理にかなっています。
	さて、これらのクラスターを作成したときに、行ごとのクラスター確率を使用することができました。この種の方法により、これらの個人がどれほど強いかがわかりました。
	レシピ、私のドキュメントの私の行、右、これらのオリジナル...私のコントロールレシピ、それらはどこに落ち、どれほど強いものでしたか。 なぜそれらをクラスターに割り当てたのですか？ そして、私がこれをしたとき、
	22は私のおばあちゃんのクラスターでした...私のおばあちゃんのコントロールでした。 そして、彼女がミズーリ州カンザスシティから来たものを含む他のいくつかのレシピと一緒にクラスター1にクラスター化したことを発見しました。
	非常に近かった24番に1つあります。 さて、クラスター3のテキサスレシピでは、唐辛子、スパイス...たくさんのスパイスが入っていて、多くの場合、豚肉で豆はありませんでしたね。 Beanは、クラスター1には表示されましたが、クラスター3には表示されませんでした...
	クラスター2
	緑の唐辛子のためでした、あなたが知っている、それは緑の唐辛子のためでした、
	ニューメキシコで目にするものについては、鶏肉ベースの唐辛子、青唐辛子を使ったものなどがあります。
	さて、何が起こったのか、私は試合をすることができました、そして私はレシピを見つけました。 そしてミズーリからの3つの代表的なものの1つ
	それは実際にはカンザスシティチリと呼ばれ、おばあちゃんリリアンのチリとほぼ一致していました。
	それで、私が母にこれについて尋ねたとき、私は言いました。 ミズーリから来たとは思わなかった」と語った。 そして彼女は「これはすべて理にかなっている」と言った。 彼女は言った、「おばあちゃんリリアン、
	彼女はミズーリ州セントジョセフの農場で育ちました、そして彼女は唯一の女の子であり、彼女には11-12人の兄弟がいました。 それで彼女はたくさんの料理をしました。」
	ちなみに、彼女は大学教育を受けた唯一の人だったので、彼女が住んでいた間はかなり進歩的で、私のお気に入りの親戚の一人でしたが、彼女のレシピはこれを非常に示していました。 それでは、これがライブのように見えることをお見せしましょう。
	だから私が行くなら...
	この時点で、
	作成したデータに戻り、そのホットスポットの下で、JMPProが提供できるこれらの追加モデルを要求します。 そのメソッドを使用してドキュメントをクラスター化する潜在クラス分析があります。
	用語マトリックスを文書化するためのバイナリの方法に基づいています。 したがって、ドキュメントを使用します...そのドキュメント用語マトリックスを使用します。そう、保存する必要さえなく、自動的に生成されます。
	潜在意味解析もあります。これは、もう少し数学を行い、もう少し高度な方法を実行しますが、どちらも基本的に同じことを行っており、この潜在クラス分析が特に気に入りました。 それが私が選んだものです。
	そして、私は3つのクラスターを求めました。それを試して、違いが生じるかどうかを確認できます。 そして、私はさらに多くのクラスターを試しましたが、3つに戻りました。
	そしてその中で
	オプションを使用すると、クラスターの確率を行ごとに確認できます。
	そして、すべての出力の中で、これが最も理にかなっているものです。 スライドに戻ると、これはおばあちゃんの唐辛子が落ちた場所を確認するのに役立ちました。
	22歳でした
	22行目。 そして、それが他に何とうまく組み合わされたか。 そして、それが私がこの分析を行うことができた方法です。
	とても簡単です。
	そう、
	これは、JMPでJMPテキスト探索を実行する機能と、JMPProと
	これらのクラスターを見つけて、おばあちゃんの唐辛子を置き、一致するレシピを見つけてください。 ですから、もっとお腹が空いたら、ブログへのリンクがあります
	プレゼンテーションでは、クリックするか、コミュニティに直接アクセスして、「おばあちゃんの唐辛子」と入力するだけで、そのブログを見つけることができます。 そして、私もそれと一緒にあなたに与えます、私たちはあなたにも与えます
	レシピ。 だからあなたもおばあちゃんリリアンの唐辛子を作ることができます。
	それで、今日あなたにこれを示すことができることに感謝します。
	質問がある場合は、必ずQ＆Aに回答してください。 そしてこれを試して、何かを試してください
	職場、自宅、構造化されていないテキストデータがある場所、探索して質問したい場所など、周囲にいること。これは素晴らしい、素晴らしい方法であり、非常に強力であり、実際に攻撃するのに役立ちます。データの3次元。

起こるデータ探索予測モデリング