349270_ja-JP

liliconcom

Re：JMP®Pro16（2021-EU-45MP-790）での感情分析と用語選択によるテキストマイニングツールキットの拡張

このチュートリアルRossの素晴らしい仕事、なんて強力なプラットフォーム。@Ross_Metusalem

JMP®Pro16（2021-EU-45MP-790）での感情分析と用語選択によるテキストマイニングツールキットの拡張

レベル：中級

 

SAS、JMPシステムエンジニア、Ross Metusalem

 

テキストマイニング技術により、非構造化テキストデータから定量的な情報を抽出できます。 JMP Pro 16は、テキストエクスプローラーの機能に感情分析と用語選択の2つの追加機能があるため、テキストから抽出できる情報を拡張しました。 感情分析は、テキストの単語を感情を運ぶ用語と関連するスコアのカスタマイズ可能な辞書にマッピングすることにより、テキストで表現されたポジティブまたはネガティブな感情の程度を定量化します（例：「素晴らしい」：+ 90;「ひどい」：-90）。 結果として得られる感情スコアは、人々の主観的な感情を大規模に評価し、客観的な概念に関連して主観的な感情を調査し、さらなる分析を充実させるために使用できます。 用語の選択は、テキストエクスプローラー内から呼び出されるJMPProのGeneralizedRegressionプラットフォームから正規化された回帰機能を適用することにより、応答変数を最も強く予測する用語を自動的に検出します。 用語の選択は、重要な結果の尺度と、関連する非構造化テキストでの特定の用語の出現との関係を簡単に特定するのに役立ちます。

このプレゼンテーションでは、感情分析と用語選択の両方の手法の概要を説明し、実際のデータへの適用を示し、それぞれを効果的に使用するためのいくつかのベストプラクティスを共有します。

 

 

自動生成されたトランスクリプト...

 

スピーカー	トランスクリプト
ロスメトゥサレム	みなさん、こんにちは。JMPがJMP Pro16でテキストマイニングツールキットをどのように拡張しているかを学ぶために時間を割いていただきありがとうございます。
	感情分析と用語の選択。
	米国南東部のJMPシステムエンジニアであるRossMetusalemです。これら2つの新しい分析のプレビューを紹介し、それらがどのように機能するかについて少し説明し、それらを使用するためのいくつかのベストプラクティスを提供します。
	したがって、これらの分析手法は両方ともテキストエクスプローラーに組み込まれています。これは、慣れていない人にとってはJMPのものです。
	私たちがフリーテキストまたは非構造化テキストと呼ぶものを分析するためのツール。これが自然言語テキストです。
	そしてそれは私たちがテキストマイニングツールと呼んでいるものです、それでそれは私たちができるようにフリーテキストから定量的な情報を引き出すためのツールです
	他のタイプの統計ツールまたは分析ツールを使用して、フリーテキストから洞察を導き出します。あるいは、そのテキストを他の分析への入力として使用することもできます。
	それでは、JMP Pro16のTextExplorerに導入されるこれら2つの新しいテキストマイニング手法を見てみましょう。まず、感情分析から始めます。
	その核となる感情分析は、感情的にポジティブかネガティブかという質問に答えます。
	そして、米国連邦準備銀行からの定期的なレポートであるベージュブックの感情分析を実行します。
	JMP Discovery Europeで米国の例を使用したことをお詫びしますが、ベージュブックは、感情分析が何であるかを示す優れたデモンストレーションを提供します。
	つまり、これは月刊誌であり、全国レベルのレポートと、それらの地区の経済状況を要約した12の地区レベルのレポートが含まれています。これらはすべて、インタビューや調査などの定性的な情報に基づいています。
	また、米国の政策立案者は、ベージュブックの定性的情報を、従来の経済指標の定量的情報とともに使用して、経済政策を推進することができます。
	ですから、あなたは、まあ、私たちは今、感情や感情について話していると思うかもしれません。 経済レポートに多くの感情が含まれることを期待していることはわかりませんが、ベージュブックのレポートと多くの言語には、実際には感情を伝えたり伝えたりできる単語が含まれています。
	それでは、1つのレポートからの抜粋を見てみましょう。 これは、新しい感情分析プラットフォームのスクリーンショットです。
	いくつかの単語が強調表示されていることに気付くでしょう。これらは、感情用語と呼ばれるものです。
	私たちが主張する用語には、感情的な内容が含まれています。 たとえば、トップでは、「一方、コンピュータの売上は大幅に落ち込んでいます」。
	「ひどく落ち込んでいる」は紫色で強調表示されており、否定的な感情を伝えると考えていることを示しています。これは、誰かがコンピュータの販売を「ひどく落ち込んでいる」と表現した場合、それを確かに悪いことと解釈することを意味しているように思われます。 。
	下を見ると、オレンジ色で、「改善」や「好ましい」など、いくつかの肯定的な感情の用語が強調表示されています。 だから私たちはポジティブまたはネガティブな感情を持っていると私たちが信じる言葉を探すことができます
	紫はネガティブ、オレンジはポジティブ、そしていくつかの感情分析は物事をそのレベルに保つので、バイナリの区別、ポジティブテキストまたはネガティブテキストだけです。
	感情分析を実行する追加の方法があり、特に、
	多くの方法で、何かがポジティブかネガティブかだけでなく、ポジティブまたはネガティブの程度を定量化しようとします。 したがって、この別の例を検討してください。ここの一番下に注意を向けます。ここでは、「売り上げの低さ」のレポートを見ることができます。
	そして、それを「コンピューターの売上が大幅に落ち込んでいる」と言ったところと比較します。
	ですから、どちらも否定的な発言ですが、「ひどく落ち込んでいる」というのは、単に「貧しい」というよりもはるかに否定的に聞こえるということには、私たち全員が同意すると思います。
	ですから、感情がポジティブまたはネガティブに表現されているだけでなく、それがどれほどポジティブまたはネガティブであるかを理解したいと思います。
	テキストエクスプローラーはそうします。 それで、それはどのようにそれをしますか？ まあ、それはいくつかの感情用語と関連するスコアに基づく語彙感情分析と呼ばれる技術を使用しています。
	したがって、現在表示されているのは、用語とそのスコアを含む感情辞書と呼ばれるものからの抜粋です。
	たとえば、「ファンタスティック」という用語のスコアは正の90で、下部の「厳しい」という用語のスコアは-75です。
	したがって、私たちが行うことは、感情的な内容を含むと私たちが信じる用語と、それらが任意のスケール（ここでは-100から100）でポジティブまたはネガティブである程度を指定することです。
	そして、すべてのドキュメントでこれらの用語を見つけ、それらを使用して、これらのドキュメントが全体的にどの程度ポジティブかネガティブかをスコアリングできます。
	私たちの例「ひどく落ち込んでいる」を振り返ると、その言葉は「ひどく落ち込んでいる」という言葉を取り、私たちが呼ぶものはそれを強めます。
	それは表現された感情の強意語または乗数であるため、強意語の辞書と、感情用語で表現された感情に対してそれらが何をするかについても辞書があります。
	たとえば、「信じられないほど」は感情を1.4倍に乗算しますが、「少し」は感情を.3倍に乗算します。したがって、実際には、表現された感情を少し減衰させます。
	さて、最後に、考慮したいもう1つのタイプの単語があります。それは、「いいえ」や「ない」などの否定語であり、基本的にこれらを極性反転として扱います。 そう
	「ファンタスティックではない」とは、「ファンタスティック」のスコアを取得し、それに-1を掛けることです。
	したがって、これは感情分析を行う一般的な方法であり、これも語彙感情分析と呼ばれます。 だから私たちがしていることは、私たちが見つけた感情用語を取り、それらに関連する強意語を掛けることです
	またはネゲーター、そして各ドキュメントについて、表示される個々の用語のすべての感情スコアが得られたら、それらすべてを平均して、そのドキュメントの感情スコアを取得します。
	そして、JMPはこれらのスコアをいくつかの便利な方法で私たちに返します。 これは感情分析ツールのスクリーンショットです。これをすぐに使用します。
	しかし、とりわけ、それは私たちのすべてのドキュメントにわたる感情スコアの分布を私たちに与えることがわかります。 それは私たちにすべての感情用語とそれらが発生する頻度のリストを提供します。
	また、後で説明するように、感情スコアをエクスポートしてグラフや分析で使用することもできます。
	だから私は実際にここでいくつかのグラフを作成して、最初の最初のパスとして見ようとしましたが、ベージュブックレポートの感情は実際に私たちが思うように経済イベントと一致していますか？ あなたが知っている、私たちは本当にこれにある程度の妥当性を持っていますか
	ある種の経済指標としての感情？ そして答えは、ええ、おそらくのように見えます。
	ここに、グラフビルダーで作成したプロットがあります。時間の経過に伴う感情なので、小さな灰色の点はすべて個別のレポートです
	青い滑らかな種類は、時間の経過に伴う感情の傾向を示し、ゼロの黒い線は、少なくともスコアリングスキームによれば、中立的な感情を示しています。
	赤い部分は
	連邦準備制度によって公式にリストされた景気後退の時代。
	したがって、感情が底を打ったように見えるか、不況の周りに谷があることに気付くかもしれませんが、別のことに気付くかもしれません
	つまり、実際には各不況の前に、数か月前、または場合によっては数年前のように見える感情の低下が見られます。 そして、私たちは感情のこれらの大きな低下を見ていません
	続く不況がなかった状況で。 したがって、景気後退の先行指標としてのベージュブックの感情にはある程度の妥当性があるのかもしれません。
	地理的に見ると、意味のあることもわかります。 これは分析のほんの一例です。 私たちは12年の感情を見ています
	1999年から2000年、2001年までの期間にわたる連邦準備銀行の地区。 これは一般にドットコムバストと呼ばれるものの時代だったので、これは
	テクノロジー企業やオンラインビジネスの大きなバブルが発生し、最終的にはそれらの多くが崩壊し、かなり深刻な経済的影響がありました。
	'99年から2000年の感情は成長しており、実際、感情はかなり強く成長しています。
	これらの企業の多くが本社を置くサンフランシスコ連邦準備銀行地区にあります。 そして、バスト後の2001年に、ここで赤でネガティブな感情に至るまでの最大の低下が見られ、再びそのサンフランシスコ地区で発生しました。
	したがって、これらのベージュブックの感情スコアを簡単にグラフで確認するだけで、いくつかの経済イベントを追跡、おそらく予測する能力に関して、実際の妥当性があることがわかります。もちろん、後者については、さらに調査する必要があります。慎重に。
	しかし、これは感情分析の潜在的なユースケースの一例に過ぎず、他にもたくさんあります。
	現在使用されている最大のアプリケーション分野の1つは、消費者調査です。ここでは、たとえば、分析することができます。
	肯定的または否定的な意見や反応を引き起こすものを特定するための消費者調査の回答。
	ただし、感情分析は、たとえば、製品のレビューや保証請求を分析することで、顧客に強い感情的な反応を引き出す製品の機能や問題を見つけるのに役立つ製品の改善にも使用できます。
	たとえば、カスタマーサポートを見ると、コールセンターやチャットを分析できます。
	幸せまたは不幸な顧客をもたらすいくつかのサポート慣行を見つけます。 おそらく公共政策でさえ、提案されたまたは既存の政策に対する国民の反応を評価するために公開解説を分析します。
	これらは、感情分析を適用できるいくつかのドメインです。 それはあなたが何らかの感情を伝えるテキストを持っていて、その感情が有益かもしれないところならどこでも本当に適用できます。
	だから、私が前もって言いたいのはそれだけです。 それでは、JMPでの動作について少し説明したいと思いますので、JMPに移りましょう。
	ここにベージュブックのデータがあるので、下部に5,000を少し超えるレポートがあり、各レポートの日付が
	1972年5月2020年10月、12の地区のどれから来たのか、そしてレポートのテキスト。 そして、あなたはこれらのレポートを見ることができます、
	彼らはあなたが知っている単なる簡単な声明ではありません、経済はうまくいっていたり、うまくいっていません、彼らはある程度の詳細に入ることができます。
	さて、これらのデータに飛び込む前に、ベージュブックを分析するアイデアと、実際にデータをプルダウンしてJMPに取り込むことについて、誰かに感謝します。
	分析する準備ができたフォーマット。 そして、Xan Greggに感謝します。XanGreggは、ご存じない場合は、JMP開発チームのディレクターでありGraph Builderの作成者です。ご協力いただき、ありがとうございます。
	では、これらすべてのレポートでポジティブな感情とネガティブな感情の程度を数値化してみましょう。 分析メニューの下でテキストエクスプローラーを使用します。
	ここに起動ウィンドウがあります。 テキストデータを取得して、テキスト列の役割に配置します。 始める前に強調すべきことがいくつかあります。
	テキストエクスプローラーは複数の言語をサポートしていますが、現在、感情分析は英語でのみ利用可能であり、私が注目したいもう1つのことはここでステミングです。
	したがって、テキスト分析を行う人にとっては、ステミングとは何かを知っていると思いますが、慣れていない人にとっては、ステミングは、複数の要素を折りたたむプロセスです...
	まあ、それを非技術的に保つために...同じ単語の複数のバージョンを一緒に。 「強い」、「強い」、「最強」を取ります。 だからこれらは3つです
	同じ単語のバージョンが「強い」であり、一部のテキストマイニング手法では、実際にそれらすべてを1つの用語にまとめて、「強い」という意味であると言いたい場合があります。これは、概念的に同じことだからです。
	私は実際にここで茎を残すつもりです、そしてそれは...何かが得ることができるのと同じくらい強いことを説明する「最強」を取るからです
	「より強い」とは対照的に、それはあなたがそれが強いことを知っていると言います、しかしあなたが知っているように、それがさらに強くなる余地はまだあります。
	したがって、「最強」は「より強い」よりも高い感情スコアを取得するはずであり、もし私が幹部になると、それらの単語の区別が失われます。 私はその区別を失いたくないので、彼らに異なる感情スコアを与えたいと思います。 私はここで茎を切り続けるつもりです。
	[OK]をクリックします。
	そして、JMPはテキストをトークン化します。つまり、テキストをすべての個々の単語に分割し、それぞれが発生する頻度をカウントします。
	そして、ここにすべての用語とそれらがどれくらいの頻度であるかのリストがあります。 したがって、「販売」は46,000回以上発生し、フレーズリストもここにあります。 だからフレーズは
	頻繁に発生する2つ以上の単語のシーケンスであり、実際にそれらを用語としてカウントしたい場合があります。
	分析。そして、感情分析のために、あなたはあなたのフレーズリストを調べて、例えば、2つの単語である「不動産」を追加したいと思うでしょう、しかしそれは本当にあなたが知っている、財産を指します。
	そして、私はそれを追加することができます。 通常、テキスト分析では、ストップワードと呼ばれるものも追加します。
	それは、私たちの分析の文脈では実際には意味を持たない単語であり、除外したいと思います。 「地区」を取る。 これは起こります...またはベージュブックは使用します
	「地区」という言葉は、「リッチモンド地区からのこのレポート」と言っているだけで、あまり意味がありません。
	しかし、私は実際にはここでストップワードを気にするつもりはありません。それは、覚えていれば、
	スライドから戻って、私たちの感情スコアはすべて辞書に基づいていると言いました。辞書では、感情の単語とそれらが取得する必要のあるスコアを選択します。
	また、「地区」を省略した場合、本質的にスコアは0になり、感情スコアには影響しないため、ストップワードとして宣言する必要はありません。
	準備ができたら、テキストを呼び出すか、すみませんが、ここの赤い三角形の下にある感情分析を呼び出します。
	つまり、JMPが現在行っていることは、感情用語などを宣言していないため、組み込みの感情辞書を使用してすべてのドキュメントにスコアを付けることです。 ここでスコアを取得します。
	これらの結果をナビゲートする前に、感情辞書をカスタマイズして、感情に単語とそのスコアが含まれるようにする必要があります。 そしてそれは、異なるドメインでは、
	おそらく、テキストを生成する人が異なれば、特定の単語は、ある場合には異なるレベルの感情を帯びるか、別の場合には感情を帯びないでしょう。 だから私たちはしたい
	現在分析している言語によって伝えられる感情を正確に捉えた感情辞書を、非常に注意深く徹底的に作成します。
	したがって、JMPは、私が言ったように、組み込みの辞書を使用し、それはかなりまばらです。 だからここでそれを見ることができます、それはいくつかの絵文字を持っています、
	これらの小さなスマイリーなどが好きですが、-90の「abysmal」のように、かなり明確な感情を表す言葉があります。
	さて、誰かが「アビスマル」という言葉を使って否定的な意味ではないということはおそらくないので、私たちはそれについてかなり気分がいいです。 しかし、ご存知のとおり、これはそれほど長いリストではないため、いくつかの用語を追加することをお勧めします。
	それでは、その方法を見てみましょう。私がお勧めできることの1つは、データを確認することです。 あなたが知っている、あなたが持っているいくつかの文書を読んで、あなたが感情を示しているかもしれないと思ういくつかの単語を見つけようとします。
	私たちは実際にここに私たちの文書を熟読し、それらから感情用語を直接追加することを可能にするツールを持っています。 ここに、ドキュメントリストがあります。 ドキュメント1が強調表示され、ドキュメント1が下に表示されていることがわかります。 別のドキュメントを選択して表示できます。
	さて、ドキュメント1をすぐに見ると、「悲観主義」や「楽観主義」など、いくつかの潜在的な感情用語に気付くかもしれません。
	これで、これらが強調表示されていないことがわかります。 これらは実際には標準の感情辞書には含まれていません。
	そして、あなたが見つける多くの名詞は実際にはそうではありません、そしてそれは「悲観主義」や「楽観主義」のような名詞は基本的にそれらの存在または不在を示唆する方法で説明できるからです。 ですから、「悲観論は衰退している」とか、
	「悲観論の明らかな欠如があります」、「悲観論はもはや報告されていません。」
	そして、そのような場合、「悲観論」が否定的なものであるとは言えません。 それは...だから、感情辞書に追加する前に、文脈の中で単語と実際にどのように使用されているかを注意深く考えたいと思うでしょう。
	たとえば、ここで用語リストに戻ることができます。 フィルタを表示しますが、
	「悲観論」を探し、それがどのように使用されているかを確認するためにテキストを表示します。 したがって、この最初の例では、「取締役の気分は悲観主義から楽観主義までさまざまです」と見ることができます。
	そして次のもの
	「私的な会話は悲観的な深いムードです。」 実際に読んでみると、これが典型的な使用法なので、実際にはベージュブックでは、私が恐れるような方法で悲観論という言葉を使用していないようです。
	「楽観主義は高まっている。」
	ですから、ここに「悲観論」を追加しても大丈夫だと感じているので、感情辞書に追加しましょう。
	ですから、その上にカーソルを合わせると、
	あなたは私たちがそれをどうするかについていくつかのオプションを提示するのを見ることができます。 したがって、ここでは、たとえば、-60のスコアを付けることができます。
	これで、対応するスコアとともに辞書に追加され、JMPで更新された感情スコアがトリガーされます。 つまり、「悲観論」という単語を探し、それが見つかったすべてのドキュメントスコアを調整します。
	それでは、ここに戻って、私たちの感情用語をより詳細に見てみましょう。 下にスクロールすると、「悲観論」が見つかります
	ちょうどここに私がちょうどそれを与えた-60のスコアで。 さて、実際に知りたいと思うかもしれません...気づいたら、「悲観的」はデフォルトで-50のスコアを持っているので、一貫性を保つためにここに-50と入力するだけかもしれません。
	そして、私はできましたが、別の更新をトリガーしないようにするために、そうするつもりはありません。
	また、ここで、考えられる感情用語のリストに気付くでしょう。 したがって、これらはJMPがおそらく感情を帯びていると特定した用語であり、それらを調べて辞書に含めることを検討することをお勧めします。
	たとえば、ここでの「強い」という言葉は、右側のドキュメントテキストの一部を見ると、「わかりました」と言うかもしれません。これは明らかに前向きなことです。 そして、あなたがこれらの例をたくさん見たなら、それは本当に際立っています
	「強い」という言葉とそれに対応する「弱い」という言葉は、これらのエコノミストが現在の経済について良いことも悪いことも話すためによく使う言葉です。
	だから私はそれらを追加するか、そこにあるボタンの正の60をクリックして、ここに「強い」を追加することができます。 繰り返しになりますが、感情分析の検討を促進するために、今はしません。
	したがって、以下のテキストと同じように、ここで感情用語リストを調べて、いくつかの適切な候補を選択することができます。
	赤い三角形の下で、感情用語をより直接的に管理することもできるので、それは完全です
	フレーズ管理やストップワード管理など、テキストエクスプローラーユーザーに慣れている用語管理リスト。
	すべての組み込み用語に加えて、この特定の分析にローカルな1つの新しい用語が追加されたことがわかります。 もちろん、実際に例外を含めたくない場合は、例外を宣言することもできます。
	そして重要なのは、感情辞書をインポートおよびエクスポートすることもできるということです。 感情条件を宣言する別の方法は、対象分野の専門家に相談することです。 ええと、
	エコノミストはおそらく、明確に伝えると予想される単語の種類について多くのことを言う必要があります
	これらのレポートのポジティブまたはネガティブな感情。 そして、彼らと話ができれば、彼らがそれについて何を言わなければならないかを知りたいと思うでしょう。たとえば、タブ区切りのファイルで辞書を導き出し、ここにインポートすることもできるかもしれません。
	そしてもちろん、満足のいく辞書を作成したら、それをエクスポートして保存し、後で簡単に再適用できるようにする必要があります。
	だから、それはあなたが実際にあなたの感情辞書をどのようにキュレートするかについて少しです。 それはまた重要だろう
	強意語と否定語をキュレートします。ここでもスコアは表示されません。これらは極性の反転にすぎないためです。
	それが実際にどのように見えるかについてもう少しお見せするために、ここで感情を見てみましょう。
	JMPは、これらの感情用語のいくつかの前に「not」という単語を見つけ、実際に適切なスコアを適用しました。 そのため、上部の「受け入れられない」のスコアは-25になります。
	ですから、これらのネゲーターとインテンシファイアは、JMPによって自動的に適用されるという事実に注意を向けることをお見せします。
	しかしとにかく、分析を設定する方法について話すことから、実際に結果を見ることに移りましょう。 だから私は育てるつもりです
	すでに行われた分析のバージョン、つまり、私はすでに感情辞書をキュレートしており、実際に得られた結果の解釈を開始できます。
	つまり、ここに高レベルの要約があるので、ネガティブなドキュメントよりもポジティブなドキュメントがあります。 前に説明したように、それぞれがいくつあるかがわかります。 実際、左側の表の下部に、感情がまったく表現されていないドキュメントが1つあることがわかります。
	「強い」は14,000回発生し、「弱い」は約4,500回発生します
	そして、これらをカウントまたはスコアのいずれかで見て、最もネガティブでポジティブなものを見て、
	それらをコンテキストで見ることでさえ、それ自体でかなり有益な場合があります。 つまり、特に消費者調査のような分野では、人々がいつ前向きに感じているのか、または積極性を表現しているのかを知りたい場合です。
	私たちのブランドや私たちが持っているいくつかの製品について、彼らが使用している言語の種類、おそらくそれはマーケティング活動に情報を与えるでしょう。 この感情用語のリストは、その点で非常に有益な場合があります。
	製造、
	観光、投資。 また、特にこれらのサブドメインの1つ、つまり機能と呼ばれるものに焦点を当てたい場合もあります。
	感情分析でこの機能タブに移動すると、[検索]をクリックします。 JMPは、感情用語で一般的に使用される単語をいくつか見つけて、その機能に関する感情に飛び込みたいかどうかを尋ねます。
	たとえば、「販売」を考えてみましょう。 「売上高が低迷した」「売上高が低迷した」「売れ行きが好調だった」などが見られます。
	したがって、この選択した機能をスコアリングするだけで、JMPが行うことは、これらのより大きなレポート内の「販売」の言及に関してのみ感情スコアを提供することです。これは、分析を洗練するか、非常にうまく焦点を合わせるのに役立ちます。定義されたサブドメイン。
	そして、それは特に重要です。
	私たちが分析している言語のドメインは、それほど制限されていない場合があります。 たとえば、
	製品レビュー。 あなたはポジティブまたはネガティブな人々が製品についてどのように感じているかに興味がありますが、彼らはまた、例えば出荷について話すかもしれません、そしてあなたは彼らが出荷にあまり満足していなくても必ずしも気にしません、主にそれがあなたのコントロールを超えているからです。
	その配送についてもコメントする一連のレビューを含めるだけでは不十分です。 したがって、分析のドメインを検討し、それを適切に制限することが重要です。ここでの機能ファインダーは、そのための1つの方法です。
	これで、「販売」でスコアを付けたことがわかります。ポジティブドキュメントとネガティブドキュメントの分布が大きく異なります。 感情スコアがないために感情スコアがないドキュメントが他にもあります
	単に売り上げについて話したり、感情的な言葉を使って話し合ったりしないでください。特に売り上げを捉えている感情用語のリストが異なります。
	これを削除させてください。
	私が言及するのを忘れたことの1つは、簡単に述べましたが、私たちが見ているこれらの全体的なドキュメントスコアがどのように計算されるかであり、それらはすべての感情用語の平均であると言いました...
	特定のドキュメントで発生しました。 それでは、ドキュメント1を見てみましょう。 それをお見せしたいと思います
	このスコアがどこから来ているのか疑問に思っている場合、たとえば-20の場合は、マウスを真上に動かすだけで、表示されたすべての感情用語のリストが表示されます。
	ご覧のとおり、ここには16個あり、下部にある「実際の明るいスポット」は+78でした。次に、除算すると、これらすべてのスコアが加算されます。 78で割る...
	または16で割ると、すみません、平均で-20の感情が得られます。 そして、これは全体的なスコアを提供する2つの方法のうちの1つです。 もう1つは最小最大スコアであるため、最小と最大の違い
	テキストで表現された感情。
	これで、このレポートだけを見ると多くの情報を得ることができます。明らかに、最も一般的な用語である感情スコアです。
	しかし、多くの場合、私たちは感情を取り、他の方法でそれらを使用したいです。
	スライドで行ったように、それらをグラフィカルに見てください。 したがって、分析のその部分の時間になると、ここの赤い三角形に向かってください。
	ドキュメントのスコアを保存します。 そして、これらはそれらのスコアをデータテーブルに保存して戻すので、あなたがやりたいことは何でも、それらをさらなる分析に入力したり、グラフ化したりすることができます。
	これが、JMP Pro16のTextExplorerに登場する感情分析のプレビューです。 持ち帰りのアイデアは、感情分析は感情辞書を使用するというものです。
	各ドキュメントのポジティブおよびネガティブな感情的な内容に対応するスコアを提供するように設定し、そこから、有益な方法でその情報を使用できます。
	そのため、感情分析はそのままにしておきます。スライドに戻って、TextExplorerに導入される他の手法について説明します。
	そして、それは用語の選択であり、用語の選択は別の質問に答えます。つまり、どの用語が重要な変数または私が関心のある変数と最も強く関連しているのでしょうか。
	ベージュブックにこだわるつもりです。
	どの単語が景気後退に統計的に関連しているかを尋ねます。 したがって、ここのグラフでは、時間の経過とともに変化率がわかります。
	四半期ごとのGDP（国内総生産）。青は経済成長を示し、赤は経済収縮を示します。 そして、私たちは、まあ、何を疑問に思うかもしれません
	ベージュブックに記載されている用語は、これらの景気後退期と統計的に関連している可能性がありますか？ たとえば、それらのいくつかはここにあります。
	なぜベージュブックの特定の用語を景気後退の時期と関連付けたいのでしょうか。
	まあ、それ自体が用語のリストを取得することは潜在的に有益である可能性があります。 あなたが知っている、私はいくつかの潜在的に、あなたが知っている、微妙なものを見つけるかもしれません
	私が気づいていないか、定量的データに簡単に取り込むことができない不況の要因または影響。
	私はまた、さらなる分析のためにいくつかの単語を見つけるかもしれません。 私は...私はいくつかを見つけるかもしれません
	潜在的な感情用語。経済が特に低迷しているときに使用されているいくつかの用語で、感情分析を行っていたときに初めて見逃したものです。
	あるいは、不況に強く関連している単語を見つけて、予測モデルでそれらを使用して、将来不況がいつ発生するかを把握できるようになるかもしれません。
	したがって、どの単語が不況に最も強く関連しているかを知りたいと思う理由はいくつかあります。
	では、これはJMPでどのように機能しますか？ さて、私たちは基本的に回帰モデルを構築します。ここで、結果変数は私たちが関心のある変数、景気後退であり、入力はすべて異なる単語です。
	モデルに入力されたデータは、ドキュメント用語マトリックスの形式を取ります。各行はに対応します。
	1つのドキュメントまたは1つのベージュブックレポート。列には、そのレポートで発生する単語がキャプチャされます。 ここでは、「弱い」列が強調表示されており、「バイナリ」と表示されています。これは、
	1と0が含まれます。 1は、そのレポートに「弱い」という単語が含まれていることを示し、0は、そのレポートに「弱い」という単語が含まれていないことを示します。 これは、ドキュメントにスコアを付けることができるいくつかの方法の1つですが、ここではこのバイナリを使用します。
	したがって、この情報を取得して、回帰モデルに入力します。 ローンチは次のようになります。
	Y変数として景気後退があり、それは一種のyesまたはno変数です。次に、これらのバイナリ項予測子のすべてをモデル効果として入力します。
	次に、JMPProの一般化された回帰ツールを使用します
	モデルを構築するために、これは、一般化回帰またはGenRegと呼ばれるものに、自動変数選択手法が含まれているためです。 だからあなたが精通しているなら
	正則化された回帰、私たちはラッソまたはエラスティックネットのように話している。 それが何を意味するのかわからない場合は、まったく問題ありません。 アイデアはそれが自動的に
	どの用語が結果変数「不況」に最も強く関連しているかを見つけ、次に、それに関連しているとは思わない用語を見つけます。それらはゼロになります。
	そして、これにより、「不況」と、それらに関連する可能性のある数百、数千の単語との関係を調べることができます。
	では、分析を実行すると何が得られるのでしょうか。
	モデルを出します。 つまり、ここにあるのは、そのモデルの方程式です。 あまり気にしないでください。アイデアは私たちが言うことです
	不況の対数オッズなので、それは私たちが不況に陥っている確率の関数であり、ベージュブックが発行されたときは次の関数です。
	ベージュブックレポートで発生する可能性のあるすべての異なる単語。
	そして、係数1.94の「パンデミック」という単語の出現の影響がわかります。
	これは、ベージュブックのレポートに「パンデミック」という単語が記載されている場合、「景気後退」の対数オッズが1.94上昇することを意味します。 次に、マイナス1.02倍の「ゲイン」が表示されます。 つまり、ベージュブックのレポートに「ゲイン」という言葉が記載されている場合、景気後退の可能性が...
	または、景気後退の対数オッズは1.02低下します。
	つまり、「パンデミック」、「延期」、「キャンセル」、「差し押さえ」など、景気後退の可能性の増加に強く関連する用語のリストから抜け出します。
	また、「利益」、「強化」、「競争」など、景気後退の可能性の低下に関連する用語のリストも取得します。
	そこには「製造」もありますが、係数は比較的小さく、約-2です。
	実際にここで気付くでしょう。この分析で選択されたすべての用語のグラフィック表現を見ると、「製造」のような特定のドメインはあまり多くありません。
	「観光」、「投資」など。 それは、不況の有無にかかわらず、これらのことは常に話題になっているためです。私たちが本当に探しているのは、使用されている言葉です。
	ご存知のように、私たちが不況に陥っているときは、偶然に予想されるよりも頻繁に発生します。 だから私たちは...例えば、それらは
	「パンデミック」が最も予測的です。 非常に理にかなっています。 私たちはごく最近までパンデミックについてまったく話していませんでしたが、最近不況も経験したので、それをかなりはっきりと理解しました。
	次に、この種の第2層には他にもいくつかあります。つまり、「延期」、「キャンセル」、「差し押さえ」、「悪化」、「悲観的」です。
	そして、それは一種の興味深いものです。この「延期」と「キャンセル」は不況に関連しています。 それは理にかなっています、あなたは本当に経済活動の延期について話したいです
	不況が起こっているとき、または少なくともそれはおそらく信頼できる傾向です。 それは...それ自体が洞察です。 実際、私は
	つまり、連邦準備制度が経済活動の延期またはキャンセルをどのように追跡しているかはわかりませんが、これらの用語がこの分析でフラグ付けされているという事実は、おそらく追跡する価値があることを示唆しています。
	了解しました。これが用語の選択です。 私たちは実際に不況に関連するこの素晴らしい用語のリストを取得し、関連の相対的な強さを見ることができます。 ここで、JMPでどのように行われるかを実際に簡単に見てみましょう。
	それで、JMPに戻り、少し異なるデータテーブルをプルアップします。 それはまだベージュブックのデータですが、今では全国レポートだけがあります。
	そして、米国が当時不況にあったかどうかにかかわらず、この付随する変数があります。 そしてもちろん、これらのデータにはいくつかの自己相関があります。 つまり、先月不況に陥った場合、そうでない場合よりも今月は不況に陥る可能性が高くなります。
	また、通常、回帰ベースの分析では問題になる可能性があることをご存知ですが、これは純粋に探索的なものです。 私たちはあまり気にかけていません。
	それで、テキストエクスプローラーがどのように起動されるかを見たという理由だけで、テーブルスクリプトからテキストエクスプローラーをプルアップします。
	ただし、以前と同じように、すでにいくつかのフレージングを行っていることに注意してください。 また、ここには表示されないストップワードをいくつか追加しましたが、この分析によって必ずしも返されることを望まないワードがあります。
	そして、私はステミングをオンにしました。これは、用語リストの小さな点が意味するものです。 たとえば、これは「増加」の場合、実際には「増加」、「増加」、「増加」にまたがって崩壊しています。
	なぜなら、私は今、それらすべてを同じ概念と見なしているからです。その概念が不況に関連しているかどうかを知りたいだけです。
	したがって、用語の選択を呼び出すには、赤い三角形に移動して、ここで選択します。
	最初にコントロールウィンドウがポップアップ表示されます。つまり、気になる変数を選択するセクション、つまり景気後退です。 目標レベルを選択するので、景気後退がない確率ではなく、景気後退の確率の観点からこれを実現したいと思います。
	いくつかのモデル設定を指定できます。 GenRegに精通している場合は、早期停止が必要かどうか、2つの異なるもののいずれかが必要かどうかを選択できることがわかります。
	変数選択を実行するためのペナルティ、検証を実行する統計。 そして、そのようなものがあなたにとって新しいものであるならば、それについてあまり心配しないでください。 最初はデフォルト設定が適しています。
	重みがあります。覚えているかと思いますが、その列には「弱い」という意味の1と0があり、単語がドキュメントに含まれているかどうかを示していますが、必要なものを選択できます。 そう
	たとえば、頻度はそうではなく、「弱い」が発生したかどうか、それは何回発生したかです。 そして、この種のことはあなたがあなたの結果を解釈する方法に影響を及ぼします。 今のところ、バイナリに固執するつもりです。
	ただし、デフォルトで400ではなく、最も頻繁に使用される1,000の用語を確認したいと思います。これは、436をはるかに超えており、通常、1,000のXを持つモデルには適合しません。 436だけ
	観察、しかしおかげで
	一般化された回帰における自動変数選択、これは問題ではありません。 したがって、ここでも、これらの1000の用語のどれが最も強く関連しているかを選択するため、用語の選択という名前が付けられています。
	だから私はこれを実行するつもりです。 JMPが一般化された回帰プラットフォームを呼び出してこれらの結果を返したことが何が起こったのかがわかります。ここでは、モデルが適合したときの情報を確認できます。 たとえば、37個の用語が返されました。
	それを移動させてください。 なぜなら、ここ右側には、本当に価値のある情報がいくつかあるからです。 これは、景気後退に最も強く関連する用語のリストです。
	ここで、これらを係数で並べ替えて、景気後退の可能性に最も強く関連しているものを見つけます。これもまた、「パンデミック」、「延期」、「キャンセル」であり、ご想像のとおり、この時点で次のいずれかをクリックするとこれら、それはこれらのプレビューを更新します
	または、これらのテキストスニペットを下に配置して、この単語を実際にコンテキストで確認できるようにします。
	したがって、この用語のリスト自体は非常に価値があります。 あなたは、あなたが以前に知らなかったかもしれない重要な特定の用語や概念についていくつかのことを学ぶかもしれません。 これらの用語を予測モデルで使用することもできます。
	ここで、他に注意すべき点がいくつかあります。
	ここで確認できます。ここでも、個々のドキュメントごとに表がありますが、感情スコアの代わりに、基本的にモデルからのスコアがあります。 私たちはそれぞれのために持っています
	...
	これを正の寄与と呼んでいるので、これは景気後退の確率を予測する正の係数の寄与です。 ここにネガティブエンドのものがあります。
	そして、モデルからの景気後退の確率もあります。ここでは71.8％で、実際に観察したものです。
	また、ここでは必ずしも予測モデルを構築しているわけではありません。つまり、このモデルを使用して景気後退を予測しようとはしません。 つまり、私が使用するあらゆる種類の経済指標変数があります
	これも基本的にモデルの健全性チェックに適した方法です。 いくつかの予測が正しく行われているように見えますか？
	そうでない場合は、返される条件を信頼できない可能性があるためです。 また、その判断を下すための情報は他にもたくさんあります。 つまり、ここまでの曲線の下の領域のように、いくつかの適合統計があります。
	または、モデルをさらに評価するための通常のオプションをすべて備えた、一般化された回帰プラットフォームに入ることができます。
	ここでは詳細については説明しませんが、モデルを評価したり、モデルを好きなように微調整したりして、満足できる用語のリストがあることを確認できるように、すべてを利用できます。
	これで、ここに、要約の下にこのモデルのリストが表示されます。これは、実際には複数のモデルを実行したい場合があるためです。 だから私がモデルに戻ったら...ああ、すみません...私たちが私たちに戻ったら
	ここでの設定では、実際には少し異なるモデルを実行できます。 たとえば、BICはAICcよりも少し保守的であり、返される用語を少なくしたいのですが、900の用語を返す分析を行ったので、少し圧倒されているかもしれません。
	そこで、[実行]をクリックして、代わりにそれを使用して別のモデルを作成します。
	これで、そのモデルがリストに追加されました。これらのモデルを切り替えて、それぞれの結果を確認できます。 この場合、返される用語は37ではなく14であるため、以下でそれらを評価します。
	したがって、これから得られる2つの大きな出力は、もちろん、この用語リストです。 それを保存したい場合、これらはあなたにとって重要な用語であり、それらを追跡したい場合は、右クリックしてこれをデータテーブルにします。 これでJMPテーブルができました
	用語、それらの係数およびその他の情報を使用します。
	そして
	やりたいことが実際にこれを元のデータテーブルに書き戻すことである場合は、おそらく、他の種類の分析または予測モデルで情報を使用できるようにします。
	用語の選択に進んで、用語のスコアをドキュメントの用語マトリックスとして保存したいと言います。データテーブルをここに戻すと、私が彼らに書き込んだことがわかります。
	選択されたこれらの各用語の列。 この場合、それらの係数値が入力され、これを使用できるようになりました
	しかし、私が好きな量的情報。
	それでは、用語の選択について少し説明します。 繰り返しになりますが、ここでの大きなアイデアは、関心のある変数に関連する用語のリストを見つけたことです。また、それらの係数を通じて、その関係がどれほど強いかについての情報さえ持っています。
	それでは、まとめましょう。 2つのテクニックについて説明しました。 用語の選択を見て、それらの重要な単語を見つけました。 その前に、感情分析を確認しました。
	テキスト内のポジティブまたはネガティブな感情の程度を定量化する。 これらは、JMP Pro16のテキストエクスプローラーに導入された2つの新しいテキストマイニング手法です。 私たちはあなたがそれらを手に入れてあなたのフィードバックを楽しみにしていることを本当に楽しみにしています。

サミットのベスト起こるデータ探索予測モデリング