349270_ja-JP

liliconcom

JMP® Pro 16 (2021-EU-45MP-790) のセンチメント分析と用語選択によるテキスト マイニング ツールキットの拡張

レベル: 中級

 

Ross Metusalem、SAS、JMP システムエンジニア

 

テキスト マイニング技術により、非構造化テキスト データから定量的な情報を抽出できます。 JMP Pro 16 では、テキスト エクスプローラーの機能にセンチメント分析と用語選択という 2 つの機能が追加されたことにより、テキストから抽出できる情報が拡張されました。 センチメント分析は、テキストの単語を感情を伝える用語と関連スコアのカスタマイズ可能な辞書にマッピングすることにより、テキスト内で表現されるポジティブまたはネガティブな感情の程度を定量化します (例: 「素晴らしい」: +90、「ひどい」: -90)。 結果として得られる感情スコアは、人々の主観的な感情を大規模に評価し、客観的な概念に関連して主観的な感情を調査し、さらなる分析を充実させるために使用できます。 用語選択は、テキスト エクスプローラー内から呼び出される、JMP Pro の一般化回帰プラットフォームからの正則化回帰機能を適用することにより、応答変数を最も強く予測する用語を自動的に検索します。 用語の選択は、重要な結果の測定値と、関連する非構造化テキスト内の特定の用語の出現との間の関係を簡単に識別するのに役立ちます。

このプレゼンテーションでは、感情分析と用語選択の両方の手法の概要を説明し、実世界のデータへの適用を示し、それぞれを効果的に使用するためのいくつかのベスト プラクティスを共有します。

 

 

自動生成されたトランスクリプト...

 

スピーカー	成績証明書
ロス・メトゥサレム	皆さん、こんにちは。JMP が JMP Pro 16 でテキスト マイニング ツールキットをどのように拡張しているかを学ぶために時間を割いていただきありがとうございます。
	感情分析と用語の選択。
	私は米国南東部の JMP システム エンジニアである Ross Metusalem です。これら 2 つの新しい分析のプレビューを紹介し、それらがどのように機能するかを少し説明し、それらを使用するためのベスト プラクティスをいくつか紹介します。
	したがって、これらの分析手法は両方とも Text Explorer に組み込まれています。詳しくない人のために説明すると、これは JMP の手法です。
	フリーテキストまたは非構造化テキストと呼ばれるもの、つまり自然言語テキストを分析するためのツールです。
	これはテキストマイニングツールと呼ばれるもので、フリーテキストから定量的な情報を導き出すためのツールです。
	他の種類の統計ツールや分析ツールを使用してフリー テキストから洞察を導き出したり、そのテキストを他の分析への入力として使用したりすることもできます。
	それでは、JMP Pro 16 の Text Explorer に導入される 2 つの新しいテキスト マイニング テクニックを見てみましょう。感情分析から始めます。
	感情分析の核心は、テキストがどの程度感情的に肯定的か否定的かという質問に答えます。
	そして、米国連邦準備銀行の定期報告書であるベージュブックについてセンチメント分析を実行します。
	JMP Discovery Europe で米国の例を使って申し訳ありませんが、ベージュ ブックはセンチメント分析がどのようなものかをうまく示しています。
	これは月刊誌であり、全国レベルの報告書と 12 の地区レベルの報告書が含まれており、それらの地区の経済状況を要約しており、これらはすべてインタビューや調査などの定性的な情報に基づいています。
	そして、米国の政策立案者は、経済政策を推進するために、ご存知のとおり、伝統的な経済指標の定量的情報とともに、ベージュブックの定性的情報を利用することができます。
	それで、あなたは、今私たちは感情や感情について話しているのではないかと思うかもしれません。 経済レポートに多くの感情が含まれることを期待しているかどうかはわかりませんが、ベージュブックのレポートや多くの言語には、実際に感情を伝えたり伝えたりする可能性のある言葉が含まれています。
	それでは、あるレポートからの抜粋を見てみましょう。 これは、新しいセンチメント分析プラットフォームから直接取得したスクリーンショットです。
	いくつかの単語が強調表示されていることに気づくでしょう。これらは感情用語と呼ばれるものです。
	私たちが主張する用語には感情的な内容が含まれています。 たとえば、一番上には、「一方で、コンピュータの売上は大幅に落ち込んでいる」とあります。
	ここで、「ひどく落ち込んでいる」が紫色で強調表示されており、それが否定的な感情を伝えるものであると当社が考えていることを示しています。これは、誰かがコンピューターの販売を「ひどく落ち込んでいる」と表現すると、それは確かに悪いことであると私たちに解釈させようとしているように聞こえます。 。
	下を見ると、「改善」や「好意的」など、いくつかのポジティブなセンチメント用語がオレンジ色で強調表示されています。 したがって、ポジティブまたはネガティブな感情を持っていると思われる単語を探すことができます。
	ネガティブは紫、ポジティブはオレンジ、感情分析によって物事がそのレベルに保たれるため、ポジティブなテキストかネガティブなテキストかの二値的な区別にすぎません。
	感情分析を実行するには他にも方法があります。特に、
	多くの方法で、何かがポジティブかネガティブかだけでなく、ポジティブかネガティブの程度を定量化しようとしています。 そこで、この別の例を考えてみましょう。ここで一番下に注目します。そこでは、「売上不振」のレポートが見られます。
	これを、「コンピュータの売上が大幅に落ち込んでいる」と述べた状況と比較してみます。
	したがって、これらはどちらも否定的な表現ですが、「重度のうつ病」という言葉は、単に「貧しい」という言葉よりもはるかに否定的に聞こえることに誰もが同意すると思います。
	したがって、感情が肯定的か否定的に表現されるかだけでなく、それがどの程度肯定的か否定的であるかを把握したいと考えています。それが感情分析です。
	テキストエクスプローラーはそうします。 では、それはどのようにして行われるのでしょうか? これは、いくつかのセンチメント用語とそれに関連するスコアに基づく語彙センチメント分析と呼ばれる手法を使用します。
	つまり、現在私たちが見ているのは、用語とそのスコアを含む感情辞書と呼ばれるものからの抜粋です。
	たとえば、「素晴らしい」という用語のスコアはプラス 90 で、一番下の「厳しい」という用語のスコアは -75 です。
	したがって、私たちが行うのは、どの用語が感情的な内容を含んでいると思われるか、そしてそれらが任意のスケール (ここでは -100 から 100) でどの程度肯定的または否定的であるかを指定することです。
	そして、すべての文書内でこれらの用語を見つけて、それらの用語を使用して、それらの文書が全体的にどの程度肯定的か否定的かをスコア付けできます。
	「ひどく落ち込んでいる」という例を思い出してみると、その言葉は「ひどく落ち込んでいる」という言葉を「深刻に」と取り、私たちが呼んでいるものはそれを強めています。
	これは、表現された感情の強さまたは乗数であるため、強さの辞書と、感情用語によって表現された感情にそれらがどのような影響を与えるかについての辞書もあります。
	たとえば、「信じられないほど」は感情を 1.4 倍にすると言いますが、「少し」は感情を 0.3 倍にするため、実際には、表現された感情が少し弱まります。
	さて、最後に考慮したいもう 1 つのタイプの単語があります。それは「いいえ」や「違う」などの否定語であり、これらを基本的に極性の反転として扱います。 それで
	「素晴らしくない」は、「素晴らしい」のスコアを取得して、それに -1 を掛けることになります。
	したがって、これは感情分析を行う一般的な方法であり、語彙感情分析とも呼ばれます。 そこで、私たちが行うことは、見つけたセンチメント用語を取得し、関連する強化語で乗算することです。
	または否定語を入力し、ドキュメントごとに、表示される個々の用語のセンチメント スコアがすべて揃ったら、すべての用語の平均を計算して、そのドキュメントのセンチメント スコアを取得します。
	そして、JMP はこれらのスコアをさまざまな便利な方法で返します。 これはセンチメント分析ツールのスクリーンショットであり、これをすぐに使用することになります。
	ただし、とりわけ、すべてのドキュメントにわたるセンチメント スコアの分布が得られることがわかります。 すべてのセンチメント用語のリストとそれらの出現頻度が表示されます。
	また、これから説明するように、センチメント スコアをエクスポートしてグラフや分析で使用する機能もあります。
	それで、実際にここでいくつかのグラフを作成しましたが、最初の最初のパスとして確認しようとしているだけですが、ベージュブックのレポートのセンチメントは実際に、私たちが考える形で経済イベントと一致していますか? ほら、これには本当に正当性があるの？
	センチメントを何らかの経済指標として？ そしてその答えは、おそらく、そうだと思われます。
	ここにグラフ ビルダーで作成したプロットがあります。それは時間の経過に伴う感情なので、小さな灰色の点はすべて個別のレポートです
	青色の滑らかな部分は、時間の経過に伴う感情の傾向を示しており、ゼロの黒い線は、少なくともスコアリング スキームによれば、中立的な感情を示しています。
	赤い部分は、
	連邦準備制度によって公式にリストされている経済不況の時期。
	したがって、センチメントが底を打っているように見える、または景気後退の前後で谷があることに気づくかもしれませんが、別のことに気づくかもしれません
	実際、各景気後退に先立って、センチメントの低下が数か月、場合によっては数年前に見られることもあります。 そして、感情の大幅な低下は見られません
	その後に不況が来ることはなかった状況で。 したがって、景気後退の先行指標としてのベージュブックのセンチメントには、ある程度の正当性があるのかもしれません。
	地理的に見てみると、当然のこともあります。 これは分析の一例にすぎません。 12 の感情を調べています
	1999 年から 2000 年、2001 年までの連邦準備制度区の推移。 これは一般にドットコムバストと呼ばれるものの時代でした。
	テクノロジー企業やオンライン ビジネスの大きなバブルが発生し、最終的にはその多くが倒産し、かなり深刻な経済的影響が生じました。
	99 年から 2000 年にかけて感情は高まっており、実際、感情はかなり強く成長しているように見えます。
	サンフランシスコ連邦準備制度理事会地区には、これらの企業の多くが本社を置いています。 そして、破綻後の 2001 年に、ここで赤で示した否定的なセンチメントに至るまで最大の落ち込みが、再びあのサンフランシスコ地区で起こりました。
	したがって、これらのベージュブックのセンチメントスコアを簡単にグラフで確認すると、いくつかの経済イベントを追跡したり、おそらく予測したりする能力という点で、実際の妥当性があることがわかります。もちろん、後者については、さらに調査する必要があります。気をつけて。
	ただし、これはセンチメント分析の潜在的な使用例の一例にすぎず、他にも多くの使用例があります。
	現在使用されている最大の応用分野の 1 つは、消費者調査です。
	何が肯定的または否定的な意見や反応を引き起こすのかを特定するための消費者調査の回答。
	しかし感情分析は、たとえば製品の改善にも使用でき、製品レビューや保証請求を分析することで、顧客の強い感情的反応を引き起こす製品の機能や問題を見つけることができる可能性があります。
	たとえば、カスタマー サポートに目を向けると、コールセンターやチャットなどのチャット トランスクリプトを分析して、
	顧客の満足または不満足につながるいくつかのサポート慣行を見つけてください。 おそらく公共政策についても、提案された政策や既存の政策に対する国民の反応を測るために公開コメントを分析します。
	これらは感情分析を適用できる領域のほんの一部です。 これは、何らかの感情を伝えるテキストがあり、その感情が有益である可能性がある場合にはどこにでも当てはまります。
	私が最初に言いたいのはこれだけです。 ここで、少し時間をかけて JMP でどのように機能するかを説明したいと思います。それでは、JMP の説明に移りましょう。
	ここにはベージュブックのデータがあり、一番下に 5,000 件を少し超えるレポートがあり、各レポートの日付が示されています。
	1972 年 5 月 2020 年 10 月、12 地区のどこからのものか、そして報告書の本文。 これらのレポートを見ると、
	それらは単に経済が好調か不況かについての簡単な声明ではなく、ある程度の詳細まで踏み込むことができます。
	さて、これらのデータに入る前に、ベージュブックを分析するというアイデアと、実際にデータを取得して JMP に取り込んでくれた誰かに感謝したいと思います。
	フォーマットを分析する準備ができています。 そして、それは Xan Gregg に感謝します。ご存知ない方もいるかもしれませんが、Xan は JMP 開発チームのディレクターであり、Graph Builder の作成者でもあります。Xan、あなたの助けに感謝します。
	さて、これらすべてのレポートにおけるポジティブな感情とネガティブな感情の度合いを数値化してみましょう。 分析メニューのテキスト エクスプローラーを使用します。
	ここに起動ウィンドウがあります。 テキスト データを取得し、テキスト列の役割に置きます。 始める前に強調しておきたいことがいくつかあります。
	テキスト エクスプローラーは複数の言語をサポートしていますが、現時点ではセンチメント分析は英語でのみ利用可能です。もう 1 つ注意していただきたいのは、ここで発生している点です。
	したがって、テキスト分析を行う人にとっては、おそらくステミングが何であるかに精通しているでしょうが、詳しくない人にとっては、ステミングは複数の要素を崩壊させるプロセスであると言えます。
	そうですね、専門的ではないように...同じ単語の複数のバージョンをまとめたものです。 「強い」、「より強い」、そして「最強」を考えてみましょう。 ということでこの３つです
	同じ単語「strong」の複数のバージョンがあり、一部のテキスト マイニング手法では、実際にこれらすべてを 1 つの用語に結合して、概念的には同じものであるため、それらはすべて「strong」を意味すると言いたいでしょう。
	実はここでの話はやめておきます。なぜなら...「最強」というのは、何かが得ることができる限り強いという意味です。
	対「より強い」は、それが強いことはわかっていますが、さらに強くなる余地がまだあることを示しています。
	したがって、「最強」はおそらく「より強い」よりも高い感情スコアを取得するはずであり、ステミングすると、これらの単語の区別がわからなくなるでしょう。 この違いを失いたくないので、異なる感情スコアを与えたいと考えています。 私はここから離れ続けるつもりです。
	そこで「OK」をクリックします。
	そして、JMP は今度はテキストをトークン化します。つまり、テキストをすべての個別の単語に分解し、それぞれの単語が出現する頻度をカウントします。
	そして、ここにすべての用語とその頻度のリストがあります。 つまり、「セールス」は 46,000 回以上発生しており、フレーズのリストもここにあります。 したがって、フレーズは次のとおりです
	頻繁に出現する 2 つ以上の単語のシーケンス。実際にそれらを用語としてカウントしたい場合があります。
	分析。センチメント分析の場合は、フレーズ リストを調べて、たとえば「不動産」という 2 つの単語を追加するとよいでしょう。これは実際には不動産を指します。
	そして、それを付け加えることもできます。 通常、テキスト分析では、いわゆるストップワードも追加します。
	これは、分析のコンテキストでは実際には意味を持たないため、除外したい単語です。 「地区」を考えてみましょう。 これが起こる...あるいはベージュブックが使用する
	「地区」という言葉が頻繁に使われますが、「リッチモンド地区からの報告書」などと言っているだけでは、あまり意味がありません。
	しかし、実際には、ここではストップワードを気にするつもりはありません。なぜなら、覚えていると思いますが、
	スライドに戻ると、センチメント スコアはすべて辞書に基づいており、そこでセンチメントの単語を選択し、その単語が取得するスコアが決定されると述べました。
	また、「district」を省略した場合、本質的にスコアは 0 になり、センチメント スコアには影響しないため、ストップ ワードとして宣言する必要はありません。
	したがって、準備ができたら、テキスト、または失礼ですが、ここの赤い三角形の下にある感情分析を呼び出します。
	JMP が現在行っていることは、センチメント用語などを宣言していないため、組み込みのセンチメント辞書を使用してすべてのドキュメントをスコアリングしていることです。 ここでスコアを出します。
	これらの結果をナビゲートする前に、おそらく感情辞書をカスタマイズして、単語とそのスコアを含む感情をカスタマイズする必要があります。 それは、異なるドメインでは、
	おそらく、テキストを作成する人が異なると、特定の単語が異なるレベルの感情を帯びたり、ある場合とそうでない場合がある場合があります。 だから私たちはそうしたいのです
	私たちが現在分析している言語によって伝えられる感情を正確に捉えていると感じる感情辞書を非常に慎重かつ徹底的に作成します。
	したがって、JMP は、先ほど述べたように、組み込みの辞書を使用しますが、それはかなり希薄なものです。 ここで見ることができます。いくつかの絵文字が含まれています。
	これらの小さなスマイリーなどのようなものですが、-90 での「ひどい」のような、かなり明確な感情を伴う言語もあります。
	今では、誰かが否定的な意味で「ひどい」という言葉を使うことはおそらくないので、私たちはそれについてかなり良いと感じています。 ただし、ご存知のとおり、これはそれほど長いリストではないため、いくつかの用語を追加することもできます。
	それでは、それをどのように行うかを見てみましょう。私がお勧めできることの 1 つは、データを確認することです。 手持ちの文書をいくつか読んで、感情を表していると思われる単語をいくつか見つけてください。
	実際、ここにはドキュメントを閲覧し、そこからセンチメント用語を直接追加できるツールがあります。 ここに文書リストがあります。 ドキュメント 1 が強調表示され、その下にドキュメント 1 が表示されていることがわかります。 別のドキュメントを選択して表示することができました。
	さて、資料 1 を見ると、すぐに「悲観主義」や「楽観主義」などの潜在的なセンチメント用語がいくつかあることに気づくかもしれません。
	これで、これらが強調表示されていないことがわかります。 これらは実際には標準の感情辞書には含まれていません。
	そして、多くの名詞は実際にはそうではありません。それは、「悲観主義」や「楽観主義」のような名詞は、基本的に、その存在または不在を示唆する方法で説明できるからです。 つまり、「悲観主義は減少している」とか、
	「悲観論が明らかに欠如している」「悲観論はもう報道されていない」
	そして、そのような場合、「悲観主義」は否定的なものであるとは言えません。 それは...感情辞書に単語を追加する前に、文脈の中で単語が実際にどのように使用されているかを注意して考える必要があります。
	たとえば、ここで用語リストに戻ることができます。 フィルターを表示するだけなので、
	「pessimism」を探してテキストを表示して、それがどのように使われているかを確認してください。 したがって、この最初の例では、「取締役の気分は悲観的なものから楽観的なものまでさまざまである」ことがわかります。
	そして次は
	「私的な会話は悲観的なムードに満ちています。」 実際に読んでみると、これが典型的な使われ方なので、実はベージュブックでは悲観という言葉を私が危惧するような使い方はしていないようですが、
	「楽観的な見方が増えています。」
	ですから、実際のところ、ここに「悲観主義」を追加しても問題ないと思うので、それを感情辞書に追加しましょう。
	それで、その上にカーソルを置くと、
	それをどうするかについていくつかのオプションを提示していることがわかります。 したがって、ここでは、スコアを -60 とするとします。
	そして、対応するスコアとともに辞書に追加され、JMP で更新されたセンチメント スコアがトリガーされます。 つまり、「悲観」という単語を検索し、見つかったすべてのドキュメントのスコアを調整しています。
	それでは、前に戻ってセンチメント用語を詳しく見てみましょう。 下にスクロールすると「悲観論」が見つかります。
	ここで、先ほど与えたスコアが -60 です。 さて、実際に...お気づきかと思いますが、「悲観的」のスコアはデフォルトで -50 なので、一貫性を持たせるためにここに -50 と入力するだけかもしれません。
	できますが、別の更新をトリガーしないようにするつもりはありません。
	ここには、考えられるセンチメント用語のリストもあります。 したがって、これらは JMP が感情を表す可能性があると特定した用語であり、それらを見て、辞書に含めることを検討するとよいでしょう。
	たとえば、ここでの「強い」という言葉について、右側の文書テキストのいくつかを見ると、これは明らかにポジティブなことだと思われるかもしれません。 これらの例をたくさん見たことがあると、次のことが非常に顕著になります。
	「強い」という言葉と、それに対応する「弱い」という言葉は、これらの経済学者が現在の経済について良いか悪いかを語るのによく使う言葉です。
	したがって、それらを追加したり、上のボタンでたとえばプラスの 60 をクリックして、ここに「strong」を追加したりできます。 繰り返しますが、感情分析の検討を促進するためだけに、今は行いません。
	したがって、以下のテキストと同じように、ここで感情用語リストを調べて、いくつかの適切な候補を選択することができます。
	赤い三角の下で、センチメント条件をより直接的に管理することもできます。これはまさに完全です。
	フレーズ管理やストップワード管理など、テキスト エクスプローラー ユーザーにとっては馴染みのある用語管理リストです。
	すべての組み込み用語に加えて、この特定の分析にローカルな新しい用語が 1 つ追加されていることがわかります。 もちろん、実際には例外を含めたくない場合は、例外を宣言することもできます。
	そして重要なのは、センチメント辞書もインポートおよびエクスポートできることです。 センチメント用語を宣言するもう 1 つの方法は、対象分野の専門家に相談することです。 あなたが知っている、
	経済学者たちはおそらく、明確に伝える言葉の種類について、言いたいことがたくさんあるだろう。
	これらのレポートに含まれるポジティブまたはネガティブな感情。 そして、もし彼らと話すことができれば、それについて彼らが何と言っているか知りたいと思うでしょう。そして、例えばタブ区切りのファイルで辞書を抽出して、それをここにインポートすることもできるかもしれません。
	そしてもちろん、満足のいく辞書を作成したら、それをエクスポートして保存し、将来簡単に適用できるようにする必要があります。
	以上が、感情辞書を実際にどのようにキュレートするかについての説明です。 それも重要でしょう
	強化項と否定項を厳選してください。ここでもスコアは表示されません。これらは極性の反転にすぎないからです。
	実際にどのようなものかをもう少し詳しく説明するために、ここで感情を見てみましょう。
	JMP は、これらのセンチメント用語の一部の前に「not」という単語を見つけ、実際に適切なスコアを適用しました。 したがって、一番上の「受け入れられない」のスコアは -25 になります。
	そこで、これらの否定語と強化語は、JMP によって自動的に適用されるという事実に注意を引くためだけに説明します。
	とにかく、分析を設定する方法の話から実際に結果を確認することに移りましょう。 それで私は取り上げるつもりです
	これは、すでに行われた分析のバージョンです。つまり、感情辞書はすでに厳選されており、得られた結果の解釈を実際に開始できます。
	ここにはハイレベルな要約があり、否定的な文書よりも肯定的な文書の方が多くなりました。 前に説明したように、それぞれの数がわかります。 実際、左側の表の一番下に、感情がまったく表現されていない文書が 1 つあることがわかります。
	「強」が約14,000回、「弱」が約4,500回
	これらをカウントまたはスコアで調べ、最もネガティブなものとポジティブなものを調べます。
	文脈の中でそれらを確認するだけでも、それ自体でかなり有益な情報となる可能性があります。 つまり、特に消費者調査などの分野で、人々がいつポジティブな感情を抱いているか、ポジティブな表現をしているかを知りたい場合に、
	私たちのブランドや私たちが持っているいくつかの製品について、どのような種類の言葉が使用されているか、おそらくそれがマーケティング活動に役立つかもしれません。 この点に関して、この感情用語のリストは非常に有益です。
	製造、
	観光、投資。 そして、それらのサブドメインの 1 つ、いわゆる機能に特に焦点を当てたい場合があります。
	センチメント分析のこの機能タブに移動する場合は、[検索] をクリックします。 JMP は、センチメント用語で一般的に出現するいくつかの単語を検索し、その特徴に関するセンチメントについて深く掘り下げたいかどうかを尋ねます。
	たとえば、「販売」を考えてみましょう。 「売上が低迷していると報告されている」、「売上が低迷していると報告されている」、「売上が好調に推移していると報告されている」などがわかります。
	したがって、この選択した特徴にスコアを付けるだけだと、JMP が行うことは、これらの大きなレポート内の「売上」に関する言及のみに関するセンチメント スコアを提供することになります。これは、分析を改良したり、非常に優れた点に焦点を当てたりするのに役立ちます。定義されたサブドメイン。
	そしてそれは特に重要です。
	私たちが分析している言語のドメインがそれほど厳しく制限されていない可能性があります。 たとえば、
	製品レビュー。 あなたは、人々が製品についてどのように肯定的か否定的に感じているかに興味がありますが、彼らは、たとえば配送についても話すかもしれません。また、配送にあまり満足していないかどうかは、必ずしも気にする必要はありません。主に、それはあなたのコントロールを超えているためです。 。
	その配送についてコメントする大量のレビューを単に含めることは望ましくありません。 したがって、分析の領域を考慮して適切に制限することが重要であり、ここでの特徴ファインダーはそれを行うための 1 つの方法です。
	「売上」についてスコアを付けたので、肯定的な文書と否定的な文書の分布が大きく異なることがわかります。 感情スコアのないドキュメントがさらに増えています。
	販売について話さない、または販売について議論するために感情的な言葉を使用しないでください。現在、特に販売を捉えた感情用語の別のリストが用意されています。
	これを削除させてください。
	簡単に言いましたが、言及するのを忘れていたことに気づきました。それは、私たちが調べてきた文書全体のスコアがどのように計算されるかということです。そして、それらはすべてのセンチメント条件の平均であると言いました...
	特定のドキュメントで発生したこと。 それでは、資料１をごらんください。 それをお見せしたいだけです
	このスコア (たとえば、-20) がどこから来たのか疑問に思った場合は、マウスを直接上に置くだけで、表示されたすべてのセンチメント用語のリストが表示されます。
	ご覧のとおり、ここには 16 個のスコアがあり、一番下の「実際の明るいスポット」はすべて +78 で、割り算すると...これらすべてのスコアを加算します。 78で割る...
	または、申し訳ありませんが 16 で割ると、平均センチメントは -20 になります。 これは、総合スコアを提供する 2 つの方法のうちの 1 つです。 もう 1 つは最小最大スコアです。つまり、最小値と最大値の違いです。
	文章で表現された感情。
	このレポートを見るだけで多くの情報を得ることができます。もちろん、感情スコア、最も一般的な用語です。
	しかし、多くの場合、私たちはその感情を次のような別の方法で利用したいと思うことがあります。
	スライドで行ったように、グラフで見てみましょう。 したがって、分析のその部分の時間になったら、ここの赤い三角形に進んでください。
	そしてドキュメントのスコアを保存します。 これらのスコアはデータ テーブルに保存され、その後の分析にスコアを入力したり、グラフに表示したりすることができます。
	これは、JMP Pro 16 の Text Explorer に導入されるセンチメント分析のプレビューです。 重要なアイデアは、センチメント分析では次のようなセンチメント ディクショナリを使用するということです。
	各文書の肯定的および否定的な感情的内容に対応するスコアを提供するように設定すると、そこから、その情報を有益な方法で使用できるようになります。
	したがって、センチメント分析についてはここで置いておき、スライドに戻って、テキスト エクスプローラーに間もなく追加される別のテクニックについて説明します。
	そして、それが用語の選択です。用語の選択によって別の質問に答えることができます。つまり、どの用語が、私が関心を持っている重要な変数または変数に最も強く関連付けられているかということです。
	私たちはベージュブックを使い続けるつもりです。
	どの単語が統計的に不況と関連しているかを尋ねます。 ここのグラフでは、時間の経過に伴う変化率がわかります。
	四半期ごとの GDP (国内総生産)。青は経済成長を、赤は経済縮小を示します。 そして、私たちは不思議に思うかもしれません。
	ベージュブックに掲載されている用語は、統計的にこれらの経済低迷期と関連している可能性がありますか? たとえば、ここにいくつかあります。
	ご存知のように、なぜベージュブックの特定の用語を景気後退期と関連付けたいのでしょうか?
	まあ、用語のリストを取得すること自体が潜在的に有益である可能性があります。 潜在的に微妙なものを見つけるかもしれない
	私が気づいていなかったり、定量的なデータで簡単に把握できなかったりする不況の要因や影響。
	さらに分析するための言葉も見つかるかもしれません。 もしかしたら...何か見つかるかもしれない
	潜在的なセンチメント用語。景気が特に悪いときに使用されるいくつかの用語ですが、私が初めてセンチメント分析を行ったときに見逃していました。
	あるいは、不況と非常に強く関連している単語を見つけられるかもしれないので、それらを予測モデルに使用して、将来いつ不況が起こるかを把握できるかもしれません。
	したがって、どの単語が不況と最も強く関連しているのかを知りたい理由はいくつかあります。
	では、これは JMP ではどのように機能するのでしょうか? そうですね、私たちは基本的に回帰モデルを構築します。このモデルでは、結果変数が注目する変数、つまり景気後退、そして入力がすべて異なる単語になります。
	モデルに入力されたデータは文書用語マトリックスの形式をとり、各行は以下に対応します。
	1 つのドキュメントまたは 1 つのベージュ ブック レポートを作成し、そのレポート内で出現する単語を列に取り込みます。 ここでは「weak」列が強調表示されており、「binary」と表示されています。これは、次のことを意味します。
	1 と 0 が含まれます。 1 はレポートに「弱い」という単語が含まれていることを示し、0 はレポートに「弱い」という単語が含まれていないことを示します。 これはドキュメントにスコアを付けるいくつかの方法のうちの 1 つですが、今のところはこのバイナリを使用することにします。
	そこで、この情報を取得して回帰モデルに入力します。 ということで、打ち上げの様子はこんな感じです。
	Y 変数として景気後退を設定しており、これは一種の「はい」か「いいえ」変数であり、これらすべてのバイナリ項予測変数がモデル効果として入力されています。
	次に、JMP Pro の一般化回帰ツールを使用します。
	これは、一般化回帰 (GenReg と呼ばれています) に自動変数選択手法が含まれているためです。 それで、あなたが精通しているなら、
	正則化回帰とは、Lasso または Elastic Net のようなものです。 それが何を意味するか分からなくても、まったく問題ありません。 アイデアは、それが自動的に行われるということです
	結果変数「不況」と最も強く関連している用語を見つけて、関連していないと思われる用語をゼロにします。
	これにより、「不況」と「不況」との関係を調べることができ、おそらく、それと関連する可能性のある単語を何百、何千も知っているでしょう。
	では、分析を実行すると何が得られるのでしょうか?
	モデルを取り出します。 ここにあるのはそのモデルの方程式です。 あまり心配しないでください。アイデアは私たちが言うことです
	景気後退の対数オッズなので、これは景気後退に陥る確率の関数であり、ベージュブックがいつ発行されるかは、
	ベージュブックのレポートに登場する可能性のあるすべてのさまざまな単語。
	そして、「パンデミック」という単語の出現による係数 1.94 の影響がわかります。
	これは、ベージュブックのレポートに「パンデミック」という言葉が含まれている場合、「景気後退」の対数オッズが 1.94 上昇することを意味します。 次に、マイナス 1.02 倍の「ゲイン」が表示されます。 つまり、ベージュブックのレポートに「利益」という言葉が含まれていれば、景気後退の可能性が高まるということです...
	あるいは、景気後退の対数オッズが 1.02 低下します。
	その結果、「パンデミック」、「延期」、「キャンセル」、「差し押さえ」など、不況の可能性の増加と強く関連する用語のリストが得られました。
	また、「利益」、「強化」、「競争」など、景気後退の可能性の低下に関連する用語のリストも取得します。
	すぐそこに「製造業」もありますが、係数は比較的小さく、約 -.2 です。
	ここで実際にお気づきかと思いますが、この分析で選択されたすべての用語のグラフ表示を見ると、「製造」などの特定の領域があまり多くないことがわかります。
	「観光」「投資」など。 なぜなら、不景気であろうがなかろうが、そういったことは常に話題になるからです。ですから、私たちが本当に求めているのは、使われる言葉なのです。
	ご存知のように、私たちは偶然に予想するよりも頻繁に不況に陥っています。 それで、私たちは...たとえば、それらは次のとおりです
	「パンデミック」が最も予測的です。 非常に理にかなっています。 私たちはつい最近までパンデミックについてまったく話していませんでしたが、最近不況も経験したので、それをかなり明確に認識しました。
	それから、この第 2 層には他にもいくつかあります。つまり、「延期」「中止」「差し押さえ」「悪化」「悲観的」ということになります。
	そして興味深いのは、この「延期」と「中止」が不景気と結びついているということです。 それは当然です、あなたが本当に話したいのは、たとえば経済活動の延期についてです
	不況が起こっているとき、または少なくともそれはおそらく信頼できる傾向です。 それは...つまり、それ自体が洞察力です。 実際、私は
	つまり、連邦準備制度が経済活動の延期や中止をどのように追跡しているのかについては説明できませんでしたが、この分析でこれらの条件にフラグが立てられたという事実は、それがおそらく追跡する価値のあるものであることを示唆しています。
	さて、用語の選択です。 実際に、不況に関連する用語のこの素晴らしいリストを入手すると、関連性の相対的な強さがわかります。 ここで実際に、それが JMP でどのように行われるかを簡単に見てみましょう。
	そこで、JMP に戻り、少し異なるデータ テーブルを取得します。 ただし、これはまだベージュブックのデータであり、今では全国的な報告書だけが残っています。
	そして、米国が当時不況にあったかどうかという付随変数があります。 そしてもちろん、これらのデータにはある程度の自動相関があります。 つまり、先月景気後退に陥った場合、今月も景気後退に陥る可能性は、そうでない場合よりも高くなるということです。
	通常、回帰ベースの分析ではこれが問題になる可能性がありますが、これは純粋に探索的なものです。 私たちはそれについてはあまり心配していません。
	そこで、テキスト エクスプローラーがどのように起動されるかを以前に見たことがあるので、テーブル スクリプトからテキスト エクスプローラーを呼び出します。
	ただし、以前と同様に、すでにいくつかのフレージングを行っていることに注意してください。 ここには表示されていませんが、この分析で必ずしも返されたくない単語もいくつか追加しました。
	そして、私はステミングを有効にしました。これが、用語リストの小さな点が意味するものです。 たとえば、これは「増加」ですが、実際には「増加」、「増加」、「増加」の間で崩壊しています。
	それは、今私がそれらをすべて同じ概念だと考えているからで、その概念が不況と関連しているかどうかを知りたいだけなのです。
	したがって、用語の選択を呼び出すには、赤い三角形に移動し、ここでそれを選択します。
	最初にコントロール ウィンドウが表示されます。つまり、関心のある変数 (景気後退) を選択するセクションが表示されます。 目標レベルを選択します。これは、景気後退が起こらない確率ではなく、景気後退の確率という観点から行う必要があります。
	いくつかのモデル設定を指定できます。 GenReg に精通している場合は、早期停止するかどうか、2 つの異なるうちのいずれかを選択できることがわかるでしょう。
	変数選択を実行するためのペナルティ、検証を実行する統計。 そして、それがあなたにとって初めてのことであっても、あまり心配する必要はありません。 最初はデフォルト設定を使用することをお勧めします。
	重み付けがあります。覚えていると思いますが、その列には「弱い」を表す 1 と 0 があり、その単語が文書内に出現したかどうかを示しているだけですが、必要なものを選択できます。 それで
	たとえば、頻度は「弱い」が発生したかどうかではなく、それが何回発生したかです。 そして、これは結果の解釈方法に影響を与えます。 今のところはバイナリを使用することにします。
	しかし、私が言いたいのは、デフォルトの 400 語ではなく、最も頻繁に使用される 1,000 語をチェックしたいということです。ご覧のとおり、これは 436 よりもはるかに多く、通常、1,000 個の X を持つモデルを当てはめることはできません。でも436だけ
	観察ですが、おかげで
	一般化回帰では変数が自動的に選択されますが、これは問題ではありません。 したがって、もう一度、これらの千の用語のうち最も関連性の高い用語が選択されるため、用語選択という名前が付けられています。
	それで、これを実行します。 何が起こったかを見ると、JMP が一般化回帰プラットフォームを呼び出してこれらの結果が返されたことがわかります。ここでは、適合したモデルに関する情報が表示されています。 たとえば、返された用語は 37 個あります。
	それを先に進めさせてください。 ここの右側に、本当に貴重な情報があるからです。 これは、不況と最も強く関連する用語のリストです。
	次に、これらを係数で並べ替えて、景気後退の可能性と最も強く関連しているものを見つけます。つまり、もう一度「パンデミック」「延期」「キャンセル」です。そして、ご想像のとおり、この時点で次のいずれかをクリックすると、これらのプレビューが更新されます
	または、以下のテキスト スニペットを参照すると、実際にこの単語をコンテキスト内で確認できます。
	したがって、この用語のリスト自体が非常に価値のあるものになる可能性があります。 あなたは、これまで知らなかった重要な特定の用語や概念についていくつかのことを学ぶかもしれません。 これらの用語は予測モデルでも使用できます。
	他に注意すべき点がいくつかあります。
	ここでご覧のとおり、ここでも個々のドキュメントごとにテーブルが表示されていますが、センチメント スコアの代わりに、基本的にはモデルからのスコアが表示されています。 それぞれにあります
	の...
	これはプラスの寄与と呼ばれるもので、これは景気後退の可能性を予測するプラスの係数の寄与です。 ここにはマイナス側のものがあります。
	そして、モデルから景気後退の確率も得られます。ここでは 71.8% で、実際に観察されたものは 71.8% です。
	そして、私たちはここで必ずしも予測モデルを構築しているわけではありません。つまり、このモデルを使って景気後退を予測しようとするつもりはありません。 つまり、私は使用したいあらゆる種類の経済指標変数を持っています
	ただし、これは基本的にモデルの健全性をチェックする良い方法です。 予測の一部は当たっているように見えますか?
	そうでない場合は、返される条件を信頼できない可能性があるためです。 その判断を下すための情報は他にもたくさんあります。 つまり、ここの曲線の下の面積など、いくつかの適合統計があります。
	あるいは、モデルをさらに評価するための通常のオプションをすべて備えた一般化回帰プラットフォームに進むこともできます。
	詳細には立ち入りませんが、モデルを評価したり、好みに応じてモデルを微調整したりして、納得のいく用語のリストを確実に作成できるように、これらすべてが利用可能です。
	ご覧のとおり、概要の下にモデルのリストが表示されています。これは、実際には複数のモデルを実行する必要があるためです。 それでモデルに戻ったら...ああ、すみません...私たちのモデルに戻ったら...
	ここで設定を行うと、実際には少し異なるモデルを実行できます。 たとえば、BIC が AICc よりも少し保守的であることを知っていて、より少ない用語を返したいと考えている場合、900 の用語が返された分析を行った場合、少し圧倒されるかもしれません。
	そこで、「実行」をクリックし、代わりにそれを使用して別のモデルを構築します。
	これで、そのモデルがここのリストに追加されました。これらのモデルを切り替えて、それぞれの結果を確認できるようになりました。 この場合、37 項ではなく 14 項のみが返されたので、以下でそれらを評価していきます。
	したがって、ここから得られる 2 つの大きな出力は、もちろん、この用語リストです。 これらはあなたにとって重要な用語であり、追跡しておきたい場合は、右クリックしてこれをデータ テーブルに作成してください。 これで JMP テーブルができました
	項、その係数、その他の情報も含まれます。
	そして
	実際にやりたいことが、これを元のデータ テーブルに書き戻すようなものであれば、おそらくその情報を他の種類の分析や予測モデルで使用できるようになります。
	用語の選択に進み、用語スコアをドキュメントの用語マトリックスとして保存したいと言うだけです。データ テーブルをここに戻すと、データ テーブルに書き込みを行ったことがわかります。
	選択されたこれらの各用語の列。 この場合、係数値を入力すると、これを使用できるようになります。
	しかし、私は定量的な情報が好きです。
	それでは、用語の選択について少しだけ説明します。 繰り返しますが、ここでの重要なアイデアは、関心のある変数に関連する用語のリストを見つけ、その係数を通じてその関係がどれほど強いかについての情報さえ得られるということです。
	それで終わりにしましょう。 2 つのテクニックについて説明しました。 用語の選択を見て、重要な単語を見つけました。 その前に、センチメント分析についてレビューしました。
	テキスト内のポジティブまたはネガティブな感情の程度を定量化します。 これらは、JMP Pro 16 の Text Explorer に導入される 2 つの新しいテキスト マイニング技術です。 ぜひ実際に手に取っていただき、フィードバックをお待ちしております。

サミットのベスト起こるデータ探索予測モデリングRe: JMP® Pro 16 での感情分析と用語選択によるテキスト マイニング ツールキットの拡張 (2021-EU-45MP-790)

このチュートリアルでは素晴らしい仕事をしてくれました。ロス、なんて強力なプラットフォームでしょう。@Ross_Metusalem