756625_ja-JP

liliconcom

JMP® Pro 16における感情分析と用語選択によるテキストマイニングツールキットの拡張（2021-EU-45MP-790）

ロス・メトゥサレム、JMPシステムエンジニア、SAS

テキストマイニング技術により、非構造化テキストデータから定量的な情報を抽出できます。JMP Pro 16 では、テキストエクスプローラーの機能に感情分析と用語選択という 2 つの機能が追加され、テキストから抽出できる情報が拡張されました。感情分析は、テキストの単語を感情を表す用語と関連するスコア (例:「素晴らしい」: +90、「ひどい」: -90) のカスタマイズ可能な辞書にマッピングすることで、テキストで表現されている肯定的または否定的な感情の度合いを定量化します。結果として得られる感情スコアは、人々の主観的な感情を大規模に評価したり、客観的な概念と関連付けて主観的な感情を探求したり、さらなる分析を充実させたりするために使用できます。用語選択は、JMP Pro の一般化回帰プラットフォーム (テキストエクスプローラー内から呼び出される) の正則化回帰機能を適用することで、応答変数を最も強く予測する用語を自動的に見つけます。用語選択は、重要な結果指標と、関連する非構造化テキストにおける特定の用語の出現との関係を簡単に特定するのに役立ちます。

本プレゼンテーションでは、感情分析と用語選択の2つの手法の概要を説明し、実際のデータへの適用例を示し、それぞれを効果的に使用するためのベストプラクティスをいくつかご紹介します。

自動生成された文字起こし...

スピーカー	文字起こし
ロス・メトゥサレム	皆さんこんにちは。JMP Pro 16でJMPがテキストマイニングツールキットをどのように拡張しているかについて学ぶ時間を割いていただきありがとうございます。
	感情分析と用語選定。
	私はロス・メトゥサレムです。米国南東部でJMPのシステムエンジニアをしています。今回は、この2つの新しい分析機能について少しご紹介し、その仕組みを解説するとともに、活用するためのベストプラクティスをいくつかご紹介します。
	これらの分析手法はどちらも Text Explorer に搭載されています。ご存知ない方のために説明すると、これは JMP の
	これは、いわゆる自由形式または非構造化テキスト、つまり自然言語テキストを分析するためのツールです。
	これはテキストマイニングツールと呼ばれるもので、自由形式のテキストから定量的な情報を抽出するためのツールです。
	自由記述テキストから洞察を得るために、他の種類の統計ツールや分析ツールを使用したり、あるいはそのテキストを他の分析の入力として使用したりする。
	それでは、JMP Pro 16のText Explorerに搭載される2つの新しいテキストマイニング技術を見ていきましょう。まずは感情分析から始めます。
	感情分析の本質は、テキストが感情的にどれほど肯定的または否定的であるかという問いに答えることにある。
	そして、米国連邦準備銀行が定期的に発表する報告書であるベージュブックについて、センチメント分析を実施します。
	JMP Discovery Europeでは、アメリカの例を挙げて申し訳ないのですが、ベージュブックは感情分析の本質をよく表していると思います。
	これは月刊誌で、国レベルの報告書に加え、各地区の経済状況をまとめた12の地区レベルの報告書が掲載されています。これらの報告書はすべて、インタビューやアンケート調査といった定性的な情報に基づいています。
	そして、米国の政策立案者は、ベージュブックに記載されている定性的な情報を、従来の経済指標といった定量的な情報と併せて活用し、経済政策を推進することができる。
	つまり、あなたはこう思うかもしれません。「私たちは今、感情や情勢について話しているのですね。経済報告書に多くの感情が含まれるとは期待していませんが、ベージュブックの報告書や多くの文章には、実際に感情を伝える言葉が含まれています。」
	それでは、あるレポートから抜粋した部分を見てみましょう。これは、新しい感情分析プラットフォームから直接取得したスクリーンショットです。
	強調表示されている単語があることに気づくでしょう。これらは私たちが感情用語と呼ぶものです。つまり、
	感情的な意味合いを持つと思われる用語。例えば、冒頭の「一方、コンピュータの販売は深刻な落ち込みを見せている」
	ここで「深刻な落ち込み」が紫色で強調されているのは、それが否定的な感情を伝えるものだと私たちが考えていることを示しています。誰かがコンピューターの売上を「深刻な落ち込み」と表現した場合、それは間違いなく悪いことだと解釈してほしいという意図があるように思われます。
	下を見ると、オレンジ色で強調表示されている「改善する」や「好ましい」といった肯定的な感情を表す言葉がいくつかあるのがわかります。このように、肯定的または否定的な感情を表すと思われる言葉を探すことができます。
	紫は否定的、オレンジは肯定的を表し、感情分析によってそのレベルに維持されるため、肯定的なテキストか否定的なテキストかという二者択一の区別になります。
	感情分析を実行するその他の方法があり、特に、
	物事がポジティブかネガティブかだけでなく、ポジティブさやネガティブさの度合いを定量化しようとする方法は数多くあります。では、別の例を見てみましょう。ここで一番下に注目してください。「売上不振」というレポートが表示されているのがわかります。
	そして、それを「コンピューターの売上は深刻な落ち込みを見せている」という以前の発言と比較してみましょう。
	どちらも否定的な表現ですが、「重度のうつ病」という表現は、「貧しい」という表現よりもはるかに否定的な響きがある、という点については誰もが同意するでしょう。
	つまり、表現された感情が肯定的か否定的かだけでなく、どの程度肯定的または否定的かを把握したいのです。それが感情分析です。
	Text Explorerはそれが可能です。では、どのように実現しているのでしょうか？それは、いくつかの感情を表す用語とそれに関連するスコアに基づいた、語彙感情分析と呼ばれる手法を使用しているからです。
	つまり、今私たちが見ているのは、いわゆる感情辞書からの抜粋で、そこには用語とそのスコアが含まれています。
	例えば、「素晴らしい」という言葉は90という高いスコアを獲得している一方、最下位の「陰鬱な」という言葉は-75というスコアとなっている。
	そこで私たちは、感情的な内容を持つと考える用語を特定し、それらがどの程度肯定的または否定的であるかを、ここでは-100から100までの任意の尺度で示します。
	そして、これらの用語をすべての文書から見つけ出し、それらを使って文書全体の肯定度または否定度を評価することができます。
	「ひどく落ち込んでいる」という例を思い出してみると、「ひどく落ち込んでいる」という言葉は、その言葉を強調する役割を果たしています。
	これは表現された感情を強調したり、増幅したりするものです。そのため、強調語とその強調語が感情語によって表現される感情に及ぼす影響をまとめた辞書も用意しています。
	例えば、「信じられないほど」と言うと感情が1.4倍になるのに対し、「少し」と言うと感情は0.3倍になるので、実際には、表現された感情が少し弱まることになります。
	さて、最後に、もう1種類の単語を考慮に入れたいと思います。それは否定語、つまり「no」や「not」のようなもので、これらは基本的に極性の反転として扱います。
	「素晴らしくない」とは、「素晴らしい」の点数に-1を掛けた値になります。
	つまり、これは感情分析の一般的な方法であり、語彙感情分析とも呼ばれます。私たちが行うのは、見つけた感情語に、関連する強調語を掛け合わせることです。
	または否定語を抽出し、各文書について、出現する個々の用語に対するすべての感情スコアが得られたら、それらをすべて平均して、その文書の感情スコアを取得します。
	JMPはこれらのスコアを様々な便利な方法で私たちに返してくれます。これは感情分析ツールのスクリーンショットですが、これからすぐにこれを使ってみます。
	しかし、ご覧のとおり、このツールはすべての文書における感情スコアの分布を示してくれます。また、すべての感情用語とその出現頻度の一覧も表示してくれます。
	さらに、後述するように、感情スコアをエクスポートしてグラフや分析に利用することも可能です。
	そこで、まずは最初の段階で、ベージュブックの報告書におけるセンチメントが、私たちが考えるような形で経済事象と実際に一致しているかどうかを確認するために、いくつかグラフを作成しました。つまり、これに何らかの妥当性があるのか​​どうかということです。
	センチメントを何らかの経済指標として捉えることはできるのか？その答えは、おそらくできるだろう、ということだ。
	ここにGraph Builderで作成したグラフがあります。これは時間の経過に伴う感情の変化を示したもので、小さな灰色の点はすべて個々のレポートを表しています。
	そして、青色のスムーザーは時間の経過に伴う感情の傾向を示しており、ゼロの黒い線は、少なくとも私たちのスコアリング方式によれば、中立的な感情を表しています。
	赤い部分は
	連邦準備制度理事会が公式に発表した経済不況の時期。
	景気後退期には、景況感が底を打ったり、落ち込んだりすることがあるかもしれませんが、他にも気づくことがあるかもしれません。
	実際、景気後退の直前には、数ヶ月前、場合によっては数年も前から景況感の低下が見られます。そして、このような大きな景況感の低下は見られません。
	景気後退が起こらなかった状況下では、ベージュブックの景況感は一定の妥当性を持つかもしれない。したがって、ベージュブックの景況感は景気後退の先行指標としてある程度有効であると言えるだろう。
	地理的に見てみると、納得のいく点もいくつかあります。これは分析結果の一例です。ここでは12の地域における感情分析を行っています。
	1999年から2000年、そして2001年にかけての連邦準備制度地区の推移。これは一般的にドットコムバブル崩壊と呼ばれる時期なので、
	当時、テクノロジー企業やオンラインビジネスが次々と出現し、大きなバブル状態となったが、最終的にはその多くが倒産し、かなり深刻な経済的影響が生じた。
	'99 から 2000 年にかけてのセンチメントは上昇しており、実際にはかなり力強く上昇しているようです。
	これらの企業の多くが本社を置くサンフランシスコ連邦準備銀行地区で、株価は下落しました。そして2001年のバブル崩壊後、ここで赤色で示されているように、市場心理がマイナスに転じる最大の落ち込みも、やはりサンフランシスコ地区で発生しました。
	つまり、ベージュブックのセンチメントスコアをグラフで簡単に確認するだけでも、経済事象を追跡したり、場合によっては予測したりする能力という点で、ある程度の妥当性があることが示唆されます。もちろん、後者については、より慎重に調査する必要があります。
	しかし、これは感情分析の潜在的な活用事例のほんの一例に過ぎず、他にも多くの活用事例が存在します。
	現在最も広く利用されている応用分野の一つは消費者調査であり、例えば、人々が分析する
	消費者調査の回答から、肯定的な意見や否定的な意見、あるいは反応を引き起こす要因を特定する。
	しかし、感情分析は、例えば製品改善にも活用できます。製品レビューや保証請求を分析することで、顧客の強い感情的反応を引き起こす製品の特徴や問題点を見つけることができるかもしれません。
	例えば、カスタマーサポートを見てみると、コールセンターやチャットを分析できます...チャットのトランスクリプトから
	顧客満足度や不満につながるサポート体制の実践方法を探ります。場合によっては公共政策も対象とし、提案されている政策や既存の政策に対する世論の反応を把握するために、公開されている意見を分析します。
	これらは感情分析が適用できる分野のほんの一例です。実際には、何らかの感情を伝えるテキストがあり、その感情が有益な情報を含んでいる場合であれば、あらゆる場面で感情分析を適用できます。
	まず最初に申し上げたいことは以上です。それでは、JMPでの操作方法について少しご説明したいと思いますので、JMPに移りましょう。
	ここにベージュブックのデータがあります。一番下を見ると、5,000件強のレポートがあり、各レポートの日付は
	1972年5月から2020年10月までの期間、それが12の地区のうちのどの地区のものか、そして報告書の本文。これらの報告書を見ると、
	それらは単に経済が好調か不調かといった簡単な声明ではなく、ある程度の詳細な内容にまで踏み込むことができる。
	さて、これらのデータに入る前に、ベージュブックを分析するというアイデアを出し、実際にデータをダウンロードしてJMPに取り込んでくれた人に感謝したいと思います。
	分析準備完了のフォーマットです。これは、JMP開発チームのディレクターであり、Graph Builderの作成者であるXan Gregg氏のおかげです。Xanさん、ご協力ありがとうございました。
	それでは、これらのレポートすべてにおける肯定的感情と否定的感情の度合いを定量化してみましょう。分析メニューのテキストエクスプローラーを使用します。
	これが起動ウィンドウです。テキストデータをテキスト列ロールに配置します。始める前に、いくつか注意点があります。
	Text Explorerは複数の言語をサポートしていますが、現時点では感情分析は英語のみで利用可能です。また、ここで注目していただきたいのはステミングです。
	テキスト分析を行う方ならステミングが何であるかご存知でしょうが、ご存知ない方のために説明すると、ステミングとは、複数の単語をまとめて単語を圧縮するプロセスです。
	まあ、専門用語を使わずに言うと…同じ単語の複数のバージョンを一緒に並べたものです。「strong」「stronger」「strongest」を例にとってみましょう。これらは3つです。
	「強い」という単語の異なるバージョンが存在し、テキストマイニングの手法によっては、それらをすべて1つの用語にまとめて、「ああ、これらはすべて『強い』という意味だ」と言うことがあります。なぜなら、それは概念的に同じことだからです。
	ここで語幹抽出はやめておきます。なぜなら、「最強」という言葉は、何かが持つことができる最強の強さを表しているからです。
	それに対して「もっと強い」というのは、確かに強いことは分かっているけれど、さらに強くなる余地がまだある、という意味合いです。
	つまり、「strongest」は「stronger」よりも高い感情スコアを得るべきでしょう。もし語幹抽出を行うと、これらの単語の区別が失われてしまいます。その区別を失いたくないので、それぞれに異なる感情スコアを与えたいと思います。ここで語幹抽出を続けていきます。
	それでは、「OK」をクリックします。
	そしてJMPは、テキストをトークン化します。つまり、テキストを個々の単語に分解し、それぞれの単語が何回出現するかをカウントします。
	そして、ここにすべての用語とその出現頻度の一覧があります。「sales」は46,000回以上出現しており、また、こちらにはフレーズ一覧もあります。フレーズは
	2 つ以上の単語の連続で頻繁に出現するもの、そして時には実際にそれらを用語としてカウントしたい
	分析。そして感情分析では、フレーズリストを見直して、例えば「不動産」という単語を追加すると良いでしょう。これは2つの単語ですが、実際には不動産を指します。
	そして、それを付け加えることもできます。通常、テキスト分析では、ストップワードと呼ばれるものも追加します。
	それは、私たちの分析の文脈では意味を持たない言葉であり、除外したいものです。「地区」を例にとってみましょう。これは起こります...またはベージュブックでは
	「地区」という言葉を頻繁に使うのは、例えば「リッチモンド地区からの報告です」と言うだけでは、あまり意味がありません。
	でも、ここではストップワードについては特に触れません。なぜなら、ご存知のように、
	スライドの説明に戻りますが、私たちの感情スコアはすべて辞書に基づいており、そこで感情を表す単語と、それらに与えるべきスコアを選択しています。
	そして、「district」を除外すれば、必然的にスコアは0になり、感情スコアに影響を与えないので、ストップワードとして宣言する必要は実際にはありません。
	準備ができたら、ここにある赤い三角形の下にあるテキスト分析、失礼、感情分析を実行します。
	JMPは現在、感情に関する用語などを何も宣言していないため、組み込みの感情辞書を使用してすべての文書にスコアを付けています。ここでスコアを取得します。
	これらの結果を検討する前に、感情辞書をカスタマイズして、感情を表す単語とそのスコアを決定しておく必要があるでしょう。なぜなら、異なるドメインでは、
	異なる人がテキストを作成すると、特定の単語が異なるレベルの感情を帯びたり、ある場合には感情を帯び、別の場合には感情を帯びない可能性があります。そこで私たちは
	私たちが現在分析している言語によって伝えられる感情を正確に捉えた感情辞書を、非常に慎重かつ徹底的に作成します。
	JMPは、先ほども言ったように、組み込みの辞書を使用していますが、かなり簡素です。ここにあるように、絵文字がいくつかあります。
	こういった小さな顔文字などもありますが、一方で「ひどい」のように、-90 というかなり明確な感情を表す言葉もあります。
	おそらく「ひどい」という言葉を否定的な意味合い以外で使う人はいないでしょうから、その点については安心しています。ただ、リストはそれほど長くないので、いくつか用語を追加した方が良いかもしれません。
	では、その方法を見ていきましょう。私がお勧めする方法の一つは、データを確認することです。つまり、手持ちの文書をいくつか読んで、感情を表していると思われる単語を探してみてください。
	ここに、ドキュメントを閲覧して感情を表す用語を直接追加できるツールがあります。ここにドキュメント一覧があります。ドキュメント1がハイライト表示され、その下にドキュメント1が表示されています。別のドキュメントを選択して表示することもできます。
	さて、文書1を見てみると、まず最初に「悲観主義」や「楽観主義」といった感情を表す可能性のある用語がいくつか目に留まるかもしれません。
	ご覧のとおり、これらはハイライト表示されていません。これらは実際には標準の感情辞書には含まれていません。
	そして、実際にはそうではない名詞もたくさんあります。それは、「悲観主義」や「楽観主義」のような名詞は、基本的にその存在または不在を示唆するような方法で説明できるからです。ですから、「悲観主義は減少している」とか「楽観主義は減少している」と言うこともできます。
	「悲観論が著しく欠如している」「悲観論はもはや報道されていない」。
	そして、そういった場合、「悲観主義」はネガティブなものではないと言えるでしょう。ですから、感情辞書に言葉を追加する前に、文脈の中で言葉がどのように使われているかをよく考えて慎重に検討する必要があります。
	例えば、ここで用語リストに戻ることができます。フィルターだけを表示します。
	「悲観主義」という単語を探し、その単語がどのように使われているかを確認するために本文を表示してみましょう。最初の例では、「取締役たちの気分は悲観主義から楽観主義まで様々だ」とあります。
	そして次の
	「私的な会話は深い悲観主義の雰囲気を醸し出す」。実際に読んでみると、これが典型的な用法なので、ベージュブックでは、私が恐れていたような意味で悲観主義という言葉は使われていないようです。
	「楽観的な見方が強まっている。」
	だから、ここに「悲観主義」という言葉を追加することに抵抗はないので、感情辞書に追加しましょう。
	だから、その真上にカーソルを合わせると、
	ご覧のように、それに対してどうするかの選択肢がいくつか表示されます。例えば、ここでは-60というスコアを付けることができます。
	これで、その単語が対応するスコアとともに辞書に追加され、JMPの感情スコアの更新がトリガーされます。つまり、JMPは「悲観主義」という単語を検索し、それが見つかったすべての文書のスコアを調整するようになります。
	それでは、上に戻って、感情を表す用語をさらに詳しく見ていきましょう。下にスクロールすると、「悲観主義」という用語が見つかります。
	ここに、私が今付けた-60のスコアがあります。ここで、実際には...お気づきかもしれませんが、「悲観的」のスコアはデフォルトで-50なので、一貫性を保つためにここに-50と入力してもいいかもしれません。
	そうすることもできますが、別のアップデートが発生しないように、そうはしません。
	また、ここに感情を表す可能性のある用語のリストが表示されています。これらはJMPが感情を表す可能性があると判断した用語であり、辞書に含めるかどうか検討してみると良いでしょう。
	例えば、ここで「強い」という言葉を見ると、右側の文書テキストのいくつかを見ると、これは明らかに肯定的な意味合いだとわかるかもしれません。そして、これらの例をたくさん見てきたなら、本当に際立っているのは、
	「強い」という言葉と、それに対応する「弱い」という言葉は、これらの経済学者が現在の経済の良い点や悪い点について語る際によく使う言葉である。
	ですから、それらを追加することもできますし、上のボタンで例えば「ポジティブ60」をクリックして「強い」を追加することもできます。ただし、今回は感情分析を迅速に進めるために、そうはしません。
	そこで、下のテキストと同様に、ここで感情用語リストを調べて、良い候補をいくつか選ぶことができます。
	赤い三角形の下では、感情用語をより直接的に管理することもできます。つまり、完全な
	Text Explorerのユーザーにとって馴染みのある用語管理リスト、つまりフレーズ管理やストップワード管理のようなものです。
	ご覧のとおり、組み込み用語に加えて、この分析専用の新しい用語を1つ追加しました。もちろん、一部の用語を実際には含めたくない場合は、例外を宣言することもできます。
	そして重要なことに、感情辞書をインポートおよびエクスポートすることもできます。感情用語を定義するもう1つの方法は、主題の専門家に相談することです。
	経済学者たちは、明確に伝えるためにどのような言葉を使うべきかについて、おそらく多くの意見を持っているだろう。
	これらのレポートには、肯定的または否定的な感情が含まれています。もし彼らと話せるなら、それについて彼らがどう考えているのかを知りたいでしょうし、例えばタブ区切りファイルで辞書を作成し、それをここにインポートすることもできるかもしれません。
	そしてもちろん、納得のいく辞書ができたら、それをエクスポートして保存し、将来簡単に再利用できるようにしておくべきです。
	以上が、実際に感情辞書をキュレーションする方法についての簡単な説明です。また、
	強調語と否定語を整理してください。繰り返しますが、これらは単なる極性反転なので、ここではスコアは表示されません。
	それが実際にどのようなものかもう少し詳しくお見せするために、ここで感情を見てみましょう。そうすれば、
	JMPは、これらの感情表現の前に「not」という単語があることを検出し、適切なスコアを適用しました。そのため、一番上の「not acceptance」には-25のスコアが付けられています。
	つまり、私がこれをお見せしたのは、これらの否定語や強調語がJMPによって自動的に適用されているという事実に、皆さんの注意を向けていただくためです。
	とにかく、分析の設定方法についての話は置いておいて、実際に結果を見てみましょう。
	これは既に実施済みの分析バージョンであり、つまり、既に感情辞書を作成済みなので、得られた結果を実際に解釈し始めることができます。
	ここに概要を示しますが、肯定的な文書の方が否定的な文書よりも多いことがわかります。先ほど説明したように、それぞれの文書の数を確認できます。実際、左側の表の一番下を見ると、感情が全く表現されていない文書が1つあります。
	「強い」は約14,000回、「弱い」は約4,500回出現
	そして、これらの数を数やスコアで見て、最も否定的および肯定的な点を見て、
	文脈の中でそれらを見るだけでも、それ自体でかなり有益な情報が得られます。つまり、特に消費者調査のような分野では、人々がポジティブな感情を抱いている時やポジティブな表現をしている時を知りたい場合などに有効です。
	当社のブランドや製品について、顧客がどのような言葉を使っているかを知ることは、マーケティング活動の参考になるかもしれません。こうした感情分析に役立つ用語集は、その点で非常に有益です。
	製造、
	観光、投資。そして時には、それらのサブドメインのうちの1つ、いわば「特徴」に焦点を絞りたい場合もあります。
	そして、感情分析の「機能」タブに移動して「検索」をクリックすると、JMPは感情を表す用語とよく一緒に使われる単語をいくつか見つけ出し、その機能に関して感情分析をさらに詳しく行うかどうかを尋ねてきます。
	例えば「売上」を見てみましょう。「売上は低迷していると報告された」「売上の弱体化」「売上は堅調に推移していると報告されている」などを見ることができます。
	つまり、この選択した特徴量だけをスコアリングすると、JMPはこれらの大きなレポート内で「売上」という語句に言及している部分のみに感情スコアを提供し、これにより分析を洗練させたり、明確に定義されたサブドメインに焦点を絞ったりすることが可能になります。
	そしてそれは特に重要なことだ。
	分析対象の言語のドメインが、それほど厳密に制限されていない場合もあるかもしれません。例えば、
	商品レビュー。あなたは、人々がその商品についてどう感じているか、肯定的か否定的かに興味がありますが、例えば配送について言及している場合もあるでしょう。そして、配送に満足していないという意見は、必ずしもあなたにとって重要ではありません。なぜなら、それはあなたのコントロールの及ばない範囲のことだからです。
	配送に関するコメントばかりのレビューをただまとめて掲載するのは避けたいでしょう。そのため、分析対象の範囲を適切に絞り込むことが重要であり、ここで紹介する機能検索ツールはそのための一つの方法です。
	ご覧のとおり、「売上」に基づいてスコアを付けたところ、肯定的な文書と否定的な文書の分布が大きく異なっています。感情スコアのない文書が多いのは、
	単純に売上について話さない、あるいは売上について話す際に感情的な言葉遣いをしないようにしましょう。また、売上を特に捉えるための、別の感情表現用語リストも用意しました。
	これを削除させてください。
	言い忘れていたことが一つあります。簡単に触れましたが、これまで見てきた文書全体のスコアはどのように計算されるのでしょうか。それは、文書のすべての感情語の平均です。
	それは特定の文書で発生しました。では、文書1を見てみましょう。
	もし、例えば-20というスコアがどこから来たのか疑問に思ったら、マウスカーソルをその上に移動させるだけで、出現したすべての感情用語のリストが表示されます。
	そして、ここには16個のスコアがあり、一番下の「本当に明るいスポット」もすべて含めると+78になります。そして、それらのスコアをすべて足し合わせて、78で割ると…
	または16で割ると、失礼、平均感情値は-20になります。これは、総合スコアを提供する2つの方法のうちの1つです。もう1つは最小値と最大値の差によるスコアリングです。
	本文に表現されている感情。
	このレポートを見るだけでも、多くの情報を得ることができます。例えば、感情スコアや、最もよく使われる用語などです。
	しかし、多くの場合、私たちはその感情を別の方法で利用したいと思うのです。
	スライドで説明したように、グラフで見てみましょう。分析のその部分を行う際には、ここにある赤い三角形のところまで進んでください。
	そして、文書のスコアを保存します。これらのスコアはデータテーブルに保存されるため、後続の分析に使用したり、グラフ化したり、その他必要な操作を行うことができます。
	これが、JMP Pro 16 の Text Explorer に搭載される感情分析機能のプレビューです。重要なポイントは、感情分析では感情辞書を使用するということです。
	各文書の肯定的および否定的な感情的内容に対応するスコアを提供するように設定すれば、そこから、その情報を自分にとって有益な方法で自由に利用できます。
	それでは、感情分析の話はここまでにして、スライドに戻って、Text Explorerに近々搭載されるもう一つの技術について説明したいと思います。
	そしてそれが用語選択であり、用語選択は別の問いに答えるものです。それは、どの用語が、私が関心を持つ重要な変数や変数と最も強く関連しているか、ということです。
	私たちはベージュブックを使い続けるつもりです。
	統計的に景気後退と関連のある単語はどれかを調べてみましょう。こちらのグラフには、時間の経過に伴う変化率が示されています。
	GDP（国内総生産）を四半期ごとに示したもので、青は経済成長、赤は経済縮小を表しています。そして、私たちはこう思うかもしれません。
	ベージュブックに記載されている用語は、統計的にこれらの景気後退期と関連している可能性があるでしょうか？たとえば、ここにいくつか例を挙げます。
	考えてみてください。なぜ私たちは、ベージュブックに記載されている特定の用語を景気後退期と結びつけたいと思うのでしょうか？
	そうですね、用語リストを入手すること自体が有益な情報になる可能性もあります。ほら、微妙な違いが見つかるかもしれません。
	私が認識していない、あるいは定量データでは容易に捉えられない、景気後退の要因や影響。
	さらに分析するための言葉も見つかるかもしれません。もしかしたら…見つかるかもしれません。
	潜在的な感情表現用語、つまり、経済状況が特に悪い時に使われる用語で、私が最初に感情分析を行った際に見落としていたもの。
	あるいは、景気後退と非常に強く結びついた言葉をいくつか見つけて、それらを予測モデルに組み込んで、将来いつ景気後退が起こるかを予測してみるのも良いかもしれない。
	景気後退と最も強く関連付けられる言葉を知りたいと思う理由はいくつかあります。
	では、JMPではこれはどのように機能するのでしょうか？基本的には、結果変数が私たちが関心のある変数である景気後退であり、入力がさまざまな単語である回帰モデルを構築します。
	モデルに入力されるデータは文書用語行列の形式をとり、各行は
	1 つの文書または 1 つのベージュ ブック レポートがあり、列にはそのレポートに出現する単語が記録されます。ここでは「weak」列が強調表示され、「binary」と表示されています。これは、
	これは1と0で構成されます。1はレポートに「weak」という単語が含まれていたことを示し、0はレポートに「weak」という単語が含まれていなかったことを示します。これは文書を評価するいくつかの方法のうちの1つですが、今のところはこのバイナリ方式を採用します。
	そこで、この情報を回帰モデルに入力します。これが、ローンチ時の様子です。
	Y変数として景気後退があり、これは単純にイエスかノーかの変数です。そして、これらの二値項予測変数はすべてモデル効果として入力されています。
	次に、JMP Proの一般化回帰ツールを使用します。
	モデルを構築するには、一般化回帰またはGenRegと呼ばれる手法には自動変数選択技術が含まれているためです。したがって、
	正則化回帰とは、LassoやElastic Netのようなものです。もしそれが何を意味するのか分からなくても、全く問題ありません。その考え方は、自動的に
	結果変数「景気後退」と最も強く関連している用語を特定し、関連性がないと判断した用語はゼロにする。
	そしてこれにより、「不況」と、おそらく皆さんがご存知の何百、何千もの、それに関連する可能性のある言葉との関係性を考察することができるのです。
	では、分析を実行するとどのような結果が得られるのでしょうか？
	モデルを取得します。ここにあるのはそのモデルの式です。あまり気にしないでください。考え方は、
	景気後退の対数オッズ、つまり景気後退に陥る確率の関数であり、ベージュブックが発行される時期は
	ベージュブック報告書に登場する可能性のあるあらゆる単語。
	そしてご覧のように、「パンデミック」という単語の出現による影響は、係数1.94となっています。
	つまり、ベージュブック報告書に「パンデミック」という言葉が含まれている場合、「景気後退」の対数オッズは1.94倍になるということです。次に、「利益」の1.02倍がマイナスになります。つまり、ベージュブック報告書に「利益」という言葉が含まれている場合、景気後退の確率は…
	または、景気後退の対数オッズが1.02低下する。
	つまり、そこから得られるのは、「パンデミック」「延期」「中止」「差し押さえ」など、景気後退の可能性の高まりと強く関連する用語のリストです。
	また、「利益」「強化」「競争」など、景気後退の可能性の低下に関連する用語のリストも得られます。
	そこには「製造業」も見られますが、係数は比較的小さく、約-0.2です。
	そして実際にここで気づくのですが、この分析で選択されたすべての用語のグラフ表現を見ると、「製造」のような特定のドメインはあまり見られません。
	「観光」、「投資」など。それは、景気後退であろうとなかろうと、常に話題に上るからです。ですから、私たちが本当に探しているのは、使われている言葉です。
	ご存知のように、不況の時は、偶然に期待されるよりも頻繁に起こります。ですから、例えば、
	「パンデミック」が最も予測力が高いというのは、非常に理にかなっています。つい最近までパンデミックについて語られることはほとんどなく、その後景気後退も経験したので、その影響をはっきりと認識できたと言えるでしょう。
	それから、このいわば第二段階には他にもいくつかあります。「延期」「キャンセル」「差し押さえ」「悪化」「悲観的」などです。
	そして、「延期」や「中止」が不況と結びついているのは、ある意味興味深い。経済活動の延期について議論したい場合、それは理にかなっている。
	景気後退が起きているとき、あるいは少なくともそれはおそらく信頼できる傾向です。それは…それ自体が洞察です。実際、私は
	つまり、連邦準備制度理事会が経済活動の延期や中止をどのように追跡しているかは私には分かりませんが、これらの用語がこの分析で注目されているということは、おそらく追跡する価値のある事柄であることを示唆しています。
	さて、これが用語の選択です。実際に景気後退に関連する用語のリストが得られ、関連性の強さを確認できます。では、JMPでどのように行うのか、簡単に見ていきましょう。
	それでは、JMPに戻って、少し異なるデータテーブルを表示させてみます。データ自体はベージュブックのままですが、今回は国別報告書のみが表示されます。
	そして、米国が当時景気後退期にあったかどうかという付随変数があります。もちろん、これらのデータには自己相関が存在します。つまり、先月景気後退期にあった場合、そうでなかった場合よりも今月も景気後退期にある可能性が高いということです。
	ご存知のとおり、これは通常、回帰分析では問題となる可能性がありますが、今回はあくまで探索的な分析なので、それほど気にしていません。
	それでは、以前に起動方法を見たことがあるので、テーブルスクリプトからテキストエクスプローラーを起動してみましょう。
	ただし、以前と同様に、既にいくつかのフレーズ調整を行っています。また、ここでは表示されていませんが、この分析で必ずしも返されたくない単語をいくつか追加しました。
	そして、語幹抽出機能をオンにしました。用語リストにある小さな点がそれを表しています。例えば、「increase」の場合、これは「increases」「increasing」「increasingly」に統合されます。
	というのも、私は今、それら全てをある意味同じ概念として捉えているからです。そして、その概念が景気後退と関連しているかどうかを知りたいのです。
	用語選択を実行するには、赤い三角形のところまで移動して、ここで選択します。
	まず最初にコントロールウィンドウ（というかセクション）が表示され、そこでどの変数に関心があるかを選択します。今回は景気後退です。次に目標レベルを選択します。景気後退がない確率ではなく、景気後退が起こる確率で表示したいので、それを選択します。
	モデル設定をいくつか指定できます。GenReg に慣れている方なら、早期停止するかどうか、2 つの異なる方法のいずれかを選択できることがわかるでしょう。
	変数選択を行うためのペナルティ、検証に使用する統計量などを指定できます。もしこれらの設定が初めての場合は、あまり心配する必要はありません。最初はデフォルト設定のままで十分です。
	覚えていると思いますが、重み付けはあります。「弱い」という列には1と0があり、単にその単語が文書に出現したかどうかを示していますが、好きなように選択できます。
	例えば、頻度とは「弱い」という現象が発生したかどうかではなく、それが何回発生したかを示すものです。そして、これは結果の解釈方法に影響を与えます。ここでは、とりあえず二値変数で考えていきます。
	しかし、デフォルトの400ではなく、最も頻繁に出現する1,000の用語を調べたいと思います。ご覧のとおり、これは436よりもはるかに多く、通常、1,000個のXではなく436個のXでモデルを適合させることはできません。
	観察結果ですが、
	一般化回帰における自動変数選択では、これは問題になりません。つまり、これらの1000個の用語の中から最も強い関連性を持つものを選択するため、「用語選択」という名前が付けられています。
	それでは、これを実行してみましょう。ご覧のとおり、JMP は一般化回帰プラットフォームを呼び出し、これらの結果を返しました。ここには、適合されたモデルに関する情報が表示されています。たとえば、37 個の項が返されました。
	ちょっとそちらに移動させてください。右側には非常に貴重な情報があります。これは景気後退と最も強く関連する用語のリストです。
	それでは、これらの項目を係数で並べ替えて、景気後退の確率と最も強く関連しているものを見つけます。つまり、「パンデミック」「延期」「キャンセル」です。ご想像のとおり、この時点でこれらのいずれかをクリックすると、プレビューが更新されます。
	あるいは、以下のテキストの抜粋を見れば、この単語が実際に文脈の中でどのように使われているかがわかります。
	この用語集自体が非常に価値のあるものになり得ます。これまで知らなかった重要な用語や概念について、新たな発見があるかもしれません。また、これらの用語は予測モデルにも活用できます。
	さて、他にもいくつか注意すべき点があります。
	下を見ると、各ドキュメントごとに表がありますが、感情スコアの代わりに、モデルからのスコアが表示されています。
	その…
	これは私たちが「正の寄与」と呼ぶもので、景気後退の確率を予測する正の係数の寄与です。こちらには負の側の係数があります。
	そして、モデルによる景気後退の確率は71.8%で、それと実際に観測された値も比較できます。
	そして、必ずしも予測モデルを構築しているわけではありません。つまり、このモデルを使って景気後退を予測しようとは考えていません。つまり、私が使う経済指標変数は他にもたくさんあります。
	これもそうですが、これは基本的にモデルの妥当性を確認する良い方法です。予測の一部が正しいように見えますか？
	そうでない場合、返される条件を信用できない可能性があります。また、その判断を下すための他の情報もたくさんあります。例えば、上のグラフの曲線下の面積など、適合度を示す統計情報があります。
	あるいは、汎用回帰プラットフォームにアクセスして、モデルをさらに評価するための通常のオプションをすべて利用することもできます。
	詳しい説明は省きますが、それらはすべて皆さんが利用できる情報なので、モデルを評価したり、好みに合わせてモデルを調整したりして、納得のいく用語リストを作成することができます。
	ご覧のとおり、概要の下にモデルのリストがあります。これは、複数のモデルを実行したい場合があるためです。では、モデルに戻って...あ、失礼...モデルに戻って
	ここで設定すれば、少し異なるモデルを実行できます。たとえば、BICはAICcよりも少し保守的だとわかっているので、より少ない項数で分析を行いたい場合、あるいは900個の項が返されて少し圧倒されている場合などです。
	それでは、「実行」をクリックして、それを使って別のモデルを構築してみましょう。
	これで、そのモデルがリストに追加されました。これらのモデルを切り替えて、それぞれの結果を確認できます。この例では、37個の用語ではなく、14個の用語のみが返されました。以下でそれらを評価していきます。
	つまり、ここから得られる大きな出力は2つあります。まず、この用語リストです。これを保存したい場合、つまり、これらがあなたにとって重要な用語で、記録しておきたい場合は、右クリックしてデータテーブルを作成します。これでJMPテーブルができました。
	項、係数、その他の情報を含む。
	そして
	もしあなたが実際にやりたいことが、これを元のデータテーブルに書き戻すことであり、そうすることでその情報を他の種類の分析や予測モデルで使用できる、
	用語選択に進み、用語スコアをドキュメント用語マトリックスとして保存したいと指定してください。データテーブルをここに戻すと、私が彼らの
	選択された各用語に対応する列。この場合、係数値が入力され、これでこれを使用できます。
	しかし、定量的な情報は好きだ。
	以上が用語選択に関する簡単な説明です。ここでの重要な点は、私が関心のある変数に関連する用語のリストを見つけ、さらにそれらの係数を通して、その関係の強さに関する情報も得ているということです。
	それではまとめましょう。2つのテクニックを取り上げました。先ほど、重要な単語を見つける用語選択について見てきました。その前には、感情分析について復習しました。
	テキスト中の肯定的または否定的な感情の度合いを定量化する。これらは、JMP Pro 16のテキストエクスプローラーに搭載される2つの新しいテキストマイニング技術です。ぜひお試しいただき、フィードバックをお寄せください。

高度な統計モデリング基本的なデータ分析とモデリング消費者および市場調査データ統合とデータクリーンアップデータ探索と可視化実験計画法マス・カスタマイゼーション予測モデリングと機械学習品質およびプロセスエンジニアリング信頼性分析結果の共有と伝達