756824_ja-JP

liliconcom

テキストマイニングツールキットの拡張：JMP Pro 16における感情分析と用語選択（2021-US-45MP-851）

ロス・メトゥサレム、JMP システムエンジニア

テキストマイニング技術は、非構造化テキストデータから定量的な情報を抽出することを可能にします。JMP Pro 16では、テキストエクスプローラーに感情分析と用語選択という2つの機能が追加されたことで、テキストから抽出できる情報量が拡大しました。感情分析は、テキスト内の単語を感情を表す用語と関連スコア（例：「素晴らしい」+90、「ひどい」-90）のカスタマイズ可能な辞書にマッピングすることで、テキストで表現された肯定的または否定的な感情の度合いを定量化します。得られた感情スコアは、人々の主観的な感情を大規模に評価したり、客観的な概念との関係で主観的な感情を探ったり、さらなる分析を充実させたりするために使用できます。用語選択は、テキストエクスプローラー内から呼び出されるJMP Proの一般化回帰プラットフォームの正規化回帰機能を適用することで、応答変数を最も強く予測する用語を自動的に見つけます。用語選択は、重要な結果指標と、関連する非構造化テキストにおける特定の用語の出現との関係を簡単に特定するのに役立ちます。

このプレゼンテーションでは、感情分析と用語選択の両方の手法の概要を示し、実際のデータへの適用方法を示し、それぞれを効果的に使用するためのベストプラクティスをいくつか紹介します。

自動生成されたトランスクリプト...

スピーカー	トランスクリプト
ロス・メトゥサレム	皆さん、こんにちは。この春リリースされたばかりの JMP Pro 16 で JMP がどのようにテキスト マイニング ツールキットを拡張したかについてのプレゼンテーションへようこそ。
	ロス・メトゥサレムです。JMPのアカデミックアンバサダーを務めさせていただいております。本日は、2つの新しいテキストマイニング機能についてご紹介させていただきます。
	感情分析と用語選択についてご紹介します。これらが何なのか、JMPを使ってどのように使うのかについて説明した後、公開されている実際のデータを使ってこれらの分析を実行する2つの例を見てみましょう。
	感情分析と用語選択は、汎用テキストマイニングツールである JMP のテキストエクスプローラーに新たに追加された 2 つの機能です。
	これを使えば、いわゆるフリーテキストや非構造化テキストデータから定量的な情報を得ることができます。単語の頻度を導出してワードクラウドを作成したり、
	潜在的意味解析を実行し、意味的に類似した文書をクラスタリングできるようになります。今日ご紹介する2つの機能は、テキストエクスプローラーツールの機能です。
	まず、JMP Pro 16 で導入できる、人気があり、要望の多い機能である感情分析から始めます。
	よく知らない人のために説明すると、感情分析とは、非構造化テキスト データ内の肯定的な感情から否定的な感情までを定量化するものです。
	これから見ていく例は、連邦準備制度理事会が発行する物語形式のレポートであるベージュブックからのものです。
	地図からもわかるように、連邦準備制度は12の地区に分かれており、各地区は年に約8回、物語形式のベージュブックレポートを発行しています。
	その地域における現在の経済状況と将来の経済状況をまとめたものです。これらのレポートは主に定性的なデータソースに基づいているため、
	ビジネスリーダーとの会話やアンケート調査などです。ベージュブックは感情分析の良い例だと思います。
	これは公開されているデータなので皆さんと共有できますが、投資家や、
	ご存知の通り、金融機関を経営し、連邦準備制度理事会の理事たちが国内各地の経済状況についてどの程度肯定的または否定的に考えているかを知ることができます。実際にそれを使って
	おそらく意思決定を導いたり、あるいはそれを定量化できれば、統計分析や予測モデルに使用したりできるでしょう。
	それでは、ベージュブックのテキストの例を見てみましょう。
	ここでは、レポートの 1 つから抜粋した部分を示します。上から見てみると、一方でコンピューターの売上は大幅に落ち込んでいるとレポートで述べられています。
	一方、下の方を見てみると、好ましい兆候がいくつかあると報告した人がおり、「ひどく落ち込んでいる」と「好ましい」そして「改善している」が強調表示されています。
	これらはいわゆる感情フレーズです。つまり、ある種の肯定的または否定的な感情的内容を表す1つ以上の単語です。
	一番上には、非常に落ち込んでいる、つまり非常にネガティブな状態、そしてその下には、好ましい、つまり一般的にポジティブな状態があります。そして、オレンジと青や紫（見方によって変わります）という色分けを使っています。
	それぞれ肯定的な感情と否定的な感情を示します。
	多くの感情分析はまさにこれを行います。テキスト内の肯定的なフレーズと否定的なフレーズを探します。
	JMP が使用する形式、および他の場所で目にする可能性のある形式は、実際には肯定的な感情と否定的な感情を連続的なスケールで定量化します。
	たとえば、この 2 番目のテキストの下部を見ると、この地域の大手デパートの売上が低迷していると誰かが言っていることがわかります。
	上の方に売上がひどく落ち込んでいるのが見えます。下の方に売上が低迷しているのが見えます。まあ、皆さんも「ひどく落ち込んでいる」という表現の方が悪いと思うでしょう。
	売上に関しては、貧しい人よりも高い。だから私たちは、
	どちらもネガティブな感情ですが、重度のうつ状態を貧困状態よりもネガティブな感情として定量化します。これがJMPの感情分析で行っていることです。それでは、
	これらのスコアがどのように計算されるかについては、ここでは簡単に説明しますが、まずは実際に見てみる価値があると思います。
	このように個々の用語やフレーズを調べることで、感情を定量化することの妥当性を潜在的に実証できます。
	私たちが話しているのは、基本的に文書に出てくる単語に基づいてスコアを付けることです
	感情を表すと私たちが考えるもの、そしてその程度。これは一種の内的かつ主観的なものですが、この感情分析というアプローチは
	予測の妥当性を示すことができます。例えば、ベージュブックのセンチメントの推移を見ると、景気後退とかなり確実に連動していることがわかります。
	Y軸の-75から-75まで伸びているのが分かります。これはプロットした範囲です。実際のスケールは-100から-100までです。
	0が中立で、100まで上昇します。そして、時間の経過とともに平滑化されたグラフが、ベージュブック全体のセンチメントの全体的な傾向を捉えていることが分かります。
	経済不況に関しては、興味深いパターンが見られます。景気後退自体は赤で強調表示されています。特に、景気後退に先立って、センチメントが確実に低下していることがわかります。
	したがって、これは米国連邦準備制度理事会理事の感情状態を測る比較的主観的な尺度であると考えられるが、予想どおり経済不況と軌を一にしている。
	興味深いことに、これは地理的な追跡も行っています。例えば、2000年から2001年頃のドットコムバブルの崩壊では、サンフランシスコ湾岸地域の多くのインターネット関連スタートアップ企業が
	下がってしまいました。ご覧の通り、サンフランシスコのホバーラベルがハイライト表示されているので、この地域のスコアが分かります。先ほど見たように、ポジティブな感情はオレンジ色で、ネガティブな感情は青色で示されています。
	2000年に向けて感情が高まっていることがわかります
	ベイエリアでは38.65とかなり高かったが、2001年には平均で60ポイント以上急落した。
	約24.7%減です。これは国内の他の地域よりもはるかに大きな変動です。なぜなら、この地域が最も大きな影響を受けた地域だからです。
	大不況でも同様の現象が見られます。2008年の住宅市場の暴落は、センチメントの低下と連動しており、一律ではありません。
	最も大きな減少は西海岸で見られたようです。サンフランシスコ地域、ニューヨーク地域、そしてアトランタ地域です。
	私が住んでいるフロリダ州は、国内でも特に大きな被害を受けた地域です。実際、一番下の列を見てみると、フロリダ州は…
	この地域では、他の地域に比べて住宅市場の回復が遅れ、2012年頃まで回復しなかったようですが、それも当然と言えるでしょう。フロリダ州の住宅市場は、全国的に見て最も回復が遅かった地域の一つです。
	つまり、私たちは感情の主観的な尺度を持っているわけですが、それはこの場合、外部の出来事、つまり経済的な出来事と予想通り連動しています。
	繰り返しになりますが、私たちがベージュブックを参照しているのは、特に公開されている良い例だからです。
	感情分析を適用するより一般的な分野、例えば消費者市場調査などについて話している。
	顧客の声をテキストデータとして、製品レビューやアンケート回答など
	感情分析を使用すると、たとえば顧客の行動をより良く理解し、場合によっては予測できる可能性があります。これは、ここで感情を使用して経済不況をより良く理解または予測できるのと同じです。
	そうは言っても、ここ数分間私たちは感情スコアを見てきましたが、その感情スコアがどこから来ているのかという疑問が湧きます。
	JMPは語彙感情分析と呼ばれる感情分析の一種を使用します。つまり、感情辞書または
	感情辞書
	何らかの感情を帯びていると思われる個々の単語すべてにスコアを割り当てることです。例えば、「fantastic」のような単語は90点という非常にポジティブなスコアを獲得するかもしれません。これはポジティブなスコアの最大値である100点にほぼ匹敵しますが、それより少し下の「feared」はマイナス60点というスコアになります。
	これで、これらの用語にスコアを割り当てて、基本的にそれらをカウントしたり、個々のドキュメント内で平均を取ったりすることができます。
	しかし、他にもいくつか考慮すべき点があります。ベージュブックの例では、最初の感情表現が「非常に落ち込んでいる」だったことを覚えているでしょうか。
	言い換えれば、感情乗数、つまり感情の強弱を表す指標の例として、非常に強いものを挙げることができます。ここでは、感情スコアが1.4の乗数として「信じられないほど強い」と宣言できますが、実際には少し
	それを 0.3 倍にスケーリングして、感情の規模を少しだけ小さくします。
	感情を表す語に強意語が現れる場合は、その乗算を行い、さらに否定語が現れた場合も同様です。つまり、
	何かが「いいえ」または「そうではない」または「そうであるべきではない」または「そうではなかった」場合、負の 1 を掛けて、基本的に符号を反転します。つまり、正は負になり、逆もまた同様です。
	そして、どんな感情フレーズに対しても、この単純な掛け算を文書全体にわたって実行します。
	平均スコアや、感情スコアの最小値と最大値の差を取ることもできます。
	これらの文書の感情値を計算します。そして、それがグラフで私たちが見ていたもの、つまりマップ上の時系列の感情グラフです。
	これは語彙感情分析です。これは非常に一般的な手法であり、JMPに実装されている感情分析の一種です。JMPを導入すると、
	すべての感情スコアを計算すると、多くの便利な情報が得られます。感情分析レポートの例を以下に示します。
	結果の 1 つの要素だけをプレビューすると、上部に、すべてのドキュメントにわたる感情の簡単な概要が表示されます。
	わかりやすく色分けされたヒストグラムがあり、全体的な感情の分布は肯定的な傾向にあるようですが、否定的な感情の裾がかなり強いことがわかります。
	すべてのドキュメントにわたって、平均感情スコアは 4.1 であり、中立よりわずかに上であることがわかります。
	全体的に肯定的な文書は3,900件あり、平均スコアは22.9であるのに対し、否定的な文書は約1,400件あり、
	平均スコアはマイナス 15.4 なので、肯定的な文書が強く肯定的であるのに対し、否定的な文書はそれほど強く否定的ではありません。
	さて、もちろん、ベージュブックでは、1970年から現在までの平均感情スコアを見るだけで、個々の文書のスコアを見ることほど重要ではないかもしれません。
	特定の感情表現の分布を見るのもいいでしょう。しかし、繰り返しますが、データを扱っている場合は
	例えば、消費者市場調査のようなもの、顧客の声を収めたテキストデータ、あるいはこのような概要だけでも、私たちが持っているデータに基づいて、顧客がどの程度肯定的または否定的に感じているかがよくわかります。
	シンプルなレポートだけでも非常に価値があります。しかし、これからJMPに切り替えて、感情分析レポートには、データを探索して洞察を得るための様々な追加機能が備わっていることを見ていきましょう。
	それでは、JMP にアクセスして、それがどのように行われるかを見てみましょう。
	さて、JMP Pro 16.1 に入りましたが、Beige Book のデータに進む前に、Xan Gregg に感謝の意を表したいと思います。
	ご存知ない方のために説明すると、Xanは開発チームのディレクターです。Graph Builderの開発者です。
	彼は、Beige Bookのデータを見るというアイデアを最初に思いついた人物でもあり、Beige BookのアーカイブにあるHTMLページをスクレイピングして、JMPの優れたデータテーブルを提供してくれたほどです。本当にありがとうございました、Xan。
	さて、感情分析を見てみましょう。結果を見る代わりに、
	分析の設定方法を簡単に説明したいと思います。いくつか重要な考慮事項がありますので、
	JMP がどのように実装されているかだけでなく、感情分析や語彙感情分析全般をどのように行うかについても説明します。
	この設定を説明するために、2010年から現在までのデータの一部だけを見てみます。これは、私たちがこれから質問する内容を簡単にするためです。
	テキスト エクスプローラーは、分析結果を何回か自動更新しますが、これをできるだけ瞬時に実行したいと考えています。
	ここではデータのサブセットがあり、2010 年 1 月から先月の最新レポートまでの 12 地区すべてにわたる Beige Book レポートがあります。
	では、感情分析を開始するには、「分析」メニューを開いて「テキストエクスプローラー」を選択します。テキストをテキスト列ロールに入力します。いくつか注意点があります。
	1つは、テキストエクスプローラーは一般的に多くの言語をサポートしていますが、
	感情分析は現在英語でのみ利用可能です。
	もう 1 つは、少なくともテキスト エクスプローラーを使い慣れている方であれば、ステミングをオンにすることに慣れているかもしれませんが、ここではオフにしておくことにお気づきでしょう。
	ステミングを知らない人のために説明すると、ステミングとは、同じ単語、あるいは言語学的に言えば同じレムを複数の形で展開する方法です。つまり、strong、stronger、strongest です。
	私たちは、それらすべてを総合的に判断して、それらはすべて私たちの目的には強力だと言うだけです。
	そして、明らかに、ここではそんなことはしたくありません。なぜなら、最強はより強いよりも肯定的であり、より強いは強いよりも肯定的だからです。
	そのため、ステミングはオフのままにしておきます。実際、感情分析を呼び出すときにステミングをオンにしたとしても、そのステミングは無視されます。繰り返しますが、ステミングは実際には使用すべきではないからです。
	それで「OK」をクリックします。そういえば、クリックした時にちょっとした技術的な問題が発生したようです。最近、私のパソコンに何か変なことが起きていて、それが原因のようですが、大丈夫です。画面共有を再開すれば、ビデオが再び表示されます。皆さん、こんにちは。
	それで、それを共有します。さて、録画はまだ続いているようですね。JMPが正しいモニターに割り当てられているか確認させてください。どうやらそうみたいです。皆さん、申し訳ありませんでした。さて、それでは本題に戻りましょう。
	テキストエクスプローラーウィンドウが開きます。
	テキスト分析では、通常はストップワードを宣言することから始めるのが一般的です。例えば、業界の知り合いが私にこう言ったとします…とします。分析では「連絡先」という言葉は使いたくないので、通常はこうします。
	それをストップワードとして追加し、何時間もかけて読み進めます
	実際に分析を行う前にストップワードを宣言しますが、感情分析ではそうする必要はありません。
	すべては感情辞書に基づいているので、「contacts」のような単語は辞書に存在しません。いずれにせよ機能的に除外されているので、時間を節約するのに便利です。
	ただし、たとえば不動産や、これから見ていくローン需要など、ここにあるフレーズを宣言する必要があるでしょう。
	そこで「loan demand」をクリックしてフレーズとして追加します。すると用語リストに表示されるので、すぐに見つけられます。
	1,139件のインスタンスがあります。これは、これらの分析でサブドメインを掘り下げるのに役立ちます。
	このデータセットでは、全体ではなく、融資需要に関する感情のみを計算したいとします。
	これを実行するには、後で説明するように、まずそれをフレーズとして宣言する必要があります。そのため、少なくとも関心がある可能性のある非常に著名なドメインについては、いくつかのフレーズを調べて宣言するのが合理的です。
	さて、それではこれを閉じて、実際に感情分析を開始しましょう。
	私がそうしたら、本格的なレポートを公開するつもりです。これで分析は完了したように見えるので、結果の検討を開始する時期が来たように見えるかもしれませんが、これを使用しているすべての人に、ブレーキを踏んで感情辞書を検討することをお勧めします。
	ご存知の通り、様々な人々が様々な文脈で、様々な事柄について、様々な言語で文章を作成しています
	言語は様々な方法で使用できます。感情や強意語の否定語リストをカスタマイズすることが重要です。
	それを反映させるためです。つまり…「絶対に」という言葉を使うのはためらわれますが、あえて…デフォルトの感情辞書をそのまま使うのは絶対にやめましょう。自分でキュレーションすれば、より有効な結果が得られます。
	ここで感情用語を確認すると、スコアは比較的スパースな組み込み辞書に基づいていることがわかります。
	しかし、実際にテキストを読んで、辞書に追加すべき単語がないか確認したいと思っています。
	組み込みリストからいくつかを除外しますが、そのリストは比較的まばらなので、理想的には、あまり多く、あるいはまったく除外する必要はありません。
	レポートの下部には、検索結果の閲覧だけでなく、辞書を整理するためのツールも用意されています。この文書テーブルで文書を選択すると、テキストが表示されます。
	すぐ下にあります。それでは画面下部から少し離れます。テキストでハイライトされているように、感情を表す用語とフレーズが既に検出されています。少しだけ優れていますね。
	しかし、例えばここに「弱い」という言葉があります。現在の状況は依然として弱いままです。そして、私が知る限り、これは非常によくあることです。
	ベージュブック報告書で、何かが本質的に悪いことを示す用語です。私は経済学者ではないので分かりませんが、経済学では、
	ご存知のとおり、弱いというのは悪いことの同義語であり、強いというのは良いことの同義語です。これは、これらのデータをかなり調べた私の見解です。
	ハイライトされていないのが分かりますね。これは「weak」が現在辞書にないことを意味しますが、簡単に追加できます。マウスオーバーするだけで
	テキスト内に用語を直接入力し、否定語として追加できます。強意語の値や感情値を指定して、中程度に否定的な意味を表すこともできます。ここでは「Negative 60」をクリックします。
	そして、それが辞書に追加され、すべての感情スコアがここでリアルタイムで再計算されます。
	これで、感情表現リストで「weak」を選択して、その単語の出現回数をすべて確認できるようになりました。表のcount列に戻ってみると、ベージュブックデータのこのサブセットでは「weak」が1,012回出現していることがわかります。
	したがって、ドキュメントのランダムなサブセット、または階層化されたランダムなサブセットを必ず読んで、辞書に属する感情用語を特定してみてください。
	さて、この感情リストという便利な機能に頼ることもできます。
	これは実際に、皆さんの検討のための潜在的な感情表現を提示します。例えば、「強い」はここにあります。「弱い」を入れました。私は確かに強いものが欲しいので、それを「強い」と宣言します。
	強い。
	ショートカットボタンを使っています。プラス60、マイナス60ですが、マイナス100から100までの好きなスコアを入力できます。例えば、強いスコアは50にしたいかもしれません。そうします。下を見れば、すべてが自動更新されているのが分かります。
	感情表現のリストには注意してください。また、否定の強意語の使い方については詳しく説明しません。ただし、同じ考え方が当てはまります。
	これらがあなたのドメインを本当に反映していることを確認し、その後、赤い三角形の下にある完全な用語管理ツールにアクセスして、手動でいくつかの用語を入力することをお勧めします。おそらく、最も強いものが欲しいので、スコアを 90 にしたいのです。
	ここにバッチ形式で追加することができます
	毎回自動更新することなく、感情用語リストをインポートおよびエクスポートすることもできます。
	これは、他の人と共有したり、移植可能にしたり、作業を追跡して再現できるようにしたりするのに最適です。
	結果が感情用語リスト、さらに強意語と否定語に大きく依存するため、セットリストがある場合は、それをエクスポートして完全に文書化し、新しい分析にインポートして複製できるようにすることを強くお勧めします。
	分析の設定についてはこれで十分です。感情分析を実行するとレポートが表示されますが、そのレポートにすぐに飛びついてはいけないという点を強調しておきたいと思います。まずは辞書を整理しましょう。
	だから、私は
	その点を容赦なく打ち破ったので、実際にそのレポートを見てみましょう。
	これからやることは、この場合は5,300以上のデータを使って、完全に焼き上がったレポートを取り込むことです。
	ベージュブックの報告書はこちらです。先ほども申し上げましたが、結果のセクションには全体的な概要が記載されています。これについては改めて説明しません。
	個々の文書すべてにアクセスできるようになっているので、どの文書でもスコアリング方法や内容を確認できます。感情を表す用語やフレーズが文脈の中でどのように使われているかを探ります。
	この表では、例えば文書の合計肯定スコアなど、いくつかの便利な指標も確認できます。
	文書内の肯定的な感情フレーズの平均スコアです。否定的な感情フレーズについても同様で、全体のスコアも同じように表示されます。
	これらの値にマウスを合わせると、実際に計算方法が表示されます。負のスコアの平均を見ると、合計7つの用語があり、それぞれのスコアと平均がわかります。
	また、この場合の否定的な 1 の平均は、肯定的と否定的を含むすべての感情用語の平均スコアであることもわかります。
	このレポート内の要素にマウスオーバーすると、役立つ情報が表示される便利な機能がたくさんあります。ぜひ試してみてください。マウスを色々な場所に動かしてみてください。きっと役立つ情報が見つかるはずです。
	さて、通常、このようなテキストマイニングを行う際には、個々の文書をあまり詳しく調べません。つまり、もし全部読めれば、
	そうすれば、私たちはコンピュータよりも言語を理解する能力に優れています。ですから、5,300件の文書を全て調べるのではなく、スコア順に並べ替えて、最も否定的な項目だけを見ることができるのです。
	報告書を読んで、実際に読んで、
	人々が特にネガティブな時、何に対してネガティブなのでしょうか？そのネガティブな感情を引き起こしている原因について、何が学べるでしょうか？特に消費者調査では、製品レビューやアンケート調査などを見ることが非常に有益です。
	また、感情用語リストがあり、表示されるさまざまな感情用語とその出現頻度、
	それらに関連付けられたスコアが表示されます。そして、それらのいずれかを選択すると、その用語を文脈の中で確認することもできます。つまり、特定の感情を表す用語が使われている場合、
	データの中で、なぜ人々がそのキーワードを使用しているのか、何がそのキーワードの使用を促しているのかを理解するために、文脈の中でより深く理解したいということがよくあります。これは、キーワードを選択して、その下のテキストを閲覧するだけで簡単に行えます。
	さて、最後に、感情分析で最も役立つ機能の 1 つと思われるのが、この機能タブにあります。
	検索をクリックすると、感情用語と一緒に頻繁に出現する非感情用語が検索され、ドリルダウン分析が可能になり、その用語に関してのみ感情を評価できます。
	選択された用語、あるいは機能、あるいはサブドメインと呼ぶこともできます。売上に関する感情だけを見ると、売上が弱く、弱まっていることが報告されていることがわかります。
	あるいは、先ほど少し言い換えたいと言った点に戻りましょう。このリストから融資需要を見つけてみましょう。
	ローン需要に関する感情のみに基づいて、すべての文書にスコアを付けてみましょう。もちろん、これはいくつかの指標を使っています。
	自然言語処理は、ローン需要に当てはまる感情フレーズと当てはまらない感情フレーズを判断するために行われます。どのNLP手法でも100%の正確性はありませんが、特に英語で書かれた整形式のテキストでは、その正確性は
	ベージュブック報告書のように、それはかなりうまく機能しているようです。例えば、融資需要について彼らがどう感じているかが分かります。
	これらすべての報告についてどう思いますか？全体的には肯定的なようですが、中には特に否定的な報告もいくつかあります。
	最後にここで指摘しておきたいのは、話を元に戻すために、これを実行したときにスパイクがあることにおそらく気づいてください。これは、プラス 60 とマイナス 60 のように見えます。
	これは、この分析を行う際に感情辞書をキュレートすること、そして結果を解釈する際にそれをどのように構築したかを説明することがいかに重要であるかを改めて強調しています。
	つまり、このプラス 60 での急上昇は、最初に辞書に多くの感情用語を入力したときに、これらのショートカット ボタンを使用していたためである可能性があります。
	30、60、90個のショートカットボタンがあるので、スコアが急上昇するのを期待して準備を進めています。
	プラス 60 とマイナス 60 です。そして、もう少し注意してスコアをもっと細かくしていたら、おそらく、この興味深い、いわゆる分布は見られなかったでしょう。
	だから私は、感情辞書を入手することの重要性をもう一度強調するために、これを指摘するだけです
	事前にまとめておけば、この機能を使えば、全体的な感情、文書ごとの感情、個々の用語ごとの感情、さらにはサブドメインごとの感情など、役立つ情報をすべて得ることができます。
	こちらのセクションをご覧ください。そしてもちろん、JMPではお馴染みの通り、作成したデータを保存するには、赤い三角形の下にオプションがあります。例えば、ドキュメントスコアを保存するなどです。
	ここに表示されているデータ テーブルに戻ると、この場合はローン需要サブドメインのスコアがデータ テーブルに保存されていることがわかります。これにより、スライド用に作成したグラフなど、さらに分析したりグラフを作成したりする際に、スコアを使用できます。
	これがJMP Pro 16の新機能、感情分析です。テキスト内の肯定的感情と否定的感情を定量化します。そして
	それでは、もう一つの新しいテキストマイニング手法である用語選択についてお話ししましょう。その名の通り、用語選択とは、何らかの結果、つまり何らかの指標と関連する単語を特定することです。例えば、ここには次のようなものがあります。
	ベージュブック報告書のテキストも取り入れることもできるが、
	経済変数、たとえば GDP を調べ、ベージュブック レポートの特定の用語が GDP とどのように連動しているか、あるいは経済が不況にあるかどうかなどの 2 値変数とどのように連動しているかを確認します。
	これは...ここでの用語選択は、他の変数に関連付けられた単語を見つけるための汎用ツールであり、便利です
	解釈の文脈では、おそらく他の変数の要因を見つけるため、または、おそらく予測モデリング演習では、何かを予測する用語を特定して、将来、それらの用語を使用して予測に役立てることができます。
	それでは、用語の選択がどのように機能するかを見てみましょう。ここでは、消費者金融保護局の消費者苦情の別の例を見てみましょう。
	データベースです。消費者が金融商品やサービスに関して苦情がある場合、CFPBにその苦情を申し立てることができ、CFPBが消費者と金融機関の間を仲介します。
	金融商品やサービスの提供者です。これらのデータから何が見つかるかの一例を挙げましょう。ある人が信用情報報告書を監視していたところ、3,900ドルの回収通知が提出されていたにもかかわらず、それについて何も知らないと主張しています。
	また、データテーブルには、消費者が異議を唱えたという列があります。ここで消費者は異議を唱えており、これは、消費者が回答を受け取ったことを意味します。
	金融サービスプロバイダーに問い合わせたところ、回答に満足しなかったため異議を申し立てました。
	データテーブルのヘッダーグラフの仕様を見ると、それほど一般的ではないことがわかります。このデータセットでは、5分の1程度です。
	消費者紛争につながる可能性がありますが、この顧客と取引している金融会社であれば、何らかの回答を出した後に、その回答に対して異議を唱え続けるような事態は避けたいはずです。どのような種類の苦情があるのか​​を理解しておくとよいでしょう。
	実際に消費者紛争につながるような案件が入ってくるので、紛争に発展しそうな案件を事前に特定できるようになるかもしれません。
	あるいは、紛争解決の実務をより深く理解し、紛争件数を減らすだけでも良いでしょう。注意すべき理由はたくさんあります。
	消費者の苦情の物語データを使用して、そもそも何がこれらの紛争を引き起こしているのかを調べます。用語選択では、その結果、つまり紛争変数に関連するテキスト内の個々の用語を見つけます。
	これは用語選択分析の結果をグラフにしたものです。Y軸に用語の集合が描かれています。X軸には対数価値があり、これは
	関連性の統計的証拠の強さを表す指標です。これはlogworth値で並べられており、一番上には
	そこに「violate」と小さな点があります。これは実際に語幹処理が行われていることを示しています。つまり、「violate」は「violate」「violated」「violation」などを意味します。
	違反という言葉が消費者紛争と関連していることを示す強力な統計的証拠があり、実際、色分けでは
	効果の強さはオッズ比で表すことができます。つまり、誰かが「違反する」という言葉を口にすると、
	争いになる確率は1.5倍くらいに上がります。だからもし私が
	金融サービス提供者であれば、その用語に注意する必要があるかもしれません。人々が特定の違反をいつ、どのように主張しているかを調査したいかもしれません。後でわかるように、それは実際には連邦法違反です。
	彼らが苦情の中でそう主張するとき、私たちはそれをどのように処理しているのでしょうか。私たちはそれを満足のいくように処理していないように思われるからです。
	おそらく、その用語の有無を予測モデルの一部として使用して、問題となる可能性のある苦情を事前にフラグ付けし、解決をエスカレートできるようにしたいと考えられます。
	では、これはどのように機能するのでしょうか？まず、文書用語マトリックスから始まるモデルを構築します。これはテキストの表現であり、各
	行は1つの文書で、各列は出現する可能性のある1つの用語です。そして
	この場合、いわゆるバイナリ重み付けを使用します。つまり、その用語が文書に出現する場合は1を入力し、出現しない場合は0を入力します。重み付けは他にもありますが、この例ではバイナリ重み付けを使用します。
	これらのバイナリ列をモデルの予測変数として入力すると、特に
	JMPの一般化回帰分析についてですが、その理由は後ほど説明します。まず、ここで行っているのは回帰分析であり、実際には
	おそらく、用語選択をテキスト回帰と呼ぶ人もいるでしょう。
	モデルの形式についてはあまり心配しないでください。ここで強調したいのは、何らかの結果変数を扱っているということです。
	バイナリ変数なので、これはロジスティック回帰の対数オッズであり、これは切片プラスに等しいと言えます。
	ご存知の通り、係数と何らかの変数を掛け合わせたものです。この場合、1か0の2進数で、違反があったかどうかを表します。
	もう 1 つの係数値 (この場合は、負の 0.2 倍の別のバイナリ変数) が追加されます。ここでは、誰かが「電話を切った」という用語を言ったかどうか、などです。
	そこで、このモデルにたくさんの用語を入力し、一般化回帰法を使って、どの用語がモデルに属し、どの用語が属さないかを選択します。そして
	ここで示しているのは、JMP がそのソリューションを計算し、どの用語が属し、どの用語が属さないかを示す例です。
	ここのソリューション パスでは、モデルに入力されたすべての用語が青色で表示され、予測値に実際には追加されないためモデルに実際には含まれなかったすべての用語が黒色で表示されます。
	最終的に得られるのは項のリストです。それぞれのモデル係数値があります。例えば、違反の場合、0.4という値が得られます。これは実際には
	モデルを当てはめる際の係数の値です。また、先ほど述べたように、統計的証拠、つまり証拠の強さの尺度も得られます。
	この logworth 値は 16.58 ですが、経験則から言うと、2 を超える値は強力な統計的証拠とみなされますが、実際には、logworth は p 値の 10 を底とする負の対数なので、値 2 は p 値が .01 であることを意味します。
	つまり、この場合は係数、つまりこれが紛争の確率をどの程度増加または減少させるかという指標と、この指標の証拠が実際にどれほど信頼できるかを示す指標の両方があるということです。
	この情報を利用すると、さまざまなことが可能になります。JMP に移動して実際にこの分析を実行する方法を見ていきましょう。
	それで、もう一つのデスクトップに戻って、消費者からの苦情データを表示します。
	そして
	最初からテキスト エクスプローラーを起動する代わりに、ここではテーブル スクリプトを使用して起動します。
	すると、これが表示されます…すみません、間違った画面に表示されてしまいました。さあ、どうぞ。
	ご存知のとおり、まずは分析に実際に入力する用語のリストを作成します。次にフレーズリストを作成し、用語リストに含まれる特定のフレーズを、分析に含める必要があるかどうかを指定します。
	私は「公正信用報告法」のようなフレーズをたくさん含めました。なぜなら、そのフレーズやその概念の言及が消費者紛争に関連している場合、それを見つけたいからです。
	また、ストップワードの管理画面に行くと、たくさんのストップワードが宣言されていることに気づくでしょう。これらはすべて
	分析に含めたくない理由は、主に他の単語を圧倒してしまう可能性があるからです。
	これらは非常に頻繁に使用される可能性があり、最も頻繁に使用される 500 個の単語のみを分析するように要求した場合、それを台無しにしたくないでしょう。
	特に、たとえ able が dispute に関連する用語として返されたとしても、自分が何をするか、それをどうするか、able のような一般的な単語をどのように解釈するかが正確にはわかりません。
	したがって、ストップワードとストップフレーズを時間をかけて入力し、準備ができたら、赤い三角形の下で用語選択を呼び出します。
	そこで、まずは
	結果変数、つまり消費者が異議を唱えるということです。私たちは、紛争が発生する確率という観点から物事を話したいのです。
	ここでは連続変数とカテゴリ変数の両方を設定できます。どちらも機能します。また、ここで議論しているのは紛争であることも付け加えておきます。
	つまり、誰かが何かに異議を唱える場合、それはおそらくその人が満足していないからである、という、感情の代理のようなものだと考えられるかもしれません。
	しかし、感情をより直接的に測定する外部変数、たとえば製品の星評価など、満足度を実際に示すデータを持っている人がいることは一般的かもしれません。
	それで、もしテキストデータと一緒に感情の適切な尺度があれば、このようなツールを使って、いわゆる
	データから得られる感情分析では、このツールを使用して感情の尺度を予測する用語をマイニングし、感情の用語を選択して自動的に
	スコアがどうあるべきかを知ることができます。これはかなり便利です。ただ、ここでやっているのはそういうことではありません。もっと一般的な用途で使っています。
	さて、この文書用語マトリックスでは、2値重み付けを採用することにします。簡潔にするために、最も頻出する200個の用語だけを見てみましょう。
	201項以降は分析には含めません。実際にはもっと含めるかもしれませんが、デモ用に見やすく、スピーディーに表示させたいからです。
	GenRegユーザーであれば、
	推定方法と検証方法を事前に指定するためのオプションがいくつかあります。ここではデフォルトのままにして、「実行」をクリックします。
	JMPはGenRegを呼び出し、ロジスティック回帰モデルを構築し、Elastic Net法を用いて変数選択を行っています。
	2度目の技術的なトラブルが発生したようです。大変申し訳ございません。このモデルが適切であれば、すぐに対応いたします。それでは、画面共有を復旧いたします。
	戻ってきます。まだ録音中のようですので、そのまま進めます。それでは結果です。
	レポートの詳細に入る前に、まずはサマリーテーブルのこの1行だけを見てみましょう。これは、これまでに構築した単一のモデルの概要を示しています。
	例えば、145個の用語が返されたことがわかります。検証にはAICcを使用したので、AICc値が表示されています。その他の適合統計も確認できます。
	そして、他のモデルと同様に、データに最適なモデルを構築するために、モデルを複数回実行してみる必要があるかもしれません。
	ここでこの一般化回帰ノードに移動すると、GenReg が実際にテキスト エクスプローラーに埋め込まれていることがわかります。
	適合させたモデルをより詳細に調べることもできますが、私の場合は、実際にもう1つのモデルを適合させて、より良くなるかどうかを確認したいと思います。適応型弾性ネットを作成しましょう。
	そして、代わりにそのモデルを適合させて、すでに適合させた通常の弾性ネットよりも優れているかどうかを確認します。
	はい、そのモデルにも適合しました。
	要約に進むと、この検索で​​は 98 個の用語が返され、実際には AICc が低いため、より適合している可能性があることがわかります。
	それで、このモデルを使うことにします。元のモデルを使いたい場合は、クリックするだけです。ご覧の通り、下のレポートは、この表で選択したモデルに更新されています。
	ここに用語のリストがあります。これについては既にお話ししましたので、係数の観点から見てみましょう。ここに最も大きな影響を与え、消費者紛争の発生確率を高める用語があります。
	消費者紛争の発生確率を最も下げる効果のある例文をご紹介します。例えば、「hang up（電話を切る）」という表現は、相手が電話を切る、あるいは相手が電話を切るといった意味合いで使われています。
	これは紛争の可能性が減少することを予測するものだと思います。なぜなら、これは実際にはコミュニケーションの問題であり、解決が少し容易になる可能性があるからです。
	ここでも、logworth 値 2.883 に注目してください。これは、前に述べた経験則の 2 より少し上です。したがって、これが実際の関連性であるというかなり強力な統計的証拠があると言えるでしょう。
	この点を強調するために、ここを見てみると「警察」という言葉があります。私の第一印象は、人々が「警察に届け出た」「警察に電話した」と言っているというものでした。
	おそらく、私たちが何らかの対応をとったとしても、彼らが立ち去る可能性はそれほど高くないでしょう。誰かがすでに警察を呼ぶレベルに達しているなら、その確率はさらに上がるはずです。
	しかし、
	ログワースさん、この統計的証拠は実際にはそれほど強力ではないことがわかります。ですから、これは私の直感に反しますが、おそらく、完全に真実ではないのかもしれません。
	これは、経営陣にこの件を報告して「もし人々が警察に通報したと言うなら、それはむしろ良いことだ」と言いたいほどではありません。私たちは決してそうは言っていません。このモデルに組み込むために選ばれたのは、最終的に、
	より適合性の高いモデルが得られますが、結果を解釈する際には私たち自身の知識と常識を適用することが依然として重要です。
	この表は、もしあなたが本当にやろうとしていることが用語を特定し、その効果をある程度定量化することだけであれば、
	これが分析の目的かもしれません。右クリックしてデータテーブルを作成しましょう
	これらの用語とその係数および logworths のデータ テーブルを取得し、これを使用して、以前の応答や改善の取り組みの分析をガイドしたり、今後何らかの予測モデルに含める必要がある用語としてフラグを付けたりすることもできます。
	しかし、ここで回帰モデルを構築したので、個々の文書レベルで、
	紛争の確率の増加を予測する係数の合計、減少を予測する係数の合計、全体的なモデル値、
	モデルが割り当てた矛盾と、実際に観察された矛盾です。つまり、個々の文書レベルで実際に評価する際に予想されるすべてのこと、つまり、このモデルがどれだけうまく機能するかということです。
	上部には、この場合は個々の文書とその貢献と呼んでいるものの概要も記載されています。
	これらの係数値の合計または平均です。例えば、30,412件の文書の係数値の合計が正の値で、平均係数値、つまり平均寄与は約0.57です。
	繰り返しますが、これは単なるフラグです。ご存知のとおり、ここでは回帰係数について話しています。したがって、これらの寄与値、係数表はすべて、構築するときと同じように解釈する必要があります。
	そうでなければ線形回帰モデル、つまりこのロジスティック回帰の場合、これらを次のように解釈すべきである。
	適切に言えば、指数化すると対数を扱うことになります。または、失礼ですが、オッズ比を扱うことになります。つまり、この単語がテキストに出現した場合にオッズが増加または減少する係数です。
	回帰分析にあまり詳しくない場合でも、これらの値はより一般的な意味で役立ちます。つまり、どの項が最も強い影響を与えているのか、あるいは影響を与えていないのかを確認することができます。ログワースの場合も同様で、どの項が最も強い証拠を持っているのか、あるいはそうでないのかを確認できます。
	さて、最後に、ご想像のとおり、用語テーブルを保存する方法についてはすでに説明しましたが、目標が用語テーブルではなく、モデルである場合は
	構築したモデルを保存するオプションもあります。使用するモデル「Adaptive Elastic Net」を選択し、赤い三角の下にある予測式を保存できます。
	ちょっとここでコンピュータが少し混乱すると思います。文書の用語マトリックスを保存しています。これは指定した上位200語のものです。そして、数式も保存します。
	これらの列、つまり文書用語行列を操作して、実際にモデルを計算します。ここに文書用語行列があります
	そして最後に数式列があるので、実際に使用できます
	必要に応じてこのモデルを直接操作します。
	これが用語選択です。もう一度簡単に言うと、私たちが関心のある結果変数と最も強く関連する用語を見つけ出すことです。これは、その結果の要因をより適切に解釈するため、あるいは、その結果を予測するためのモデリング手法に情報を提供するためです。
	これで、用語選択と感情分析という、この春に導入されたばかりの JMP Pro 16 の 2 つの新しいテキスト マイニング機能についての説明は終わりです。
	これから少しの間ここにいて、皆さんの質問に答えたいと思います。
	ご存知の通り、この2つの新機能についてです。また、このプレゼンテーションに関するユーザーコミュニティページに、後日いつでも追加のコメントや質問を投稿していただけます。私は常に注目しています。
	ご質問があればいつでもお答えします。皆様、お時間を割いていただきありがとうございました。どうぞお元気で。

高度な統計モデリング基本的なデータ分析とモデリング消費者および市場調査データのブレンドとクリーンアップデータの探索と可視化実験計画法マスカスタマイゼーション予測モデリングと機械学習品質およびプロセスエンジニアリング信頼性分析結果の共有と伝達