398687_ja-JP

liliconcom

テキスト マイニング ツールキットの拡張: JMP Pro 16 の感情分析と用語選択 (2021-US-45MP-851)

レベル: 中級

 

Ross Metusalem、システム エンジニア、JMP

 

テキスト マイニング技術により、非構造化テキスト データから定量的な情報を抽出できます。 JMP Pro 16 では、テキスト エクスプローラーの機能にセンチメント分析と用語選択という 2 つの機能が追加されたことにより、テキストから抽出できる情報が拡張されました。 センチメント分析は、テキストの単語を感情を伝える用語と関連スコアのカスタマイズ可能な辞書にマッピングすることにより、テキスト内で表現される肯定的または否定的な感情の程度を定量化します (例: 「素晴らしい」、+90、「ひどい」、-90)。 結果として得られる感情スコアは、人々の主観的な感情を大規模に評価したり、客観的な概念に関連して主観的な感情を調査したり、さらなる分析を強化したりするために使用できます。 用語選択は、テキスト エクスプローラー内から呼び出される JMP Pro の一般化回帰プラットフォームの正則化回帰機能を適用することにより、応答変数を最も強く予測する用語を自動的に検索します。 用語の選択は、重要な結果の測定値と、関連する非構造化テキスト内の特定の用語の出現との間の関係を簡単に識別するのに役立ちます。

 

このプレゼンテーションでは、センチメント分析と用語選択の両方の手法の概要を示し、それらを現実世界のデータに適用する方法を示し、それぞれを効果的に使用するためのいくつかのベスト プラクティスを共有します。

 

 

自動生成されたトランスクリプト...

 

スピーカー	成績証明書
ロス・メトゥサレム	みなさん、こんにちは。この春にリリースされたばかりの JMP Pro 16 で JMP がテキスト マイニング ツールキットをどのように拡張したかについてのプレゼンテーションへようこそ。
	私はロス・メタレムです。 私は JMP の学術アンバサダーなので、これら 2 つの新しいテキスト マイニング機能を皆さんと共有します。
	感情分析と用語の選択。 これらが何であるか、およびそれらと JMP の使用方法について説明し、実際に公開されているデータに対してこれらの分析を実行する 2 つの例を見ていきます。
	したがって、センチメント分析と用語選択は、汎用テキスト マイニング ツールである JMP のテキスト エクスプローラーに新たに追加された 2 つの機能です。
	これを使用すると、一般にフリー テキスト データまたは非構造化テキスト データと呼ばれるものから定量的な情報を導き出すことができます。つまり、単語の頻度を導き出すことから始めて、ワード クラウドを作成することができます。
	潜在的な意味分析を実行して、意味的に類似したドキュメントをクラスター化できます。 したがって、今日説明する 2 つの機能は、テキスト エクスプローラー ツール内の機能です。
	まずはセンチメント分析から始めます。これは人気がありリクエストの多い機能であり、喜んで JMP Pro 16 で導入します。
	馴染みのない方のために説明すると、感情分析とは、非構造化テキスト データ内の肯定的な感情から否定的な感情までを定量化することです。
	ここで取り上げる例は、連邦準備制度が発行したナラティブレポートであるベージュブックからのものです。
	地図でわかるように、連邦準備制度は 12 の異なる地区に分かれており、各地区は年に約 8 回、物語的なベージュブックレポートを発行します。
	これは、その地理的地域自体の現在および潜在的な将来の経済状況を要約したものです。 そして、これらのレポートは主に定性的なデータ ソースに基づいているため、次のように考えてください。
	ビジネスリーダーとの会話、調査など。 したがって、ベージュブックはセンチメント分析の良い例を提供していると思います。
	これは公開されているデータなので、皆さんと共有することができますが、もしあなたが投資家やあなただったら、非常に興味深いものになるでしょう。
	ご存知のとおり、金融機関を経営していた人は、連邦準備制度理事会の理事たちが国内のさまざまな地域の経済状況についてどの程度肯定的または否定的に感じているかを把握していました。 実際にそれを使用して、
	おそらく意思決定の指針となるでしょう。あるいは、定量化できる場合でも、統計分析や予測モデルに使用することもできます。
	それでは、ベージュブックのテキストの例を見てみましょう。
	ここにはレポートの 1 つから抜粋したものがありますが、上から順に、このレポートではコンピューターの売上が一方で大幅に落ち込んでいると述べていることがわかります。
	一方、一番下まで行くと、ある個人は、多くの有利な方向にあると報告しているため、ここでは「深刻な落ち込み」と「好調」、そして「改善」も強調表示されています。
	なぜなら、これらはいわゆる感情表現だからです。 したがって、これは、ある種の肯定的または否定的な感情的内容を示す 1 つまたは複数の単語です。
	したがって、一番上には、非常に落ち込んでおり、これは非常にネガティブです。次に、その下に、好意的で、これは一般的にポジティブです。そして、この色分けを使用して、オレンジとこの青または紫が区別されるようにします（方法に応じて）。わかりますね）
	それぞれ肯定的な感情と否定的な感情を示します。
	そして、多くの形式の感情分析はまさにこれを行います。 彼らはテキスト内の肯定的なフレーズと否定的なフレーズを探します。
	JMP が使用する形式 (他の場所でも見かける可能性があります) は、実際に肯定的な感情と否定的な感情を連続的なスケールで定量化します。
	たとえば、この 2 番目のテキストのスニペットの下部に注目してください。そこでは、誰かが、この地域の大手デパートの売上が低迷していると報告していることがわかります。
	つまり、上部では売上が大幅に落ち込んでおり、下部では売上が低迷していることがわかります。 そうですね、重度のうつ状態はもっと悪いということには誰もが同意すると思います
	売上に関しては貧しい人よりも優れています。 それで、私たちはそうしたいかもしれません。
	どちらもネガティブですが、重度の落ち込みは貧しいよりもネガティブであると定量化されており、それが JMP のセンチメント分析で行われることです。 そして、話しましょう
	特にこれらのスコアの計算方法についてはすぐに説明しますが、その前に実際に見てみる価値があると思います。
	このような個々の用語やフレーズに注目することで感情を定量化することの有効性を実証できる可能性があります。
	私たちが話しているのは、基本的に、文書内に出現する単語に基づいて文書をスコアリングすることです。
	私たちが感情を表すと考えているものと、その程度。 それは一種の内面的で主観的なものですが、このアプローチ、感情分析は、
	ある程度の予測の妥当性を実際に示すことができます。 たとえば、ベージュブックのセンチメントが時間の経過とともにどのように推移するかを観察すると、実際に景気後退にかなり確実に追従していることがわかります。 ここに感情があります
	y 軸上。 マイナス 75 から 75 まで広がっていることがわかります。これは、プロットした範囲にすぎません。 実際のスケールはマイナス 100 から始まります
	100 まで (ゼロは中立です)。 そして、すべてのベージュ ブック レポートにわたるセンチメントの一般的な傾向を時間の経過とともにより滑らかにキャプチャしていることがわかります。
	経済不況に関して興味深いパターンが見られます。それ自体が赤で強調表示されています。 特に、景気後退の前にはセンチメントが確実に低下していることがわかります。
	したがって、これは米国連邦準備制度理事会の理事たちの感情状態であると私たちが考える比較的主観的な尺度ではありますが、つまり、ご想像のとおり、景気後退と連動しているということです。
	興味深いことに、実際に地理的に追跡することもできます。 2000 年から 2001 年頃のドットコム崩壊を例に考えてみましょう。当時、サンフランシスコのベイエリアではインターネット関連の新興企業が多数集まりました。
	下に行きました。 ここではサンフランシスコのホバー ラベルが強調表示されているので、その地域のスコアを確認できます。 前に見たように、オレンジ色はポジティブな感情を表し、青色はネガティブな感情を表します。
	2000 年までにその感情が高まっていることがわかります。
	ベイエリアでは 38.65 とかなり高かったが、2001 年には平均で 60 ポイント以上急落し、
	マイナス約24.7。 そして、それは国内の他の地域で見られたよりもはるかに大きな変動です。なぜなら、その地域が最も大きな影響を受けた地域だからでしょう...おそらく、そこが最も大きな影響を受けた地域だからです。
	そして、大不況でも同様のことが見られます。 したがって、2008 年の住宅市場の暴落はセンチメントの低下に対応しており、一様ではないと考えられます。
	最も大きな減少が見られたのは西海岸のようです。つまり、これもサンフランシスコ地域、ニューヨーク地域、そしてアトランタ地域です。
	私が住んでいるフロリダは、国内でも特に被害が大きかった地域です。 そして実際、下の段を見下ろすとフロリダが見えます...
	この地域全体では、他の地域に比べて 2012 年頃までセンチメントが回復しないようですが、それは当然のことだと思われます。 フロリダ州の住宅市場は、全国的に最も遅れて回復した市場の一つとなった。
	このように、私たちは感情の主観的な尺度を持っていますが、それは、この場合、私たちが予想するような形で、外部の出来事、つまり経済的な出来事と連動しています。
	繰り返しになりますが、私たちがベージュブックに注目しているのは、公開されている特に優れた例だからです。 もし、あんたが
	消費者市場調査など、センチメント分析を適用するためのより一般的な領域について話しているのです。
	お客様の声をテキストデータ化しているので、商品レビューやアンケート回答など、
	ここでセンチメントを使用して景気後退をよりよく理解または予測できるのと同じように、センチメント分析を使用して顧客の行動をより深く理解し、場合によっては予測することもできるかもしれません。
	そうは言っても、私たちはここ数分間感情スコアを調べてきたことに気づきましたが、それがどこから来たのかについては本当に疑問が生じます。
	そのため、JMP は語彙感情分析と呼ばれる感情分析の形式を使用します。 したがって、感情辞書を使用するか、
	感情辞書
	何らかの感情を含んでいると思われるすべての個々の単語にスコアを割り当てます。 したがって、「素晴らしい」などの単語には 90 点のスコアが与えられる可能性があり、これは非常に肯定的です。 それはほぼ最大のプラスの 100 にありますが、カップルがダウンし、恐れている場合はマイナスの 60 スコアになります。
	これで、これらの用語にスコアを割り当て、基本的に個々のドキュメントでそれらをカウントしたり平均したりすることができます。
	しかし、他にもいくつかの点について説明したいと思います。 ベージュブックの例で見た最初の感情表現がひどく憂鬱だったということを覚えているでしょう。
	他の言葉は、私たちが強化剤と呼んでいるものの例として、基本的には感情を増幅させるものです。 ここでわかるように、センチメント スコアが 1.4 の乗数であると信じられないほど宣言できます。
	.3 でスケールするので、感情の大きさが少し減少します。
	したがって、センチメント用語とともに強化語が出現した場合は、その乗算を実行し、その後、否定語が出現した場合にも乗算を実行します。 そこで私たちは次のように言います。
	ご存知のとおり、何かがノーかそうでないか、すべきではないか、そうではなかった場合、負の 1 を掛けます。つまり、基本的に符号を反転します。正が負になり、その逆も同様です。
	したがって、どんな感情フレーズでも、この単純な乗算をドキュメント全体で実行するだけです。
	平均スコア、あるいは最小センチメント スコアと最大センチメント スコアの差を取得することもできます。
	これらのドキュメントのセンチメント値を計算します。 そして、それがそれらのグラフで私たちが見ていたものであり、それらのマップの時間にわたる感情のグラフです。
	これが語彙感情分析です。 これは非常に一般的な手法であり、JMP で実装されている種類の感情分析です。 そして、これからわかるように、JMP がある場合には
	すべての感情スコアを計算すると、多くの便利な情報が得られます。 ここでは、センチメント分析レポートがどのようなものかを示す例を示します。
	結果の 1 つの要素をプレビューするために、ここの上部に、すべてのドキュメントにわたるセンチメントの簡単な概要が表示されます。
	したがって、簡単に色分けされたヒストグラムがあり、全体的なセンチメントの分布がポジティブに傾いているように見え、非常に強いネガティブなセンチメントの裾があることがわかります。
	すべてのドキュメントにわたって、平均センチメント スコアは 4.1 であり、中立よりわずかに高いことがわかります。
	3,900 件ある全体的に肯定的な文書の平均スコアは 22.9 ですが、約 1,400 件の否定的な文書では、
	平均スコアはマイナス 15.4 であるため、ネガティブなドキュメントは、ポジティブなドキュメントが強くポジティブであるほど強力なネガティブではありません。
	さて、もちろん、ここでベージュブックについて、私はこう言うかもしれません、まあ、1970年のこの事件から現在まで、平均センチメントスコアを見ただけで、おそらく、私はわかりません個々の文書のスコアを確認するほど気にすることはありません。
	特定の感情用語の分布を調べているのかもしれません。 ただし、繰り返しになりますが、データを扱う場合は、
	たとえば、消費者市場調査など、顧客の声が含まれるテキスト データであれば、データに基づいて、顧客がどの程度肯定的または否定的に感じているかをよく知ることができる、このような概要だけでも構いません。我々は持っています、
	単純なレポートだけでも非常に価値のあるものになることがあります。 しかし、私たちは JMP に切り替えようとしており、センチメント分析レポートには、洞察を得るためにデータを探索するための追加の方法が多数付属していることがわかります。
	それでは、JMP にアクセスして、それがどのように行われるかを見てみましょう。
	さて、私は JMP Pro 16.1 を使用していますが、Beige Book データに入る前に、Xan Gregg に感謝の意を表したいと思います。
	彼を知らない人のために説明すると、Xan は開発チームのディレクターです。 彼はグラフビルダーの作者です
	彼はベージュ ブックのデータを調べるというアイデアを最初に思いついた人でもあり、親切にもベージュ ブックのアーカイブにある HTML ページをスクレイピングして、素晴らしい JMP データ テーブルを私に提供してくれました。 それでは、ザンさん、本当にありがとうございました。
	さて、感情分析を見てみましょう。結果について説明する代わりに、私は実際に次のように考えています。
	注意すべき重要な考慮事項がいくつかあるため、分析を設定する方法を簡単に説明したいと思います。
	JMP が JMP を実装する方法だけでなく、感情分析や語彙感情分析全般を行う方法についても同様です。
	そして、その設定を実証するために、実際に 2010 年から現在までのデータのサブセットだけを見ていきます。この場合は、物事を簡潔に保つためです。
	テキスト エクスプローラーは、分析を何度も自動的に更新しますが、それができるだけ瞬時に行われるようにしたいと考えています。
	ここに、データのサブセットがあり、2010 年 1 月から先月の最新レポートまでの 12 地区すべてにわたるベージュ ブック レポートがあります。
	さて、センチメント分析を開始するために、分析に進み、テキスト エクスプローラーを選択します。 テキストを取得し、それをテキスト列の役割に置きます。 注意すべき点がいくつかあります。
	1 つは、テキスト エクスプローラーは通常、多くの言語をサポートしていますが、
	センチメント分析は現在英語でのみ利用可能です。
	もう 1 つは、少なくともテキスト エクスプローラーの経験豊富なユーザーであれば、ステミングをオンにすることに慣れている可能性があり、今はオフのままにしていることに気づくでしょう。
	ステミングを知らない人のために説明すると、ステミングは、同じ単語の複数の形式、または言語学的に言えば、同じレメを折りたたむ方法です。 だから、強く、より強く、そして最も強いものを取ってください。
	私たちはそれらすべてに倒れ込み、「まあ、それらはすべて私たちの目的には強力です」とだけ言うでしょう。
	そして明らかに、ここではそのようなことはしたくありません。なぜなら、最強は強いよりもポジティブであり、強いよりもポジティブだからです。
	したがって、ステミングはオフのままにしておきます。実際、感情分析を呼び出すとステミングをオンにしたとしても、ステミングは無視されます。繰り返しになりますが、実際にはステミングを使用すべきではないからです。
	そこで、「OK」をクリックします。 いいえ、それを実行したときに、若干の技術的な問題が発生したようです。 申し訳ありませんが、最近私のコンピューターで何か奇妙なことが起こっており、そのような動作をしていますが、大丈夫です。 画面共有を再開するだけで、ビデオを元に戻すことができます。 こんにちは、皆さん。
	そしてそれを共有します。 はい、まだ行く必要があります。録音はまだ続いているようです。 ここで、JMP が正しいモニターに割り当てられていることを確認してください。 どうやらそうです。 さて、皆さんごめんなさい。 とにかく、それでは話を戻しましょう。
	ここにテキスト エクスプローラー ウィンドウがあります。 慣れてきたらもう一度
	テキスト分析では、通常、ストップ ワードを宣言することから始めることがわかります。 たとえば、業界の人脈が私にこう言ったと話題になっています... 分析では連絡先という言葉を使いたくないので、通常は次のようにします。
	それをストップワードとして追加し、場合によっては何時間も読み続けます
	実際に分析を行う前にストップワードを宣言しますが、感情分析ではその必要はありません。
	すべて感情辞書に基づいているので、連絡先などの単語は辞書に載っていません。 いずれにしても機能的には除外されているため、時間を節約するには良い方法です。
	ただし、おそらく不動産や、これから検討するローン需要などのフレーズを宣言したいと思うでしょう。これはここにあります。
	そこで、融資要求をクリックしてフレーズとして追加します。 これは用語リストに追加されるので、すぐに見つけてみましょう。
	1,139 件あります。 これは、これらの分析またはこの分析で実際にサブドメインにドリルダウンするのに役立ちます。
	このデータセットでは。 そこで、全体的なセンチメントではなく、ローン需要に関するセンチメントのみを計算したいと想像してください。
	これを行うには、後で説明するように、まずフレーズとして宣言する必要があるため、少なくとも興味がある可能性のある非常に有名なドメインについては、いくつかのフレーズを調べて宣言するのが合理的です。
	さて、それではこれを終了して、実際に感情分析を開始しましょう。
	実行したらわかると思いますが、本格的なレポートを作成するつもりです。これで分析が完了したように見えるので、結果を調査し始める時期が来たように見えるかもしれませんが、私はそうしたいのです。これを使用している人は、ブレーキを踏んで感情辞書を検討することをお勧めします。
	ご存知のように、さまざまな人々のグループが、さまざまな事柄についてさまざまな文脈で、さまざまな言語でテキストを生成しています。
	言語をさまざまな方法で使用できます。 そして、感情と強めの否定用語のリストを調整することが重要です
	それを反映するために。 つまり...「決して」という言葉を使うのはためらわれますが、私は...デフォルトの感情辞書を決して使用しないと言うつもりです。 自分でキュレーションすると、常により有効な結果が得られます。
	したがって、ここでセンチメント用語にアクセスすると、スコアがこの組み込み辞書に基づいていることがわかりますが、この辞書は比較的希薄です。
	しかし、実際にテキストの一部を読んで、辞書に追加する必要がある単語をさらにいくつか特定できるかどうかを確認したいと考えています。 あなたも体験したいかもしれないことを言っておきます。
	組み込みのリストを使用して一部を除外しますが、そのリストは比較的まばらであるため、理想的には、あまりにも多くの、あるいはすべてを除外する必要はありません。
	レポートの後半では、結果を調べるだけでなく、辞書を厳選するためのツールが実際にいくつかあります。 このドキュメントテーブルでドキュメントを選択してテキストを表示できます
	すぐ下。 それでは、画面の下から少し離れます。 そのテキスト内で強調表示されているのがわかります。「少し良くなった」などの感情に関する用語やフレーズがすでに見つかっています。
	しかし、見てみると、たとえば、ここに「弱い」という言葉がありますが、現状は弱いままであり、私の知る限り、これは非常に一般的なものであることがわかりました。
	ベージュブックレポートの用語で、本質的に何かが悪いことを示します。 私は経済学者ではないのでわかりませんが、おそらく経済学では次のことが当てはまるでしょう。
	ご存知のとおり、弱いことは悪いことの同義語であり、強いことは良いことの同義語です。これが、これらのデータをかなり調べた私の見解です。
	強調表示されていないことがわかります。 つまり、現在の辞書には「弱い」という単語はありませんが、非常に簡単に追加できます。 私はその上にカーソルを置くだけです
	この用語をテキスト内に直接追加できます。否定語として追加できます。 適度にマイナスになるように、インテンシファイア値またはセンチメント値を指定できるので、マイナス 60 をクリックします。
	そして何が起こるかというと、それが私の辞書に追加され、すべての感情スコアがここでリアルタイムで再計算されます。
	そのため、感情用語リストで「弱い」を選択することもでき、そのすべてのインスタンスを確認できるようになりました。 count 列のテーブルに戻ると、ベージュ ブック データのこのサブセット内で 1,012 回発生していることがわかります。
	したがって、おそらく文書のランダムなサブセットまたは階層化されたランダムなサブセットを調べて読み、辞書に含まれるセンチメント用語をいくつか特定してください。
	さて、この可能性のある感情リストという便利な機能を利用することもできます。
	これは実際に、考慮すべき潜在的なセンチメントの条件を提供します。 たとえば、強いものがここにあることに気づき、弱いものを入れました。 私は確かに強くなりたいので、それを宣言するつもりです。
	強い。
	そして、私はショートカット ボタンを使用して、プラス 60、マイナス 60 を使用していますが、マイナス 100 から 100 の間で好きなスコアを入力できるので、実際には強い場合のスコアは 50 だけが必要なのかもしれません。 それでは、今すぐ下を見てみると、すべてが再び自動更新されていることがわかります。
	したがって、感情用語リストには注意してください。 また、否定強化項の仕組みについては説明しませんが、同じ考え方が当てはまります。
	ドメインを実際に反映するためにそれらを正しく行っていることを確認してから、赤い三角の下にある、いつでもフルターム管理ツールにアクセスして、手動でいくつかのタームを入力できることを知っていることをお勧めします。それが90点であってほしい。
	ここにバッチ形式のようなものを追加できます
	毎回自動更新しなくても、センチメント用語リストをインポートおよびエクスポートすることもできます。
	これは、他の人と共有したり、移植可能にしたり、作業を追跡して複製可能にしたりするのに最適です。
	結果はセンチメント用語リスト、さらには強勢語や否定語にどれだけ依存するため、セット リストがある場合は、それをエクスポートして完全に文書化し、ファイルにインポートできるようにすることを強くお勧めします。新しい分析と複製。
	分析の設定についてはこれで十分です。感情分析を呼び出すとレポートが得られるという点だけは強調しておきたいのですが、そのレポートにはすぐには立ち入らないでください。 まず辞書を厳選してください。
	それで、今、私は
	その点は容赦なく打ち負かされましたが、実際にそのレポートを見てみましょう。
	ここで私がやろうとしているのは、この場合は 5,300 を超えるすべてのデータを使用して、完全に焼き上げたレポートを取り込むことです。
	ベージュブックのレポートはこちら。 したがって、前に述べたように、結果のセクションには、この全体的な概要があります。 二度とそんなことを経験することはありません。 あなたもそうしていることが分かりました
	個々のドキュメントがすべて表示されるため、ドキュメントを表示して、どのようにスコアが付けられたか、ドキュメントに何が表示されているかを確認できます。 文脈の中で感情に関する用語やフレーズの使用法を調べます。
	この表では、ドキュメントの肯定的なスコアの合計など、いくつかの便利な指標も確認できます。
	文書内のポジティブな感情フレーズの平均スコア。 同じことがネガティブなスコアにも当てはまり、全体的なスコアにも当てはまります。お気づきかと思いますが、
	これらの値の上にマウスを置くと、実際にそれらの計算方法が表示されます。 したがって、負のスコアの平均を見ると、合計 7 つの用語があることがわかり、それらのスコアがいくらであったかがわかり、平均がいくらであるかがわかります。
	また、この場合、マイナスの平均は、プラスとマイナスのすべての感情用語の平均スコアにすぎないこともわかります。
	このレポート内の要素にマウスを移動すると、役立つ情報が表示される便利な方法がたくさんあります。 ぜひ試してみることを強くお勧めします。 マウスをさまざまな場所に移動します。 きっと役に立つものが見つかるでしょう。
	さて、このようなテキストマイニングを行うときは、通常、個々のドキュメントをあまり詳しく調べません。 つまり、すべてを読むことができたら、
	それならそうします。 つまり、私たちはコンピューターよりも言語を理解するのが得意です。 つまり、この 5,300 件の文書コレクション全体をただ調べるつもりはありませんが、スコア順に並べ替えて、最もネガティブな文書だけを見てみるということもできます。
	レポートを実際に読んで、次のことを理解してください。
	人々が特にネガティブなとき、彼らは何に対してネガティブなのでしょうか? その否定的な考えを引き起こしているものについて何を学ぶことができますか。また、特に消費者調査では、製品レビューやそのような調査を調べることは非常に価値があります。
	また、センチメント用語リストがあることも確認しました。ここでは、出現するさまざまなセンチメント用語、出現頻度、およびその出現頻度をすべて確認できます。
	それらに関連付けられたスコア。 そして、それらのいずれかを取得すると、それらの用語をコンテキスト内で確認することもできます。 特定の感情用語が使用されている場合
	データではよくあることですが、人々がそのデータを使用している理由や、そのデータを使用する動機を確認するために、データをコンテキスト内でよりよく理解したい場合があります。 用語を選択して以下のテキストを参照するだけで、これを行うのは非常に簡単です。
	最後に、センチメント分析で最も便利な機能の 1 つだと私が思うのは、この機能タブにあります。
	検索をクリックすると、センチメント以外の用語が検索され、センチメント用語とともに頻繁に出現するドリルダウン分析が可能になり、その用語に関してのみセンチメントを評価できるようになります。
	選択した用語、または機能と呼ぶもの、またはサブドメインと呼ぶこともできます。 したがって、おそらく売上高に対するセンチメントだけで、売上高が弱いと報告され、売上高が減少していることがわかります。
	または、潜在的にフレージングを実行したいと述べた前に戻ります。 このリストから融資需要を見つけてみましょう。
	そして、ローン需要に関するセンチメントのみに関してすべての文書を採点しましょう。 そしてもちろん、これはいくつかを使用しています
	どの感情フレーズがローン需要に適用され、どの感情フレーズが適用されないかを判断するために自然言語処理が行われます。どの NLP 手法を使用しても、100% 正確であることはありませんが、その精度は、特に次の言語で書かれた整形式のテキストで顕著です。
	ベージュブックのレポートと同じように、かなりうまく機能しているようです。 それで今、例えば彼らが融資需要についてどう思っているかがわかります
	これらすべてのレポートにまたがって? そして、特に否定的な報告もいくつかありますが、全体的には肯定的であるように見えます。
	ここで最後に言っておきますが、これを元に戻すために、これを行うとスパイクが発生することにおそらくお気づきかと思いますが、それは...プラス 60 とマイナス 60 のように見えます。
	これは、この分析を行うときにセンチメント ディクショナリを厳選し、結果を解釈するときにそれをどのように構築したかを説明することがいかに重要であるかを改めて強調しているだけです。
	したがって、このプラス 60 の急上昇は、私が最初に多くの感情用語を辞書に入力したときに、これらのショートカット ボタンを使用していたことが原因である可能性が非常に高いです。
	私は 30、60、90 個のショートカット ボタンを持っているので、スコアが急上昇するのを目にするための準備をほぼ整えているところです。
	プラスの 60 とマイナスの 60。 そして、スコアをより粒度の細かいものにするためにもう少し注意を払っていたら、おそらく、これほど興味深い、つまり分布と呼ぶことにならなかったでしょう。
	したがって、私がこのように呼びかけるのは、感情辞書を入手することがいかに重要であるかをもう一度強調するためです。
	事前にまとめておくと、この機能を使用して、全体的なセンチメント、ドキュメントごとのセンチメント、個々の用語ごとのセンチメント、さらにはサブドメインごとのセンチメントに関する有用な情報をすべて入手できます。
	ここのセクション。 そしてもちろん、おそらく JMP では慣れていると思いますが、実行した内容を保存して、赤い三角形の下の他の場所で使用できるようにするときは、これらのオプションが表示されます。ドキュメントのスコアを保存するかもしれません。
	ここにある私のデータ テーブルに戻ると、実際に保存したことがわかります。この場合、それは融資需要のサブドメインのスコアです。これらを使用できるようにデータ テーブルに戻しました。 、スライド用に作成したグラフの一部のように、さらなる分析やグラフ化に使用します。
	これが、テキスト内のポジティブな感情とネガティブな感情を定量化するための JMP Pro 16 の新機能である感情分析です。 と
	それでは、用語の選択に移りましょう。これは、私が話したいもう 1 つの新しいテキスト マイニング手法です。 文字通り、用語の選択とは、何らかの結果、つまり他の尺度に関連する単語を特定することです。 たとえば、ここでは、
	ベージュブックのレポートテキストを組み込むこともできます
	GDP などの経済変数を調べ、ベージュブックのレポートの特定の用語が GDP にどのように対応するか、あるいは経済が不況にあるかどうかなどの二値変数にどのように対応するかを確認します。
	これは...用語の選択です。これは、他の変数に関連付けられた単語を検索するための汎用ツールです。これは便利です。
	解釈のコンテキストでは、おそらく他の変数の要因を見つけるため、あるいは予測モデリングの演習では、何かを予測する用語を特定し、将来それらの用語を使用してそれを予測できるようにすることができます。
	それでは、用語選択がどのように機能するかを見てみましょう。実際にここでは、消費者金融保護局の消費者苦情からの別の例を見ていきます。
	データベース。したがって、消費者は、金融商品またはサービスに関して苦情がある場合、その苦情を CFPB に提出することができ、CFPB が消費者と金融機関の間を仲介します。
	金融商品またはサービスのプロバイダー。 これらのデータで何が見つかるかの例を次に示します。 それで、ここにある人が、自分の信用報告書を監視していて、3,900ドルの徴収通知が提出されたが、それについては何も知らないと主張していると言っています。
	また、データ表のすぐ隣に消費者が異議を申し立てたという列があり、ここで消費者は異議を申し立てました。これが意味するのは、消費者は消費者庁から回答を受け取ったということです。
	金融サービスプロバイダーはその対応に満足できず、異議を唱えました。
	データ テーブルのヘッダー グラフの仕様を見ると、それほど一般的ではないことがわかります。 私たちが調べているこのデータセットでは、基本的に約 5 分の 1 です。
	その結果、消費者紛争が発生しますが、あなたがこの顧客と取引している金融会社であれば、何らかの回答を出し、その後その回答に対して異議を唱え続けさせることは絶対に望まないでしょう。 どのような種類の苦情があるのかを知りたい場合があります
	実際に消費者紛争につながるようなものも入ってくるので、たとえば、紛争につながる可能性のあるものを事前に特定できるかもしれません。
	あるいは、紛争の数を減らすために、紛争解決の実践方法をより深く理解することもできます。 気にしておきたい理由はたくさんあります。
	消費者苦情の物語データは、そもそもこれらの紛争を引き起こしている可能性があるものを確認するためのものであり、用語の選択によって、その結果、つまり紛争の変数に関連するテキスト内の個々の用語が検索されます。
	ここに、用語選択分析を行った結果から作成したグラフがあります。Y 軸に沿って用語のコレクションが表示されます。 X にはログワースがあり、これは
	関連性の統計的証拠の強さの尺度。 これは実際には対数値の順に並べられているため、一番上には次のようになります。
	違反すると、そこに小さな点が見えます。 これは実際にここでステミングが行われていることを示しており、違反は違反、違反、違反などの可能性があることを意味します。
	したがって、その用語「違反」が消費者紛争に関連しており、実際に色分けされていることを示す強力な統計的証拠があります。
	ここではオッズ比の観点から効果の強さを示します。 ですから、人々が...誰かがその言葉を口にしたとき、違反し、
	紛争の確率は約 1.5 倍になります。 だから私なら
	金融サービスプロバイダーなので、その用語に注目したいかもしれません。 人々が特定の違反をいつどのように主張するのかを調査したいと思うかもしれません。後でわかるように、それは実際には連邦法違反です。
	彼らが苦情でそのように主張すると、私たちはそれらにどう対処しているのでしょうか。おそらく私たちが満足のいく対応をしていないように思えるからです。
	おそらく、問題の可能性がある苦情に事前にフラグを立てるのに役立ち、解決策をエスカレーションできるように、予測モデルの一部でその用語の有無を使用したい場合があります。
	では、これはどのように機能するのでしょうか? さて、私たちはテキストの表現である文書用語マトリックスで始まるモデルを構築しています。
	行は 1 つのドキュメントであり、各列は出現する可能性のある 1 つの用語です。 その後
	この場合、バイナリ重み付けと呼ばれるものがあるので、用語が現れたらそれを入力するだけです。その用語がその文書に現れない場合は、ゼロを入力してください。 他にも重み付けはありますが、ここでは例としてバイナリを使用することにします。
	これらのバイナリ列をモデル内の予測子として入力するとき、特に次を使用します。
	JMP の一般化された回帰とその理由はすぐにわかります。 まず最初に、ここでやっていることは回帰であることを明記しておきたいと思います。
	用語選択をテキスト回帰と呼ぶ人もいるでしょう。
	モデルの形状についてはあまり気にしないでください。 私たちがやっていることは、何らかの結果変数を取得していることを強調したいだけです。
	バイナリ変数があるので、それはロジスティック回帰の対数オッズであり、これは、ご存知のとおり、切片プラス、
	係数に変数を掛けたものです。 この場合、それは 2 進数の 1 または 0 です。違反があったかどうか。
	別の係数値に加えて、この場合は負の 0.2 倍の別のバイナリ変数です。ここでは、誰かが電話を切ったという用語に言及したかどうかなどです。
	そこで、このモデルに大量の項を入力し、一般化回帰を使用してモデルに属する項と属さない項を選択します。 と
	ここで見られるのは、その解を計算する JMP の例であり、どの用語が私たちに属し、どの用語が属さないのかを示しています。
	ここの解パスでは、モデルに入力されたすべての項が青で表示され、実際にはモデルに含まれていないすべての項が黒で表示されます。これらの項は実際にはモデルの予測値に追加されないためです。
	そして最終的に得られるのは用語のリストです。 モデル係数の値があるので、ここでは、たとえば、違反します。実際には .4 の値が得られました。
	モデルをフィッティングするときの係数の値。 また、前に述べたように、統計的証拠や証拠の強さの尺度も得られます。
	この対数ワース値、ここでは 16.58 ですが、経験則が必要な場合、2 を超える値は強力な統計的証拠とみなされる可能性がありますが、実際には、対数ワースは p 値の 10 を底とする負の対数なので、 2 はちょうど 0.01 の P 値に対応します。
	つまり、この場合は係数の両方が得られますが、これが紛争の確率をどれくらい強く増加または減少させるのでしょうか? そして、ログは私たちに伝える価値があります、ご存知のように、これに関する私たちの証拠は実際にどれくらい信頼できるのでしょうか？
	その情報があれば、さまざまなことができるようになります。JMP に移行して実際にこの分析を実行する際に、どのように実行するかを確認するところです。
	それで、ここで別のデスクトップに戻りました。 消費者の苦情データを取得してみます。
	と
	テキスト エクスプローラーを最初から起動するのではなく、ここではテーブル スクリプトを使用してテキスト エクスプローラーを起動します。
	そして、後でわかるように、これが表示されると...申し訳ありませんが、間違った画面に表示されました。 それでは行きます。
	ご存知のとおり、私たちは常に実際に分析に入力する用語のリストから始めます。 次に、フレーズ リストがあり、用語リストに属する特定のフレーズも含める必要があると宣言できます。
	公正信用報告法などのフレーズをたくさん含めました。そのフレーズや概念への言及が消費者紛争に関連している場合は、それを見つけたいからです。
	そして、ここでストップ ワードを管理しましょうに行くと、私がたくさんのストップ ワードを宣言していることに気づくでしょう。 つまり、これらはすべて、
	他の単語を押しのけてしまう可能性があるため、分析には含めたくありません。
	それらは非常に頻繁に使用される可能性があり、最も頻繁に使用される 500 個の単語だけを分析してほしいと頼まれたとしても、それを台無しにすることは望ましくありません。
	特に、たとえ紛争に関連する用語として「able」が返されたとしても、私はそれをどうするか、または「able」のような一般的な単語をどのように解釈すればよいのかさえ正確にわからないからです。
	したがって、時間をかけてストップ ワードやフレーズを入力し、準備ができたら、赤い三角形の下で用語の選択を呼び出します。
	したがって、実行するときは、最初に選択します
	結果変数、そしてそれがこの消費者が異議を唱えていることです。 そして、私たちは紛争が起こる可能性という観点から物事を話したいと思っています。
	ここでは、連続的な結果変数とカテゴリ的な結果変数を設定できます。 両方とも働いています。 そして、私たちは紛争について話していることにも言及しておく必要があります。
	実際、感情を代弁するものがあるかもしれない、つまり、誰かが何かに異議を唱えている場合、それはおそらくその人が幸せではないからであると考えるかもしれません。
	しかし、実際に満足度を示す製品の星評価など、感情をより直接的に測る外部変数を持ったデータを持っている人もいるかもしれません。
	したがって、テキスト データとともにセンチメントの適切な尺度があれば、このようなツールを使用して、いわゆる「感情」を実行できます。
	データ由来のセンチメント分析。このツールを使用してセンチメント指標を予測する用語をマイニングします。これにより、基本的にセンチメント用語が選択され、自動的に
	スコアがどうあるべきかを見つけること。 とても便利です。 それは私たちがここでやっていることではありません。 私たちはより一般的な方法でそれを使用しています。
	さて、その文書用語行列については、バイナリ重み付けを使用することにします。 話をスムーズに進めるために、最も頻繁に使用される 200 個の用語だけを見てみましょう。
	それ以上は、201 期以降は分析に含めないつもりです。 実際には、おそらくもっと多くのものを含めるでしょうが、デモ用にこれを素晴らしく、きびきびとしたものにしたいだけです。
	あなたが GenReg ユーザーであれば、次のような機能があることがわかります。
	事前に推定および検証方法を指定するオプションがあります。 これらをデフォルトのままにして、「実行」をクリックします。
	そこで何が起こっているのかというと、JMP は GenReg に呼びかけています。 ロジスティック回帰モデルを構築し、エラスティックネット法を使用して変数選択を行っています。
	どうやら 2 つ目の技術的不具合が発生したようです。 大変申し訳ございません。 このモデルは適切であるため、対処させていただきます。 それでは見てみましょう。 画面共有を元に戻します。
	私たちは私を連れ戻します。 まだレコーディング中のようなので、そのまま進めていきます。 結果は次のとおりです。
	レポートの詳細に入る前に、まず概要テーブルのこの 1 行だけを見てみましょう。 これは、これまでに構築した単一のモデルを要約したものです。
	たとえば、145 の用語が返されたことがわかります。 検証として AICc を使用しました。AICc 値があります。 他の適合統計もいくつか見ることができます。
	そして、他のモデルと同様に、データに最もよく適合するモデルを構築するために、そのモデルで複数の実行を試してみることもできます。
	したがって、ここでこの一般化回帰ノードに移動すると、GenReg が実際にテキスト エクスプローラーに埋め込まれていることがわかります。
	当てはめたモデルをさらに詳しく調査することもできますし、私の場合は実際にもう 1 つのモデルを当てはめて、さらに改善できるかどうかを確認することもできます。 適応型弾性ネットを作ってみましょう。
	そして代わりにそのモデルを当てはめて、すでに当てはめた通常の弾性ネットよりも優れているかどうかを確認します。
	さて、そのモデルにも適合しました。
	要約に行くと、これは 98 の用語を返しており、実際には AICc が低いことがわかり、より適切である可能性があります。
	それで、私はそのモデルで行くつもりです。 これで、オリジナルを使用したい場合は、それをクリックするだけで済みます。 ご覧のとおり、以下のレポートは、この表で選択したモデルに更新されます。
	私の用語リストはここにあります。 これについてはすでに話したので、係数の観点から見てみましょう。 そこで、最も効果が大きく、消費者紛争の可能性を高める条件を以下に示します。
	消費者紛争の可能性を減らすのに最も大きな効果があるものは次のとおりです。 たとえば、そのうちのどれかで、「hung up」を見ると、もちろん、それは彼らが誰かと電話を切っている、または誰かが電話を切っていることについて話していることがわかります。
	これは、実際にはコミュニケーションの問題であるように思え、解決が少し簡単になる可能性があるため、これは紛争の可能性が減少することを予測するものであると考えています。
	繰り返しますが、ここでの対数ワース値 2.883 に注目したいと思います。これは、前に述べた経験則 2 を少し上回っているため、大丈夫と言えるかもしれません。これが本物であるというかなり強力な統計的証拠があると思います。協会。
	その点を家に帰るために、ここを下っていくと、警察という言葉が見えます。 私の第一印象は、人々は、私が警察に報告書を作成した、あるいは警察に電話した、と言っているということです。
	おそらく、私たちが何らかの対応をしたとしても、彼らがいなくなる可能性はそれほど高くないでしょう。可能性については議論があり、誰かがすでに警察に通報するレベルに達している場合、その可能性はさらに高まるはずです。
	しかし、見てみると、
	ログワース、これの統計的証拠は実際にはそれほど強力ではないことがよくわかります。したがって、これは私の直観に反していますが、おそらく、完全に現実ではないかもしれません。
	確かに、このことを経営陣に報告して、もし人々が私たちに警察を呼んだと言うなら、それは実際には良いことです、と言いたいほどではありません。 もちろんそんなことを言っているわけではありません。 それがここのモデルに含めるために選択されただけです。最終的には、
	より適切なモデルが得られますが、結果を解釈する際に私たち自身の知識と常識を適用するのは私たち次第です。
	つまり、実際にやろうとしているのが単に用語を特定し、その効果を何らかの能力で定量化することである場合、この表は次のようになります。
	これがあなたの分析の目標のようなものかもしれません。 それで、右クリックしてデータテーブルに移動するかもしれません
	これらの用語とその係数と対数ワースのデータ テーブルを取得し、これを使用して、以前の応答の分析や改善の取り組みをガイドしたり、今後何らかの予測モデルに含めるべき用語としてフラグを立てたりすることもできます。
	しかし、ご存知のように、ここでモデル、つまり回帰モデルを構築したので、個々の文書レベルで、
	紛争の確率の増加を予測する係数の合計、減少を予測する係数の合計、モデル全体の値、紛争の確率
	モデルが割り当てた論争と私たちが実際に観察したこと。 したがって、実際に個々のドキュメントのレベルで評価するときに予想されるすべてのことは、このモデルがどの程度うまく機能するかということです。
	上部には、この場合、個々の文書とその...私たちが貢献と呼んでいるものの概要も表示されます。
	これらの係数値の合計または平均。 したがって、たとえば、30,412 個のドキュメントには、その係数値と平均係数値の合計が正の合計があり、平均寄与率は約 0.57 であるように見えます。
	ここでも回帰係数について話しているので、これらの寄与値、係数テーブル、これらすべては、構築するときと同じように解釈される必要があります。
	それ以外の場合は線形回帰モデルなので、ここでのロジスティック回帰では、これらを解釈する必要があります。
	適切に、つまり、べき乗する場合、対数を処理することになります。または...すみません...その後、オッズ比を処理することになります。つまり、それがオッズを増減させる要因になります。この単語が本文中に出てきた場合。
	ただし、回帰に詳しくない場合でも、どの用語が最も強い影響を与えるか、あるいは影響を及ぼさないかを確認できるという点で、より一般的な意味では、これらの値は役に立ちます。 ログワースについても同様で、どちらが最も強力な証拠を持っているか、持っていないかが決まります。
	さて、最後に、ご想像のとおり、用語テーブルを保存する方法はすでに見てきましたが、目的がその用語テーブルではなく、実際にはモデルである場合は、
	構築したものを保存するオプションもあります。 使用するモデル、つまり適応型弾性ネットを選択しました。赤い三角形の下で、予測式を保存できます。
	そして、私のコンピューターはおそらくここでほんの一瞬だけ混乱すると思います。 つまり、ドキュメントの用語行列を保存しているので、指定した上位 200 の用語と、式も保存されています。
	これらの列またはドキュメント用語行列を操作して、モデルを実際に計算します。 ここに文書用語マトリックスがあります
	そして最後に数式列があるので、実際に使用できるようになります
	必要に応じて、このモデルを直接使用します。
	それが用語の選択です。 もう一度大まかに言うと、私たちは、その結果の原因をより適切に解釈するために、あるいはおそらくその結果を予測しようとするモデリングの実践に情報を提供するために、どの項が関心のある結果変数に最も強く関連しているかを見つけています。
	これで、用語選択とセンチメント分析、JMP Pro 16 の 2 つの新しいテキスト マイニング機能が終わりました。これもまた、この春に導入されたばかりです。
	今から少しぶらぶらして、どなたかのご質問にお答えしたいと思います。
	これら 2 つの新機能です。 また、後でこのプレゼンテーションのユーザー コミュニティ ページにいつでも追加のコメントや質問を投稿できることも知っておいてください。私は常に注目しています。
	質問があればいつでもお答えします。 それでは、皆さん、お時間を割いていただきありがとうございました。 気をつけてください。

起こるデータ探索統計とモデリングRe: テキスト マイニング ツールキットの拡張: JMP Pro 16 での感情分析と用語選択 (2021-US-45MP-851)

ありがとう、 @jgrayson 。15対16についての質問がわかりません。 明確にしていただけますか？

Re: テキスト マイニング ツールキットの拡張: JMP Pro 16 での感情分析と用語選択 (2021-US-45MP-851)

素晴らしい！これらを見るのを楽しみにしています。私は今16個しか持っていませんが、他の人は15個のようです。 16も可能でしょうか？

ありがとう、

ジム

Re: テキスト マイニング ツールキットの拡張: JMP Pro 16 での感情分析と用語選択 (2021-US-45MP-851)

セミライブ プレゼンテーションの出席者の 1 人が、感情分析の参考資料を求めました。 当時は良い答えがありませんでしたが、インターネットで簡単に検索すると次のようなことがわかりました。劉炳教授の作品は良い出発点になるかもしれません。 彼の 2012 年の著書感情分析と意見マイニングGoogle Scholar で 7,000 件以上引用されており、最近では次のタイトルの書籍も執筆しています。感情分析: 感情、意見、感情のマイニング。 劉教授の感情分析 Web ページこれらの書籍に関する情報と、トピックに関する PDF 本の章。 私はリュー教授の著書を読んだことがありませんが、読んでみる価値はあるかもしれません。