398687_ja-JP

liliconcom

テキストマイニングツールキットの拡張：JMP Pro 16（2021-US-45MP-851）での感情分析と用語選択

レベル：中級

 

ロスメトサレム、システムエンジニア、JMP

 

テキストマイニング技術により、非構造化テキストデータから定量的な情報を抽出できます。 JMP Pro 16は、テキストエクスプローラーの機能に感情分析と用語選択の2つの機能が追加されたおかげで、テキストから抽出できる情報を拡張しました。 感情分析は、テキストの単語を感情を運ぶ用語と関連するスコアのカスタマイズ可能な辞書にマッピングすることによって、テキストで表現されたポジティブまたはネガティブな感情の程度を定量化します（たとえば、「素晴らしい」、+ 90、「ひどい」、-90）。 結果として得られる感情スコアは、人々の主観的な感情を大規模に評価し、客観的な概念に関連して主観的な感情を調査し、さらに分析を充実させるために使用できます。 用語の選択は、テキストエクスプローラー内から呼び出されるJMPProの一般化回帰プラットフォームから正則化された回帰機能を適用することにより、応答変数を最も強く予測する用語を自動的に検出します。 用語の選択は、重要な結果指標と関連する非構造化テキストでの特定の用語の出現との関係を簡単に特定するのに役立ちます。

 

このプレゼンテーションでは、感情分析と用語選択の両方の手法の概要を示し、実際のデータへの適用を示し、それぞれを効果的に使用するためのいくつかのベストプラクティスを共有します。

 

 

自動生成されたトランスクリプト...

 

スピーカー	トランスクリプト
ロスメトサレム	みなさん、こんにちは。JMPがこの春にリリースされたばかりのJMPPro16でテキストマイニングツールキットをどのように拡張したかについてのこのプレゼンテーションへようこそ。
	ロス・メトサレムです。 私はJMPのアカデミックアンバサダーであり、これら2つの新しいテキストマイニング機能を紹介します。
	感情分析と用語の選択。 それらが何であるか、それらとJMPの使用方法について説明し、次に、実際に公開されているデータに対してこれらの分析を実行する2つの例を示します。
	したがって、感情分析と用語の選択は、汎用のテキストマイニングツールであるJMPのテキストエクスプローラーに新たに追加された2つです。
	したがって、これを使用して、一般にフリーまたは非構造化テキストデータと呼ばれるものから定量的な情報を導き出すことができます。したがって、これは単語の頻度を導き出すことから何でもかまいません。これにより、単語のクラウドを作成できます。
	潜在意味解析を実行することで、意味的に類似したドキュメントをクラスター化できます。 したがって、今日表示する2つの機能は、テキストエクスプローラーツール内の機能です。
	まず、感情分析から始めます。これは、JMP Pro 16で紹介できる、人気があり、頻繁にリクエストされる機能です。
	慣れていない人にとって、感情分析とは、非構造化テキストデータのポジティブからネガティブな感情を定量化することです。
	ここで取り上げる例は、連邦準備制度が発行したナラティブレポートであるベージュブックからのものです。
	そして地図で見ることができるように、連邦準備制度は12の異なる地区に分けられ、年に約8回、各地区は物語のベージュブックレポートを発行します
	これは、その地理的地域自体の現在および潜在的な将来の経済状況を要約したものです。 そして、これらのレポートは主に定性的なデータソースに基づいているので、考えてみてください
	ビジネスリーダーとの会話、そのようなことを調査します。 ですから、ベージュブックは感情分析の良い例を提供していると思います。
	これは公開されているデータであり、皆さんと共有することができますが、投資家やあなたがいれば、それは非常に興味深いものになるからです。
	ご存知のように、金融機関を管理して、連邦準備制度理事会が国のさまざまな地域の経済状況についてどれほど強く肯定的または否定的に感じているかを知りました。 あなたは実際にそれを使うことができます
	おそらく意思決定を導くか、それを定量化できたとしても、それをいくつかの統計分析、あるいはいくつかの予測モデルで使用することもできます。
	それでは、ベージュブックのテキストの例を見てみましょう。
	ここに、レポートの1つからの抜粋があります。このレポートでは、一方で、コンピューターの売上が大幅に落ち込んでいることがわかります。
	一方、下に行くと、風に吹かれるストローがたくさんあるとの報告もあり、ここでは「ひどく落ち込んだ」「好意的」「改善」を強調していますが、
	これらは私たちが感情フレーズと呼ぶものだからです。 つまり、ある種のポジティブまたはネガティブな感情的な内容を表す1つ以上の単語です。
	そのため、上部ではひどく落ち込んでおり、これは非常にネガティブであり、次に下では良好であり、一般的にポジティブであり、この色分けを使用して、オレンジとこの青または紫を比較します（方法によって異なります）あなたはそれを見る）
	それぞれポジティブな感情とネガティブな感情を示します。
	そして、感情分析の多くの形式はまさにこれを行います。 彼らはテキストの中でポジティブなフレーズとネガティブなフレーズを探します。
	JMPが使用し、他の場所で遭遇する可能性のある形式は、実際には、ポジティブな感情とネガティブな感情を継続的なスケールで定量化します。
	たとえば、この2番目のテキストスニペットの下部にあるものを見てください。この地域の大規模なデパートは売り上げが低いと報告していると誰かが言っていることがわかります。
	そのため、上から上に向かって、売上が大幅に落ち込んでおり、下に向かって、売上が低迷していることがわかります。 まあ、私たちは皆、ひどく落ち込んだ音が悪化することに同意すると思います
	貧しい人々よりも売上高に関して。 そして、私たちはしたいかもしれません、
	どちらもネガティブですが、深刻なうつ病を貧しいよりもネガティブなものとして定量化します。これが、JMPの感情分析で行うことです。 そして、私たちは話すつもりです
	特に、これらのスコアがどのように計算されるかについては、ここですぐに説明しますが、最初に実際に確認する価値があると思います
	このような個々の、あなたが知っている、用語やフレーズを見ることによって感情を定量化することの妥当性の潜在的なデモンストレーション。
	そして、私たちが話しているのは、本質的に、ドキュメントに含まれる単語に基づいてドキュメントをスコアリングすることです
	感情とその程度を表すと私たちは考えています。 そして、それは一種の内的で主観的なものですが、このアプローチ、感情分析、
	いくつかの予測的妥当性を実際に示すことができます。 たとえば、Beige Bookの感情が時間の経過とともにどのように追跡されるかを見ると、実際には不況でかなり確実に追跡されていることがわかります。 だからここに私たちは感情を持っています
	y軸上。 負の75から75まで伸びていることがわかります。これは、プロットした範囲です。 真のスケールは負の100から始まります
	100まで。ここで、ゼロはニュートラルです。 そして、すべてのベージュブックレポート全体の感情の一般的な傾向をよりスムーズに捉えることで、次のことがわかります。
	景気後退に関して興味深いパターンを見ることができ、それ自体が赤で強調表示されています。 特に、景気後退の前に感情が確実に低下しているように見えることがわかります。
	つまり、これは米連邦準備制度理事会の理事の感情的な状態であると私たちが信じていることの比較的主観的な尺度ですが、つまり、予想通り、景気後退に追随しているのです。
	また、実際には地理的に、興味深いことに十分に追跡します。 たとえば、サンフランシスコベイエリアで多数のインターネットスタートアップが設立された2000年から2001年頃のドットコムバストを例にとってみましょう。
	下に行きました。 サンフランシスコのホバーラベルがここで強調表示されているので、その地域のスコアを確認できます。 前に見たように、オレンジ色でポジティブな感情があり、そのブルーでネガティブな感情があります。
	2000年までの感情の構築を見ることができます
	ベイエリアでは38.65とかなり高く、2001年には平均して60ポイント以上急落しました。
	約24.7マイナス。 そして、それは私たちが国内の他の場所で見たよりもはるかに大きな変動です。なぜなら、それはその地域だからです...おそらく、それが最も強い影響を受けた地域だからです。
	そして、私たちは大不況と似たようなものを見ています。 したがって、2008年の住宅市場の崩壊は、一律ではなく感情の低下に対応していると見ています。
	西海岸で最大の落ち込みが見られたようです。これもサンフランシスコ地域、ニューヨーク地域、そしてアトランタ地域です。
	私が住んでいるフロリダは、この国で特に大きな打撃を受けた地域でした。 そして、実際、下の行を見下ろすと、フロリダがわかります...
	感情は、他のいくつかの地域の背後にある2012年頃まで、その一般的な地域では回復していないようであり、それは理にかなっているようです。 フロリダの住宅市場は、全国的に回復した最後の1つでした。
	したがって、私たちはこの主観的な感情の尺度を持っていますが、この場合、外部のイベント...私たちが期待する方法で経済的なイベントを追跡します。
	繰り返しになりますが、ベージュブックは特に公開されている優れた例であるため、ここで検討しています。 もし、あんたが
	消費者市場調査のように、感情分析を適用するためのより一般的なドメインについて話している。
	テキストデータの形での顧客の声なので、製品のレビュー、調査の回答など、
	感情分析を使用して、顧客の行動をよりよく理解したり、予測したりできる場合があります。これは、ここで感情を使用して景気後退をよりよく理解または予測できるのと同じです。
	そうは言っても、ここ数分間、感情スコアを調べてきたことに気づきました。それは、それらがどこから来たのかという疑問を本当に投げかけます。
	そのため、JMPは、語彙感情分析と呼ばれる感情分析の形式を使用します。 したがって、感情レキシコンまたは
	感情辞書
	感情を持っていると私たちが信じるすべての個々の単語にスコアを割り当てること。 したがって、fantasticのような単語は90のスコアを取得する可能性があり、これは非常にポジティブです。 それはほぼ正の最大値である100ですが、カップルが下がると、恐れられているスコアは負の60になります。
	これで、これらの用語にスコアを割り当て、基本的にそれらをカウントアップするか、個々のドキュメントで平均を取ることができます。
	しかし、他にもいくつか説明したいと思います。 ベージュブックの例で見た最初の感情フレーズがひどく落ち込んでいたことを覚えているなら。
	基本的に感情乗数である強意語と呼ばれるものの例として、他の言葉を厳しく言います。 ここでわかるように、感情スコアが1.4の乗数であると信じられないほど宣言できますが、実際には少しです
	.3でスケーリングするため、感情の大きさを少し減らします。
	したがって、感情項とともに強意語が表示された場合は、その乗算を実行し、次に否定語が発生した場合も実行します。 だから私たちは言う、
	ご存知のとおり、何かがないか、そうでないか、すべきでないか、そうではなかったので、負の値を掛けます。基本的に、記号を反転します。正は負になり、その逆も同様です。
	したがって、感情フレーズについては、この単純な乗算を実行してから、ドキュメント全体で実行します。
	平均スコア、または最小感情スコアと最大感情スコアの差を次のように計算できます。
	それらのドキュメントの感情値を計算します。 そして、それは私たちがそれらのグラフで見ていたものなので、それらのマップでの時間の経過に伴う感情のグラフです。
	つまり、これは語彙感情分析です。 これは非常に一般的な方法であり、JMPで実装される感情分析のタイプです。 そして、これから見ていくように、JMPを使用している場合
	すべての感情スコアを計算すると、多くの便利な情報が得られます。 感情分析レポートの例を次に示します。
	結果の1つの要素をプレビューするために、ここの上部に、すべてのドキュメントにわたる感情の簡単な要約があります。
	したがって、全体的な感情の分布がポジティブに傾いているように見えることを示す、手軽に色分けされたヒストグラムがあります。これは、かなり強いネガティブな感情の尾を持っています。
	すべてのドキュメントで、平均感情スコアは4.1であるため、ニュートラルをわずかに上回っています。
	全体的にポジティブなすべてのドキュメントで、そのうち3,900があり、平均スコアは22.9ですが、約1,400のネガティブなドキュメントの中で
	平均スコアは負の15.4であるため、負のドキュメントは正のドキュメントほど強く負ではありません。
	さて、もちろん、ここでベージュブックを使用すると、1970年のこの場合から現在まで、平均的な感情スコアを見るだけで、多分、私は知らない、と言うかもしれません。個々のドキュメントのスコアを見るのと同じくらい気にするか、
	多分特定の感情用語の分布を見ています。 しかし、繰り返しになりますが、でデータを処理している場合は、
	たとえば、消費者市場調査、そのようなもの、顧客の声があるテキストデータ、このような高レベルの要約でさえ、次のデータに基づいて、顧客がどの程度ポジティブまたはネガティブであるかを私たちに伝えることができます我々は持っています、
	単純なレポートでさえ、本当に価値があります。 しかし、JMPに切り替えようとしています。感情分析レポートには、洞察を得るためにデータを探索するための追加の方法がたくさん含まれていることがわかります。
	それでは、JMPに進んで、それがどのように行われるかを見てみましょう。
	JMP Pro 16.1を使用しています。これらのベージュの本のデータに飛び込む前に、XanGreggに一言お願いします。
	彼を知らない人のために、Xanは私たちの開発チームのディレクターです。 彼はGraphBuilderの作成者です
	彼はまた、ベージュブックのデータを見るというアイデアを最初に思いついた人物でもあり、ベージュブックのアーカイブのhtmlページを削って、私に素敵なJMPデータテーブルを提供してくれました。 どうもありがとう、ザン。
	さて、感情分析を見てみましょう。私は実際には、結果を見る代わりに、
	知っておくべき重要な考慮事項がいくつかあるので、分析を簡単に設定する方法を示したいと思います。
	JMPがそれをどのように実装するかだけでなく、一般的な感情分析または語彙感情分析を行う方法についてもご存知でしょう。
	そして、その設定を示すために、実際には2010年から現在までのデータのサブセットだけを見ていきます。この場合は、物事を迅速に保つためです。
	テキストエクスプローラーは、分析を何度も自動更新します。可能な限り瞬時にそれを実現したいと考えています。
	ここにデータのサブセットがあるので、2010年1月から先月の最新のレポートまでの12の地区すべてにわたるベージュブックレポートがあります。
	さて、感情分析を開始するために、分析に行き、テキストエクスプローラーを選択します。 テキストを取得して、テキスト列の役割に配置します。 注意すべき点がいくつかあります。
	1つは、テキストエクスプローラーは一般に多くの言語をサポートしていますが、
	感情分析は現在英語でのみ利用可能です。
	もう1つは、少なくとも経験豊富なテキストエクスプローラーのユーザーであれば、ステミングをオンにすることに慣れているかもしれません。今はオフにしておくことに注意してください。
	ステミングを知らない人にとっては、同じ単語の複数の形式にまたがって、または言語学的に言えば、同じレンメを折りたたむ方法です。 だから、強く、強く、そして最強を取りなさい。
	私たちはそれらすべてに崩壊します、そしてちょうど、まあ、それらはすべて私たちの目的のために強いと言います。
	そして明らかに、ここではそれを行いたくありません。なぜなら、最強は強よりも正であり、強よりも正であるからです。
	そのため、ステミングはオフのままにします。実際、感情分析を呼び出した後でオンにしたとしても、そのステミングは無視されます。これも、実際には使用すべきではないためです。
	それで、[OK]をクリックします。 いいえ、私がそうしたように見えますが、少し技術的な問題が発生しました。 最近、私のコンピューターで何か奇妙なことが起こって、それをしていることをお詫びしますが、それは大丈夫です。 画面共有を再開して、ビデオを元に戻すだけです。 みなさん、こんにちは。
	そしてそれを共有します。 さて、私たちはまだ行くべきです、録音はまだ起こっているように見えます。 ここで、JMPが適切なモニターに割り当てられていることを確認します。 そうです。 みなさん、ごめんなさい。 とにかく、それに戻りましょう。
	これで、テキストエクスプローラウィンドウができました。 あなたがすることに慣れているなら今再び
	テキスト分析では、通常、ストップワードを宣言することから始めることがわかります。 たとえば、業界での私の連絡先について人々が話していると、私は次のように言っています... そして、あなたは私が私の分析で連絡先という言葉を使いたくないことを知っているので、通常私はそうします
	それをストップワードとして追加し、潜在的に何時間も通過します
	私が実際に分析を行う前にストップワードを宣言します。感情分析でそれを行う必要はありません。
	それはすべてその感情辞書に基づいているので、連絡先のような単語の場合、それは辞書にありません。 とにかく機能的に除外されているので、時間を節約するための良い方法です。
	ただし、たとえば、不動産や、ここで検討するローン需要などのフレーズを宣言することをお勧めします。
	そこで、ローン需要をクリックしてフレーズとして追加します。 用語リストに追加されるので、すぐに見つけましょう。
	そこには、1,139のインスタンスがあります。 そしてこれは、これらの分析またはこの分析でサブドメインに実際にドリルダウンするのに役立ちます
	このデータセットで。 したがって、全体としてではなく、ローン需要に関する感情のみを計算したいとします。
	これを行うには、最初にフレーズとして宣言する必要があります。そのため、少なくとも、興味がある可能性のある非常に著名なドメインについて、いくつかのフレーズを調べて宣言するのが妥当です。
	では、それを閉じて、実際に感情分析を開始しましょう。
	そして、私がそうするとき、あなたは私が完全なレポートを出すつもりであるのを見るでしょう、そしてこれは完了した分析のように見えるので、私の結果を探求し始める時が来たように私には見えるかもしれませんが、私はしたいですこれを使用してブレーキをかけ、感情辞書を検討するように勧めます。
	さまざまな、あなたが知っている、さまざまな言葉で、さまざまなことについてさまざまな文脈でテキストを生成する人々のグループ
	さまざまな方法で言語を使用できます。 そして、あなたの感情と強意語の否定用語リストを調整することが重要です
	それを反映するために。 つまり...私は決して単語を使用することを躊躇しますが、私はそうするつもりです...私はデフォルトの感情辞書を決して使用しないと言うつもりです。 自分でキュレートすると、常により有効な結果が得られます。
	したがって、ここで感情用語を見ると、スコアがこの組み込みの辞書に基づいていることがわかります。これは比較的まばらです。
	しかし、実際にいくつかのテキストを読んで、辞書に含める必要のある単語をさらに特定できるかどうかを確認したいと思います。 私はあなたが通過したいかもしれないことを言及する必要があります
	組み込みのリストと一部を除外しますが、そのリストは比較的まばらであるため、理想的には、あまりにも多くまたはおそらく一部を除外する必要はありません。
	したがって、私たちのレポートでは、結果を調べるだけでなく、実際に辞書をキュレートするためのツールがいくつかあります。 このドキュメントテーブルでドキュメントを選択して、テキストを表示できます
	真下。 それで、画面の下部から簡単に降ります。 そのテキストで強調表示されているのは、感情の用語やフレーズがすでに見つかっていることです。
	しかし、たとえば、ここで「弱い」という言葉がありますが、現在の状況は弱いままであり、私が知る限り、これは非常に一般的です。
	ベージュブックの用語は、何かが本質的に悪いことを示しています。 私は経済学者ではありませんが、経済学ではそうかもしれません。
	ご存知のとおり、weakはbadの同義語であり、strongはgoodの同義語です。これらのデータをかなり見てきたので、それが私の見解です。
	表示されますが、強調表示されていません。 つまり、weakは現在私の辞書にありませんが、本当に簡単に追加できます。 その上にカーソルを合わせるだけです
	テキストの右の用語、そして私はそれを否定者として追加することができます。 強意語の値または感情の値を指定して、適度に負になるようにすることができるので、負の60をクリックします。
	そして、何が起こるかというと、それが私の辞書に追加され、すべての感情スコアがここでリアルタイムに再計算されます。
	だから私の感情用語リストは今、弱いものを選択してそのすべてのインスタンスを見ることができます。 count列のそのテーブルに戻ると、ベージュブックデータのこのサブセットで1,012回発生しているように見えます。
	したがって、確かに、ドキュメントのランダムなサブセットまたは層化されたランダムなサブセットを調べて読んで、辞書に含まれるいくつかの感情用語を特定してみてください。
	今、あなたはまた、便利な機能、この可能な感情リストに頼ることができます、
	これは実際にあなたの検討のための潜在的な感情条件を提供します。 私は、たとえば、強いものがここにあり、弱いものを入れていることに気付くことができました。 私は確かに強くなりたいので、それを宣言するつもりです
	強い。
	そして、私はショートカットボタンを使用してきましたが、正の60、負の60ですが、負の100から100までの任意のスコアを入力できるので、実際には50のスコアだけが必要です。 だから私はそれをします、そしてあなたが今下を見下ろすならば、あなたは再びすべてを自動更新するのを見ることができます。
	だからあなたの感情用語リストに注意してください。 また、否定強意語の用語を実行するメカニズムについては説明しませんが、同じ考え方が当てはまります。
	ドメインを実際に反映するように正しく設定してください。赤い三角形の下で、いつでも完全な用語管理ツールを使用して、手動でいくつかの用語を入力できることをお勧めします。それを90のスコアにしたい。
	だから私はここに一種のバッチ形式で追加することができます
	毎回自動更新せずに、または感情用語リストをインポートおよびエクスポートすることもできます。
	これは、他の人と共有したり、ポータブルにしたり、作業を追跡して複製可能にしたりするのに最適です。
	結果は感情用語リスト、および強意語と否定語に大きく依存するため、セットリストがある場合は、それらをエクスポートして完全に文書化し、にインポートできるようにすることを強くお勧めします。新しい分析と複製。
	分析の設定はこれで十分です。感情分析を呼び出すとレポートが表示されますが、そのレポートに飛び込むのはやめましょう。 最初に辞書をキュレートします。
	だから、今私は
	その点を容赦なく打ち負かしたので、実際にそのレポートを見てみましょう。
	そして、私が今やろうとしていることは、あなたが知っているように、この場合、5,300以上のすべてを使用して完全に焼き付けられたレポートを取り込むことです
	ベージュブックはここに報告します。 したがって、前に述べたように、結果のセクションには、この全体的な要約があります。 二度とそれを実行することはありません。 あなたも持っているのを見てきました
	すべての個別のドキュメント。これにより、任意のドキュメントを表示して、スコアがどのように表示され、何が表示されるかを確認できます。 文脈における感情用語やフレーズの使用を探ります。
	この表では、いくつかの便利な測定値を確認することもできます。たとえば、ドキュメントの合計正のスコア、
	ドキュメント内の肯定的な感情フレーズの平均スコア。 同じことがネガティブにも当てはまり、それから全体的なスコアにも当てはまります。
	これらの値にカーソルを合わせると、実際にそれらがどのように計算されているかがわかります。 したがって、負のスコアの平均を見ると、合計7つの用語があり、それらのスコアが何であるかがわかり、次に平均が何であるかがわかります。
	また、この場合の負の平均は、正と負のすべての感情用語の平均スコアであることがわかります。
	このレポートの要素にカーソルを合わせると、役立つ情報が表示される便利な方法がたくさんあります。 ぜひお試しください。 マウスをさまざまな場所に置きます。 あなたはおそらく何か役に立つものを見つけるでしょう。
	さて、通常、このようなテキストマイニングを行うときは、個々のドキュメントをあまり見ないでください。 つまり、それらすべてを読むことができれば、
	その後、私たちはそうします。 つまり、私たちはコンピューターよりも言語を理解するのが得意です。 つまり、5,300のドキュメントのこのコレクション全体を調べるだけではありませんが、スコアで並べ替えて、最もネガティブなものだけを見ることができます。
	レポートを作成し、実際にそれらを読んで、わかりました。
	人々が特に否定的であるとき、彼らは何について否定的ですか？ 何がその否定性を引き起こしているのかについて私は何を学ぶことができますか、そしてまた、特に、例えば、消費者調査、製品レビューを見て、そのようなものを調査することは本当に価値があります。
	また、あなたの感情用語リストがあることもわかりました。ここには、表示されるさまざまな感情用語、それらが表示される頻度、および
	それらに関連付けられているスコア。 そして、それらのいずれかをつかむと、それらの用語も文脈で見ることができます。 したがって、使用されている特定の感情用語がある場合
	データでは非常に一般的ですが、コンテキストでデータをよりよく理解して、人々がデータを使用している理由や、データを使用するように駆り立てている理由を確認することをお勧めします。 そして、用語を選択して以下のテキストを閲覧するだけで、それを行うのは非常に簡単です。
	さて、最後に、感情分析で最も有用な機能の1つであると私が思うのは、この機能タブの下にあります。
	したがって、検索をクリックすると、感情用語で頻繁に発生する非感情用語が検出され、それに関してのみ感情を評価するドリルダウン分析を実行できます。
	選択した用語、または機能と呼ぶもの、またはサブドメインと呼ぶこともできます。 ですから、売り上げだけのセンチメントで、売り上げが弱く、売り上げが落ち込んでいることがわかります。
	または、私があなたが潜在的にいくつかの言い回しをしたいと言ったときに戻ってください。 このリストでローン需要を見つけましょう、
	そして、ローン需要に関する感情に関してのみ、すべてのドキュメントをスコアリングしましょう。 そしてもちろん、これはいくつかを使用しています
	どの感情フレーズがローン需要に適用されるかどうかを判断するための自然言語処理。どのNLP方式でも、100％正確になることはありませんが、特に整形式のテキストで書かれた正確さは
	ベージュブックのレポートのように、それは非常にうまく機能しているようです。 そして今、私は、例えば、彼らがローン需要についてどのように感じているかを見ることができます
	これらすべてのレポートにわたって？ そして、それは一般的にポジティブに見えますが、そこには特にネガティブな報告がいくつかあります。
	ここで最後に呼びかけるのは、私たちを完全な円に戻すためです。おそらく、これを行ったときにスパイクが必要であることに気付くでしょう。それは...正の60と負の60のように見えます。
	そして、これは、この分析を行うときに感情辞書をキュレートし、結果を解釈するときにそれをどのように構築したかを説明することがいかに重要であるかを再び強調しています。
	したがって、ここでは、正の60でのこの急上昇は、最初に辞書に多くの感情用語を入力したときに、これらのショートカットボタンを使用していたためである可能性があります。
	だから私はこれらの30、60、90のショートカットボタンを持っているので、スコアの急上昇を見るためにほとんど自分自身を構築しています
	正の60と負の60。 そして、スコアをよりきめ細かくするためにもう少し注意を払っていたとしたら、おそらくこれはまったく見られないでしょう。興味深いことに、これを配布と呼びます。
	だから私はあなたの感情辞書を手に入れることがどれほど重要であるかをもう一度強調するためだけにそれを呼びます
	この機能を使用して、事前に一緒にすると、グローバルな感情、ドキュメントごとの感情、個々の用語ごと、またはサブドメインごとの感情に関するすべての有用な情報が得られます。
	ここのセクション。 そしてもちろん、おそらくJMPで慣れているように、行ったことを取り出して保存するときは、赤い三角形の下の他の場所で使用できるので、これらのオプションが見つかります。ドキュメントのスコアを保存する場合があります。
	ここにあるデータテーブルに戻ると、実際に保存したことがわかります。この場合は、そのローン需要サブドメインのスコアがデータテーブルに戻って使用できるようになります。 、スライド用に作成したいくつかのグラフのように、さらなる分析またはグラフ化で。
	これが感情分析であり、テキストのポジティブな感情とネガティブな感情を定量化するためのJMPPro16の新機能です。 と
	それでは、用語の選択に移りましょう。これは、私が話したいもう1つの新しいテキストマイニング手法です。 それが言うように、用語の選択はすべて、何らかの結果、つまり他の尺度に関連付けられている単語を識別することです。 たとえば、ここでは、あなたが知っている、私たちは、
	ベージュブックのレポートテキストですが、組み込むこともできます
	たとえばGDPなどの経済変数、およびベージュブックレポートの特定の用語がGDP、または経済が不況にあるかどうかなどのバイナリ変数でどのように追跡されるかを確認します。
	これは...ここでの用語の選択は、他の変数に関連付けられている単語を見つけるための汎用ツールです。これは便利です。
	解釈の文脈では、おそらく他の変数のドライバーを見つけるために、またはおそらく予測モデリングの演習で、何かを予測する用語を特定できるので、将来、それらの用語を使用して予測に役立てることができます。
	それでは、用語の選択がどのように機能するかを見てみましょう。実際には、消費者金融保護局の消費者の苦情とは別の例を見ていきます。
	データベース。したがって、消費者は、金融商品またはサービスに関する苦情がある場合、CFPBにその苦情を入力することができ、CFPBはその消費者と
	金融商品またはサービスのプロバイダー。 これらのデータで見つけることができるものの例を次に示します。 それで、ここに誰かが彼らが彼らの信用報告書を監視していたと言っています、そして3,900ドルで提出された徴収通知がありました、そして彼らはそれについて何も知らないと主張します。
	また、データテーブルのすぐ隣に、消費者が異議を唱えたという列があります。ここでは、消費者が異議を唱えました。つまり、
	金融サービスプロバイダーと彼らはその応答に満足していなかったので、彼らはそれに異議を唱えました。
	データテーブルのヘッダーグラフの仕様を見ると、それほど一般的ではありません。 これは基本的に、私たちが調べているこのデータセットの約5分の1です。
	消費者の論争につながりますが、あなたがこの顧客を扱っている金融会社である場合、あなたは確かに何らかの応答を発行したくないので、彼らにその応答に論争し続けさせます。 あなたはどんな種類の苦情を理解したいかもしれません
	実際に消費者紛争につながるようなものが入ってくるので、たとえば、紛争につながる可能性のあるものを事前に特定できる可能性があります。
	または、紛争解決の慣行をよりよく理解して、紛争の数を減らします。 テレはあなたがそれを気にしたい多くの理由です。
	消費者の苦情の説明データは、そもそもこれらの論争を引き起こしている可能性があるものを確認し、用語の選択は、その結果に関連付けられているテキスト内の個々の用語、その論争の変数を見つけることです。
	ここに、用語選択分析を行った結果から作成したグラフがあります。ここでは、Y軸に沿って用語のコレクションがあります。 Xには、ログワースがあります。
	関連の統計的証拠の強さの尺度。 つまり、これは実際にはログワース値で並べ替えられているので、上部に次のようになります。
	違反すると、そこに小さな点が表示されます。 これは、実際にここでステミングが行われたことを示しています。つまり、違反とは、違反、違反、違反などの可能性があることを意味します。
	したがって、その用語の違反は消費者の紛争に関連しており、実際には色分けに関連しているという強力な統計的証拠があります。
	ここではオッズ比という点で効果の強さがあります。 だから人々が...誰かがその言葉に言及したとき、違反し、
	紛争の確率は約1.5倍になります。 だから私が
	金融サービスプロバイダーの場合、私はその用語に目を光らせたいと思うかもしれません。 人々が特定の違反をいつどのように主張するかを調査したいと思うかもしれませんが、これから見ていくように、それは本当に連邦法の違反です。
	彼らが苦情でそれを主張するとき、私たちがそれらを十分に処理していないように思われるので、私たちがそれらをどのように処理しているのですか？
	予測モデルの一部でその用語の有無を使用して、潜在的に問題のある苦情に事前にフラグを立てて、解決策をエスカレートできるようにしたい場合があります。
	では、これはどのように機能しますか？ さて、テキストの表現であるドキュメント用語マトリックスで始まるモデルを構築しています。
	行は1つのドキュメントであり、各列は表示される可能性のある1つの用語です。 その後
	この場合、バイナリ重み付けと呼ばれるものがあるため、用語が表示された場合は1つ入力します。その用語がそのドキュメントに表示されていない場合は、ゼロを入力します。 より多くの重み付けがありますが、この例では、バイナリを使用します。
	モデルの予測子としてそれらのバイナリ列をそこに入力すると、特に
	JMPの一般化された回帰とその理由はすぐにわかります。 まず、ここで行っているのは回帰であり、実際にはいくつかのことを指定したいだけです。
	一部の人々は、おそらく耳にするでしょうが、用語の選択をテキスト回帰と呼びます。
	モデルの形についてはあまり気にしないでください。 私たちが行っているのは、結果変数を取得していることを強調しようとしています。
	バイナリ変数があるため、ロジスティック回帰の対数オッズであり、これは、インターセプトプラスに等しいと言っています。
	ご存知のとおり、係数に変数を掛けたものです。 この場合、それは2進数の1または0です。違反したかどうか。
	さらに、別の係数値（この場合は別のバイナリ変数の負の0.2倍）。ここで、誰かがその用語がハングアップしたかどうかなどについて言及したかどうかなど。
	したがって、このモデルに一連の用語を入力し、一般化された回帰を使用して、モデルに属する用語と属さない用語を選択します。 と
	ここに表示されているのは、そのソリューションを計算するJMPの例であり、どの用語が属し、どの用語が私たちには当てはまらないかを示しています。
	ここのソリューションパスでは、モデルに入力されたすべての用語が青色で表示され、モデルに実際に含まれていなかったすべての用語が黒色で表示されます。これらの用語は、予測値に実際には追加されないためです。
	したがって、最終的には用語のリストになります。 モデル係数の値があるので、たとえば、ここでは違反します。実際には、.4の値を取得しました。
	モデルを適合させたときの係数の値。 また、前述したように、統計的証拠または証拠の強さの測定値を取得します。
	このlogworth値、ここでは16.58です。経験則が必要な場合、2を超える値は強力な統計的証拠と見なされる可能性がありますが、実際には、logworthはp値の10を底とする負の対数であるため、 2は、.01のP値に対応します。
	ですから、この場合は係数の両方がありますが、これは紛争のオッズをどの程度強く増加または減少させますか？ そして、私たちに伝える価値のあるログ、あなたが知っている、これの私たちの証拠は本当にどれほど信頼できるのですか？
	そして、その情報を使用して、多くのことを実行できます。JMPに移行して、実際にこの分析を実行する方法を確認しようとしています。
	だから私はここで他のデスクトップに戻ってきました。 消費者の苦情データを引き出します。
	と
	テキストエクスプローラーを最初から作成するのではなく、ここでテーブルスクリプトを使用して起動します。
	そして、これから見ていくように、これが表示されると...申し訳ありませんが、間違った画面にポップアップ表示されます。 そこに行きます。
	ご存知のとおり、分析に実際に入力される用語のリストから始めます。 次に、用語リストに属する特定のフレーズを宣言できるフレーズリストも含める必要があります。
	公正信用報告法のような多くのフレーズを含めました。そのフレーズまたはその概念の言及が消費者紛争に関連している場合、私はそれを見つけたいからです。
	そして、私が私たちのところに行くと、あなたはまた気付くでしょう...ここでストップワードを管理するために行きましょう、私はたくさんのストップワードを宣言しました。 だからこれらはすべてその言葉です
	主に他の言葉を圧倒する可能性があるため、分析に含めたくありません。
	それらは本当に頻繁であるかもしれません、そして私が分析するように頼んだだけなら、あなたが知っている、500の最も頻繁な単語、私はそれを台無しにすることができたくありません。
	特に、紛争に関連する用語として返還されたとしても、私は自分が何をするのか、それをどうするのか、あるいはそのような一般的な単語をどのように解釈できるのかさえ正確にはわかりません。
	したがって、時間をかけてストップワードやフレーズを実行し、準備ができたら、赤い三角形の下で用語選択を呼び出します。
	だから私たちがそうするとき、私たちは最初に私たちを選択します
	結果は変数であり、それがこの消費者の論争です。 そして、紛争が発生する可能性の観点から物事について話したいと思います。
	ここでは、連続およびカテゴリの結果変数を設定できます。 どちらも機能します。 そして、私たちが論争について話していることにも言及する必要があります。
	ご存知のように、実際には感情の代用になる可能性があると思うかもしれません。つまり、誰かが何かに異議を唱えた場合、それはおそらく彼らが幸せではないためです。
	しかし、一部の人々がデータを持っていることはよくあることです。データには、感情のより直接的な尺度である外部変数があります。たとえば、製品の星評価は、本当に満足度を示します。
	したがって、テキストデータとともに感情を適切に測定している場合は、このようなツールを使用して、私たちが呼ぶものを実行できます。
	データから派生した感情分析。このツールを使用して、感情指標を予測する用語をマイニングします。これにより、基本的に感情用語が自動的に選択されます。
	彼らのスコアがどうあるべきかを見つける。 とても便利です。 それは私たちがここで行っていることではありません。 より一般的な方法で使用しています。
	さて、そのドキュメント用語マトリックスについては、バイナリの重み付けを使用します。 物事をきびきびと保つために、私は言うつもりです、200の最も頻繁な用語だけを見てみましょう。
	それを超えて、用語201から、分析に含めるつもりはありません。 実際には、私はおそらくもっと多くを含めるでしょう、あなたが知っている、それは私がこれをデモのために素晴らしくそしてきびきびとさせたいということだけです。
	また、GenRegユーザーの場合は、次のことがわかります。
	事前に推定および検証方法を指定するためのいくつかのオプション。 これらはデフォルトのままにして、[実行]をクリックします。
	そして何が起こっているのかというと、JMPはGenRegに呼びかけています。 ロジスティック回帰モデルを構築し、エラスティックネット法を使用して変数選択を行います。
	2つ目の技術的な不具合が発生したようです。 大変申し訳ございません。 このモデルが適切であるため、対処します。 では、見てみましょう。 画面共有を元に戻します。
	私を連れ戻します。 まだ録音中のようですので、そのまま続けていきます。 これが結果です。
	レポートを詳しく説明する前に、まず要約テーブルのこの1行だけを見ていきます。 これは私がこれまでに構築した単一のモデルを要約したものです。
	したがって、たとえば、145の用語が返されたことがわかります。 検証としてAICcを使用しましたが、AICc値があります。 他のいくつかの適合統計を見ることができます。
	また、他のモデルと同様に、データに最適なモデルを構築するために、モデルで複数の実行を試してみることもできます。
	したがって、ここでこの一般化された回帰ノードに移動すると、GenRegが実際にテキストエクスプローラーに埋め込まれていることがわかります。
	適合したモデルをより詳細に調べることができます。または、私の場合は、実際にもう1つのモデルを適合させて、さらに改善できるかどうかを確認します。 アダプティブエラスティックネットをやってみましょう。
	代わりにそのモデルを適合させ、すでに適合している通常のエラスティックネットよりも優れているかどうかを確認します。
	さて、それはそのモデルにも適合しています。
	要約を見ると、これは98項を返し、実際にはAICcが低いため、より適切である可能性があります。
	そして、私はそのモデルで行くつもりです。 これで、オリジナルを使用したい場合は、それをクリックするだけで済みます。 ご覧のとおり、以下のレポートは、この表で選択したモデルに更新されます。
	ここに用語のリストがあります。 これについてはすでに話しましたので、係数の観点から見ることができます。 ですから、ここに最も...最大の効果があり、消費者紛争の可能性を高める用語があります。
	消費者紛争の可能性を減らすのに最も効果的なものは次のとおりです。 たとえば、それらのいずれかで、ハングアップを見て、もちろん、誰かにハングアップしている、または誰かがハングアップしていることを話していることがわかります。
	これは、実際にはコミュニケーションの問題であるように思われ、解決が少し簡単になる可能性があるため、紛争の可能性の低下を予測するものになるでしょう。
	繰り返しになりますが、ここでログワースの値2.883に注意を払いたいので、これは前に述べた経験則2を少し上回っています。したがって、これが本物であるというかなり強力な統計的証拠があると思います。協会。
	その地点を家に帰すために、ここに降りると、警察という言葉が見えます。 そして、私の最初の印象は、まあ、人々は、まあ、私は警察の報告書を作成した、または私は警察に電話したと言っています。
	私たちが何らかの応答、確率論争を出した場合、彼らはおそらく消える可能性はそれほど高くないでしょう、誰かがすでに警官を呼ぶレベルに達しているなら、それは上がる必要があります。
	しかし、私たちが見ると
	ログワース、これの統計的証拠は実際にはそれほど強力ではないことがよくわかります。したがって、それは私の直感に違反しますが、おそらく、完全に現実的ではないかもしれません。
	確かに、これを経営陣まで連鎖させて、「警官を呼んだと言われたら、それは実際には良いことだ」と言いたいというわけではありません。 私たちは確かにそれを言っていません。 最終的には、モデルに含めるために選択されたばかりです。
	結果はより適切なモデルになりますが、結果の解釈に私たち自身の知識と常識を適用するのは私たちの責任です。
	したがって、この表は、あなたが本当にやろうとしているのが単に用語を特定し、それらの効果をある程度の能力で定量化することである場合、
	これはあなたの分析の一種の目標かもしれません。 だから私は右クリックしてデータテーブルにするかもしれません
	そして、これらの用語とその係数および対数価値のデータテーブルを取得し、これを使用して、以前の応答、改善努力の分析をガイドしたり、将来のある種の予測モデルに含める必要がある用語としてこれらにフラグを立てたりすることもできます。
	ただし、ここでは回帰モデルというモデルを作成したので、個々のドキュメントレベルで、
	論争のオッズの増加を予測する係数の合計、減少を予測する合計、全体的なモデル値、
	モデルが割り当てた論争と私たちが実際に観察したこと。 したがって、個々のドキュメントのレベルで実際に評価しているときに期待できるすべてのことは、このモデルがどの程度うまく機能するかということです。
	上部には、この場合は個々のドキュメントとその...私たちが貢献と呼んでいるものの一般的な要約もあります。
	それらの係数値の合計または平均。 したがって、たとえば、30,412のドキュメントには、係数値と平均係数値の合計...正の合計があり、平均寄与率は約.57であるように見えます。
	つまり、ここでもフラグだけです。ここでは回帰係数について話しているので、これらの寄与値、係数テーブル、これらはすべて、構築するときと同じように解釈する必要があります。
	それ以外の場合は線形回帰モデルなので、ここでのロジスティック回帰では、これらを解釈する必要があります
	適切に、つまり、それらをべき乗する場合は、対数を処理するか、...すみません...次に、オッズ比を処理します。これが、オッズが増減する要因です。この単語がテキストに表示されている場合。
	回帰にそれほど関心がない場合でも、これらの値は、より一般的な意味で適切である可能性があります。つまり、どの用語が最も効果が強いか、または効果がないかを確認できます。 そして、ログワースについても同じです。ログワースは、最も強力な証拠を持っているか、持っていないかです。
	さて、最後に、ご想像のとおり、用語テーブルを保存する方法はすでに見ましたが、目標がその用語テーブルではなく、実際にはモデルである場合
	作成したものを保存するオプションもあります。 そこで、使用するモデル、適応型エラスティックネットを選択しました。赤い三角形の下に、予測式を保存できます。
	そして、私のコンピューターはおそらくここでほんの一瞬解約するだろうと思います。 つまり、ドキュメント用語マトリックスを保存しているので、指定した上位200の用語、そして式も保存されます。
	これらの列またはドキュメントの用語マトリックスを操作して、実際にモデルを計算します。 だからここに、私は文書用語マトリックスを持っています
	そして、ここの最後にある数式列なので、実際に使用できます
	必要に応じて、このモデルを直接使用してください。
	これが用語の選択です。 再び高レベルで、私たちは、その結果を推進しているものをよりよく解釈するために、またはおそらくその結果を予測しようとするモデリングの実践に情報を提供するために、私たちが関心のある結果変数に最も強く関連している用語を見つけています。
	これで、用語の選択と感情分析が終わりました。JMPPro 16の2つの新しいテキストマイニング機能は、この春に導入されたばかりです。
	私は今少したむろして、誰かが持っている質問に答えるつもりです、
	ご存知のとおり、これら2つの新機能。 また、後でいつでもこのプレゼンテーションのユーザーコミュニティページに追加のコメントや質問を投稿することができ、私は常に目を離さないことを知っています
	出てくる質問に答えるために開いてください。 みなさん、お時間を割いていただきありがとうございます。 気をつけてください。

起こるデータ探索統計とモデリングRe：テキストマイニングツールキットの拡張：JMP Pro 16（2021-US-45MP-851）での感情分析と用語選択

ありがとう、 @jgrayson 。15対16についての質問がわかりません。 明確にしていただけますか？

Re：テキストマイニングツールキットの拡張：JMP Pro 16（2021-US-45MP-851）での感情分析と用語選択

すごい！これらを見るのを楽しみにしています。私は今16人しかいないが、他は15人のようだ。 16も持つことは可能ですか？

ありがとう、

ジム

Re：テキストマイニングツールキットの拡張：JMP Pro 16（2021-US-45MP-851）での感情分析と用語選択

セミライブプレゼンテーションの参加者の1人が、感情分析の参考資料を求めました。 当時は良い答えがありませんでしたが、インターネットで簡単に検索するとビン・リウ教授の仕事は良い出発点かもしれません。 彼の2012年の本感情分析と意見マイニングGoogle Scholarで7,000以上の引用があり、彼はまた、より最近の本を執筆しています。感情分析：マイニングの感情、意見、感情。 劉教授感情分析のWebページこれらの本に関する情報だけでなく、トピックに関するPDFブックの章。 劉教授の作品はまだ読んでいませんが、一見の価値があります。