スピーカー | 成績証明書 |
| クレイ・バーカー | ありがとう、私の名前はクレイ・バーカーです。 私は JMP グループの統計開発者で、今日は JMP pro 16 の新機能について話します。 これは用語選択と呼ばれるもので、私は同僚のパリ・フェゾンとアーネスト・パスールと一緒にこれに取り組んできました。 |
| したがって、実際にはテキスト データがますます一般的になってきています。 当社は、当社が製造する製品についての顧客レビューを持っている場合があり、いくつかのイベントの説明や当社の機器の一部のメンテナンス ログが残っている場合があります。 |
| 私のスライドにあるこの例では、これは |
| 航空機インシデント...サンプル データにあるインシデント データ セット。 |
| そして、データの各行は、何らかの航空事故、墜落、その他の種類の故障を説明しています。 |
| Text Explorer プラットフォームを使用したことがない場合は、これは JMP 13 で導入され、主にテキスト データの要約と分析を支援するために使用されます。 |
| そのため、最も頻繁に出現する単語やフレーズを調べるなどの一般的なタスクを簡単に行うことができ、ドキュメントをクラスタリングしたり、トピック分析などのテーマを探したりすることも簡単に行うことができます。 そして、すべては文書用語マトリックスと呼ばれるものによって動かされます。 |
| では、文書用語マトリックスとは何でしょうか? これは、各ドキュメントに特定の単語または語句が含まれているかどうかを示す指標変数のマトリックスとして考えるのが最も簡単です。 |
| そして、各文書内でその単語が出現する頻度によって重み付けを行うことができます。 したがって、各文書は文書用語マトリックスの行であり、各列は単語です。 |
| ここでの非常に単純な例として、最初の行は「ピザのパッケージはイライラしました」です。 したがって、パッケージングには 1 があり、 |
| ピザは 1、イライラは 1、その他すべての単語は 0。 同様に、2 行目には、匂い、素晴らしい、味、ピザには 1 があり、その他の部分には 0 があります。 これは、各文書に登場する単語を簡単にまとめたものです。 |
| また、文書用語マトリックスにはいくつかのバリエーションがあることにも言及しました。 最も簡単なのはバイナリです。それは単なる 1 と 0 です。 |
| ただし、各単語の出現頻度に関する情報を含めたい場合があるため、ピザが複数回出現する少し長い文をもう 1 つ示します。 |
| バイナリ文書用語行列では、そのピザ列は出現頻度を気にしないため、依然として 1 です。 3 進数の場合、3 進数は 0、1、2 であるため、2 になります。 単語が出現しなかった場合は 0、1 回出現した場合は 1、複数回出現した場合は 2 になります。 |
| ここで 4 回発生するかどうかに関係なく、やはり 2 としてコーディングしました。 そして頻度はとてもシンプルです。 これは、その文書内で各単語が出現する回数にすぎません。 |
| これらは 3 つの非常に単純なものです。相対周波数のような TF-IDF 重み付けも提供していますが、これらの重み付けスキームについて詳しくは、 |
| テキスト エクスプローラー プラットフォーム。 |
| では、次のステップは何でしょうか? 次に使いたいものは何ですか? |
| 何らかの結果を得るためにテキストを使用するとよいでしょう。 ここで家具のレビューをいくつか作成しました。すべてのレビューに星評価が関連付けられています。 |
| したがって、これらのレビューは、誰かが製品を高く評価する理由、または低く評価する理由についての手がかりを与えてくれると考えるかもしれません。 したがって、この最初の行では、「説明がイライラする」とあり、ユーザーは私たちに 3 しか評価しませんでした。 もしそれが...そのパターンが頻繁に起こり、多くの人が評価しているとしたら... |
| 低い評価の多くは説明書に関連しており、家具に同梱する説明書を改善する必要があることがわかります。 |
| したがって、簡単なアイデアは、それらを回帰モデルとして使用することです。 私たちは...文書用語マトリックスを取得するつもりです、 |
| それを応答情報と組み合わせて、回帰を実行するだけです。 |
| そしてそれは、なぜお客様が当社の家具や当社の製品を好むのか、好まないのかを理解するのに役立ちます。 |
| これは、説明に基づいてオブジェクトを分類するのに役立ちます。その一部は後で説明します。あるいは、メンテナンス記録の一部に基づいて、一部のマシンが故障する理由を理解したい場合もあります。 |
| そして、これを行う方法は非常に簡単です。 |
| 実際には、各 X または予測子変数が項行列の列の 1 つである回帰モデルを作成しているだけです。 したがって、製品の評価をモデル化している場合、それは単純な線形回帰です。 |
| 顧客が当社の製品を推奨するかどうかなど、二項対立の結果をモデル化している場合 |
| おそらく何百もの単語があるため、すべてを使用しないのは当然です。 すべてのデータが役立つわけではないため、変数選択手法を回帰モデルに適用して、解釈が容易でよく適合する、より単純なモデルを取得します。 |
| そして、ここの一番下では、これらの指標変数と応答評価、つまり星評価を組み合わせて視覚化するだけで簡単です。 |
| したがって、JMP 16 で導入される予定のソリューションは、回帰モデルを Text Explorer プラットフォームに導入することです。 一般化回帰プラットフォームを使用して変数選択を行ったことがある場合は、基本的にそのプラットフォームを Text Explorer 内に埋め込んでいます。 |
| したがって、JMP pro をお持ちの場合は、テキスト エクスプローラーの赤い三角メニューに用語選択項目が表示されます。 |
| これは私たちが本当に興奮していることです。 これにより、この種の回帰モデルの構築と改良が簡単かつ迅速に行えます。 |
| このプラットフォームを立ち上げたら、ほんの 1 分で簡単にいくつかのデモを行いますが、 |
| 立ち上げ当初は、私たちの反応と、どのようなモデルを適合させたいのかについての情報を求めているだけです。 |
| そのため、星評価などの両方の連続応答を処理でき、連続応答を指定すると、応答に基づいて一部の行を除外できるフィルターが提供されます。 |
| そして、公称応答列がある場合、目標レベルを選択します。 この場合、当社の製品をお勧めしますか。「はい」または「いいえ」でお答えください。私たちはモデル化するつもりです... |
| 推奨事項と同等のモデルをモデル化します。 |
| 青、緑、黄色のような複数のレベルの応答がある場合は、モデル化するレベルを選択します。この例は 1 分以内に表示されます。 |
| 次に、応答を指定した後、適合させたいモデルの種類に関する情報をプラットフォームに提供します。 |
| それでは、変数選択を行うときは、エラスティック ネットを使用するのでしょうか、それともなげなわを使用するのでしょうか? これらは両方とも、一般化回帰に組み込まれた変数選択手法です。 そして検証はどのように行うのでしょうか? AIC と BIC のどちらを使用しますか? |
| さらに、文書用語マトリックスに関する詳細を指定できます。 重み付けを選択し、考慮する項の最大数も選択できます。 したがって、最も頻繁に出現する単語の上位 200 を検討したい場合、現在は 200 に設定されています。 |
| では、起動して実行ボタンを押すとどうなるでしょうか? 基本的には何でもやります |
| する必要があります。 データはバックグラウンドで適切に設定されるため、心配する必要はありません。 変数を選択するので、応答を予測するのに役立つと思われる単語の小さなサブセットが得られ、結果が簡単に表示されます。 |
| レポートを解釈するには、後で説明するように、非常にインタラクティブです。 したがって、以前はこれを行うことができました |
| 文書用語行列をデータセットに保存し、一般化回帰プラットフォームを自分で起動し、 |
| しかし、もうそんなことをする必要はありません。 条件の選択に関しては、これですべてです。 |
| では、そのモデルの仕様、何を選択すべきかをどうやって知ることができるのでしょうか? |
| 利用可能な推定方法には、エラスティックネットとなげなわがあります。 それらの違いを覚える簡単な方法 |
| それは、エラスティック ネットは相関のある予測子のグループを選択する傾向があるということです。 したがって、この設定では、予測変数がすべて単語である場合、 |
| つまり、一緒に出現する傾向のある単語のグループが選択される傾向があります。 つまり、説明書やマニュアルについて考えてみると、 |
| これらの単語は取扱説明書のために頻繁に混在します。 したがって、これら 2 つの予測子は相関性が高く、エラスティック ネットはおそらく両方を選択しますが、なげなわはおそらく指示またはマニュアルを選択しますが、必ずしも両方である必要はありません。 |
| 検証方法には、AIC と BIC があります。 |
| 経験則のようなものとして、AIC はモデルを過剰に選択する傾向があり、BIC はモデルを過少選択する傾向があります。 したがって、私たちの仕様では、 |
| AIC はより大きな単語のセットを選択する傾向があるのに対し、BIC はより小さな単語のセットを選択するというだけです。 |
| 個人的には、単語が少ないよりも必要以上に多い方が良いため、設定で AIC を多用する傾向がありますが、実際には好みの問題です。 |
| そして文書用語の重み付け... |
| 文書用語の行列重み付けのことです。 |
| それは本当にあなたの問題によって異なります。 したがって、この例では、 |
| ペイントという単語がレビュー内で複数回出現します。 それは、レビュアーが非常に優れていたことを意味する可能性があります... |
| かかりました...ペイントはそのレビュー担当者にとって非常に重要であり、それが回帰モデルで意味がある可能性があるため、バイナリの代わりに頻度のような重み付けを使用したいと考えます。 |
| それでは、用語の選択を開始すると、最終的には次のような場所になるでしょう。 |
| 左側にはすべてのドキュメントの概要が、右側には選択したすべての単語が表示されます。 そして、今のところはこれをスキップします。デモを始めると分かりやすくなります。 |
| 私たちが非常に便利だと考えるもう 1 つの点は、概要があるため、用語選択を使用して一連のモデルに適合させることができ、それらがすべて上部にまとめられ、それらの間で切り替えることができることです。 もう一度、すぐにそれを見てみましょう。 |
| それでは、プラットフォームを見てみましょう。 |
| それではまずこれを見てみましょう |
| JMP サンプル データ フォルダーにある航空機事故データ セット。 |
| したがって、テーブル内のすべての行はインシデントです。 そして、航空機にどれだけの損傷があったのか、どのような負傷があったのかもわかっており、その説明も残っています。 したがって、この最後のコラムは、事件で何が起こったのかを正確に説明したものです。 |
| そこで、テキスト エクスプローラーを起動します。これまでにテキスト エクスプローラーを使用したことがない方のために、左側には最も頻繁に出現する用語が表示され、右側には最も頻繁に出現するフレーズ、つまり単語のグループが表示されます。 |
| だから私たちはこれらの言葉を使って理解したいのです |
| それは...衝突の原因は、より多くの損傷、あるいはより深刻な怪我を引き起こす可能性があるということです。 そこで、赤い三角ボタンのメニューに移動して、用語の選択を求めます。 |
| それで、今、私たちが先ほど見ていたこの打ち上げを見て、私はダメージについてもっと知りたいと思っています。 そして特にしたいのは...航空機が破壊されたインシデントとそれよりも少ない被害を区別したい場合があるため、破壊するターゲットレベルを選択します。 |
| この早期停止は時間を節約する機能であることに言及しておきます。 それで |
| 変数の選択を行う場合、より大きな問題の場合は非常に時間がかかることがあります。 このチェックボックスをオンのままにすると、次のようになります。 |
| 私たちは十分に優れたモデルを持っていると考えています。先に進んで早めにやめます。 もっと大きな問題があることがわかっていない限り、私はこのチェックを外す傾向があります。 |
| それで、弾性ネットと AIC を付けたままにして、ランを打ちます。 |
| バックグラウンドで何が起こっているかというと、この回帰モデルに適合させるために必要なデータが作成され、舞台裏で回帰モデルが適合されており、これで概要が得られました。 だから、すべての |
| すべての文書はこの左側のパネルに要約されているため、これが最初の航空機事故であり、これは空白の 2 番目です。 |
| 最初の例は、飛行機が滑走路脇の雪だまりに接触したというものです。 |
| 重要な単語がすべて強調表示されているので、青色の単語には負の係数があり、オレンジ色の単語には正の係数が付いています。 |
| 言葉に興味がある場合は、右側のパネルをご覧ください。 私は係数で並べ替えることを好む傾向があるので、上部をクリックするだけで済みます。 |
| したがって、この例では、負の係数を持つ単語は破壊される可能性が低くなります。 それで、もし |
| 文書には着陸という言葉が含まれていますが、飛行機が着陸地点まで到達したのであれば、おそらくそれほど重大な事故ではないでしょう。 したがって、これらは可能性が低いです |
| 破壊されました。逆に、最も肯定的な用語に注目すると、これらは航空機の破壊に最も関連する用語です。 |
| 証人よ、それは火のような言葉だ。 もし彼らが事件について説明するために目撃者にインタビューしているのであれば、おそらく飛行機に乗っていた人は誰であろうとインタビューすることができなかったということになるだろう。 |
| つまり、火災、レーダー、回転、夜、これらはすべて非常に関連性の高い単語です。 |
| 破壊されたままで。 |
| さて、おそらく怪我のレベルにも興味があり、具体的には最悪の怪我のレベルを見ていきます。 |
| そして用語の選択を再度行います。 |
| すぐに終わらせるためにそれを受け入れることにします。 |
| したがって、現在は同じようなことを行うことができますが、代わりに怪我のレベルに目を向けています。 |
| したがって、インタビューに機長や着陸が含まれている場合、怪我のレベルという点では、おそらくそれほど深刻ではありません。 |
| しかし、再びレーダー、夜、山について言及する場合、これらははるかに深刻な言葉です。 したがって、これら 2 つの応答の間をすばやく行ったり来たりして、どの単語がこれら 2 つを予測するかを確認できます。 |
| 負傷レベルとダメージレベル。 |
| それでは、別の例を見てみましょう。 |
| だから、これは私が本当に楽しんでいる作品です。 先ほど、例でピザについて話しました。 さて、今回はビールについてお話します。 したがって、これらは明らかに私の心に近いものであり、大切なものです。 |
| それで、私がここに持っているものは、私が持っているものです...いくつかのビールのレビューによると、すべてのビールスタイルの説明をダウンロードしました |
| 体。 |
| したがって、すべてのビールには説明が付いています。 |
| そして、ビールがどこから来たのかが書かれています。 それで、私たちは... |
| アメリカ、ドイツ、アイルランド。 |
| 用語選択を使用して表示します |
