スピーカー | トランスクリプト |
| クレイバーカー | ありがとう、私の名前はクレイバーカーです。 私はJMPグループの統計開発者です。今日は、JMP pro for16の新機能について説明します。 これは用語選択と呼ばれ、同僚のParisFaisonとErnestPasourと一緒に取り組んできました。 |
| そのため、テキストデータは実際にはますます一般的になっています。 当社が製造する製品のカスタマーレビューがある場合があります。また、一部のイベントの説明や一部の機器のメンテナンスログがある場合があります。 |
| そして、このスライドの私の例では、これは |
| 航空機事故...サンプルデータにある事故データセット。 |
| また、データのすべての行は、航空会社のインシデント、クラッシュ、またはその他の種類の誤動作の説明です。 |
| したがって、Text Explorerプラットフォームを使用したことがない場合は、JMP 13で導入され、主にテキストデータの要約と分析に使用されます。 |
| そのため、最も頻繁に発生する、または最も一般的に発生する単語やフレーズを調べるなどの一般的なタスクを簡単に実行でき、ドキュメントをクラスター化したり、トピック分析などのテーマを検索したりすることも簡単にできます。 そして、すべては、ドキュメント用語マトリックスと呼ばれるものによって駆動されます。 |
| では、ドキュメント用語マトリックスとは何ですか？ これは、各ドキュメントに特定の単語やフレーズが含まれているかどうかを示すインジケーター変数のマトリックスと考えるのが最も簡単です。 |
| そして、各ドキュメントでその単語が出現する頻度によってそれを重み付けする場合があります。 したがって、各ドキュメントはドキュメント用語マトリックスの行であり、各列は単語です。 |
| したがって、ここでの非常に単純な例では、最初の行は「ピザのパッケージがイライラしていました」です。 つまり、パッケージ用に1があります。 |
| ピザの場合は1、イライラする場合は1、その他すべての単語の場合は0。 また、同様に、2行目には、匂い、素晴らしい、味、ピザに1があり、他の場所には0があります。 これは、各ドキュメントで使用されている単語の簡単な要約です。 |
| また、ドキュメント用語マトリックスにはいくつかのバリエーションがあることにも触れました。 最も簡単なのはバイナリです。それはただの1と0です。 |
| ただし、各単語が出現する頻度に関する情報を含めたい場合があるため、ピザが複数回出現するもう少し長い文を次に示します。 |
| バイナリドキュメントの用語マトリックスでは、そのピザの列は、発生頻度を気にしないため、1のままです。 三項の場合、三項は0、1、2であるため、2になります。 単語が出現しない場合は0、1回出現する場合は1、複数回出現する場合は2です。 |
| ここで4回発生するかどうかに関係なく、2としてコーディングしました。 そして、頻度は本当に簡単です。 これは、そのドキュメントで各単語が出現する回数です。 |
| したがって、これらは3つの非常に単純なものです。相対頻度のようなTF-IDF重み付けも提供していますが、これらの重み付けスキームの詳細については、 |
| テキストエクスプローラープラットフォーム。 |
| では、次のステップは何ですか？ 次に使いたいと思うかもしれない次のものは何ですか？ |
| あなたはいくつかの結果を助けるためにテキストを使用したいかもしれません。 だからここで私はいくつかの家具のレビューを作りました、そしてすべてのレビューに関連付けられている星の評価があります、そうです。 |
| したがって、これらのレビューは、誰かが製品を高く評価したり低く評価したりする理由についての手がかりを与えてくれると思うかもしれません。 したがって、この最初の行では、「指示はイライラしていました」とユーザーは私たちを3と評価しただけです。 もしそうなら...そのパターンがたくさん起こり、たくさんの人が評価しているなら... |
| 低い評価の多くは説明書に関連付けられており、家具に同梱されている説明書を改善する必要があることを示している可能性があります。 |
| したがって、単純なアイデアは、それらを回帰モデルとして使用することです。 文書の用語マトリックスを取得します。 |
| これを応答情報と組み合わせて、回帰を実行します。 |
| そしてそれは、顧客が私たちの家具や私たちが作っている製品を好きか嫌いかを理解するのに役立ちます。 |
| 説明に基づいてオブジェクトを分類するのに役立ちます。後でその一部を確認します。または、一部のマシンが故障した理由や、メンテナンスレコードの一部に基づいて故障しなかった理由を理解したい場合もあります。 |
| そして、これを行う方法は本当に簡単です。 |
| 実際には、回帰モデルを作成しているだけです。ここで、Xまたは予測変数のそれぞれは、項行列の列の1つです。 したがって、製品の評価をモデル化している場合、それは単純な線形回帰であり、 |
| 顧客が当社の製品を推奨するかどうかなど、バイナリの結果をモデル化する場合 |
| おそらく数百の単語であり、それらすべてを使用しないことは理にかなっています。 すべてのデータが役立つわけではないので、変数選択手法を回帰モデルに適用し、解釈が簡単で適切に適合する、より単純なモデルを取得します。 |
| そして、ここの下部では、これらの指標変数を応答評価、星評価と組み合わせて視覚化するのは簡単です。 |
| したがって、JMP 16で使用されるソリューションは、回帰モデルをTextExplorerプラットフォームに取り込むことです。 一般化された回帰プラットフォームを使用して変数選択を行ったことがある場合は、基本的にそのプラットフォームをテキストエクスプローラー内に埋め込みます。 |
| したがって、JMP proを使用している場合は、テキストエクスプローラーの赤い三角形のメニューに用語選択項目が表示されます。 |
| これが私たちが本当に興奮していることです。 これにより、これらの種類の回帰モデルを簡単かつ迅速に構築および改良できます。 |
| したがって、このプラットフォームを起動すると、いくつかのデモが1分以内に実行されますが、すぐに実行されます。 |
| ローンチの最初の段階では、私たちの対応と、私たちが適合させたいモデルの種類についての情報を求めているだけです。 |
| そのため、星評価などの連続応答の両方を処理でき、連続応答を指定すると、応答に基づいて一部の行の一部を除外できるようにフィルターが提供されます。 |
| そして、名目上の応答列がある場合は、ターゲットレベルを選択します。 したがって、この場合、私たちの製品をお勧めしますか、はいまたはいいえ。モデリングします... |
| いいえに等しい推奨事項をモデル化する予定です。 |
| また、青、緑、黄色などの複数レベルの応答がある場合は、モデル化するレベルを選択します。この例をすぐに確認できます。 |
| 次に、応答を指定した後、適合させたいモデルの種類に関する情報をプラットフォームに提供します。 |
| では、変数選択を行うときは、エラスティックネットとラッソのどちらを使用しますか？ これらは両方とも、一般化された回帰に組み込まれた変数選択手法です。 そして、どのように検証を行うのでしょうか？ AICとBICのどちらを使用しますか？ |
| さらに、ドキュメント用語マトリックスに関する詳細を指定できます。 重み付けを選択することも、考慮したい用語の最大数を選択することもできます。 したがって、最も頻繁に出現する上位200の単語を検討する場合は、それが現在200に設定されているものです。 |
| では、起動して実行ボタンを押すとどうなりますか？ 基本的にそれはすべてをします |
| あなたがする必要があります。 それはあなたがそれについて心配する必要がないように舞台裏でデータを適切に設定します。 変数選択を行うので、応答を予測するのに役立つと思われる単語の小さなサブセットができました。結果は簡単に表示されます。 |
| レポートを解釈するために、そしてそれは私たちがすぐに見るように、それは非常にインタラクティブです。 だからあなたはこれをすることができました |
| ドキュメント用語マトリックスをデータセットに保存し、一般化された回帰プラットフォームを自分で起動し、 |
| しかし、あなたはもうそれをする必要はありません。 今はそれだけです。 |
| それで、そのモデル仕様は、どうやって何を知るのか、どうやって何を選択するのかを知るのでしょうか？ |
| 利用可能な推定方法は、エラスティックネットとラッソです。 それらの違いを覚える簡単な方法 |
| エラスティックネットは、相関する予測子のグループを選択する傾向があるということです。 したがって、この設定では、予測子がすべて単語である場合、 |
| つまり、一緒に発生する傾向のある単語のグループを選択する傾向があります。 ですから、取扱説明書やマニュアルを考えると、 |
| これらの単語は、取扱説明書のために頻繁に一緒に出現します。 したがって、これら2つの予測子は高度に相関しており、エラスティックネットはおそらく両方を選択しますが、ラッソはおそらく指示または手動を選択しますが、必ずしも両方を選択するわけではありません。 |
| 検証方法には、AICとBICがあります。 |
| したがって、経験則の一種は、AICがモデルを過剰選択する傾向があり、BICが過小選択する傾向があるということです。 だから私たちの仕様では、 |
| AICはより大きな単語のセットを選択する傾向があり、BICはより小さな単語のセットを選択する傾向があるというだけです。 |
| 個人的には、必要以上に多くの単語を使用したいので、設定でAICを頻繁に使用する傾向がありますが、実際にはそれは好みの問題です。 |
| そして、ドキュメント用語の重み付け... |
| 文書用語のマトリックスの重み付け、つまり。 |
| それは本当にあなたの問題に依存します。 したがって、この例では、 |
| ペイントという言葉は、レビューで複数回出現します。 それは、レビュアーが非常に... |
| 取った...ペイントはそのレビューアにとって非常に重要であり、それは回帰モデルで意味があるかもしれないので、バイナリの代わりに頻度のような重み付けを使用したいと思います。 |
| それで、用語選択を開始すると、私たちが持っているこのような場所に行き着くでしょう |
| 左側のすべてのドキュメントと右側の選択したすべての単語の要約。 そして、私は今のところこれをスキップするつもりです。デモを開始すると見やすくなります。 |
| もう1つ非常に便利だと思うのは、要約があることです。用語選択を使用してモデルのシーケンスに適合させると、すべてが上部に要約され、モデルを切り替えることができます。 そしてまた、それはすぐにわかります。 |
| それでは、プラットフォームを見てみましょう。 |
| まず、これを見てみましょう |
| JMPサンプルデータフォルダにある航空機事故データセット。 |
| したがって、テーブルのすべての行はインシデントです。 そして、航空機にどれだけの被害があったか、どのような怪我があったかを知っており、説明があります。 したがって、この最後の列は、インシデントで何が起こったかを正確に説明しています。 |
| そこで、Text Explorerを起動します。これまでにテキストエクスプローラーを使用したことがない場合は、左側に最も頻繁に出現する用語があり、右側に最も頻繁に出現するフレーズ、つまり単語のグループがあります。 |
| だから私たちはおそらく理解するためにこれらの言葉を使いたい |
| これは...クラッシュが原因で、より多くの損傷や重傷を負う可能性があります。 そこで、赤い三角形のメニューに移動して、用語の選択を求めます。 |
| さて、少し前に見ていたこの打ち上げを見て、ダメージについてもっと知りたいですよね。 特に、航空機が破壊された事件と被害が少なかった事件を区別したいので、破壊する目標レベルを選択します。 |
| この早期停止は、時間の節約になる機能です。 そう |
| 変数選択を行う場合、はるかに大きな問題にはかなりの時間がかかる可能性があります。 このチェックボックスをオンのままにすると、次のようになります。 |
| 十分に良いモデルがあると思います。先に進み、早く停止します。 私はもっと大きな問題があることを知らない限り、それをチェックしない傾向があります。 |
| それで、エラスティックネット、AICを残して、実行します。 |
| これで、バックグラウンドで何が起こっているのかというと、この回帰モデルを適合させるために必要なデータが作成され、舞台裏で回帰モデルを適合させているので、要約ができました。 だからすべて |
| すべての文書はこの左側のパネルに要約されているので、これは最初の航空機事故であり、これは2番目の空白です。 |
| それで、これは最初のものです、飛行機は滑走路の側の雪だるまに接触しました。 |
| そして、すべての重要な単語が強調表示されているので、青い単語は負の係数を持ち、オレンジ色の単語は正の係数を持ちます。 |
| そして、言葉に興味があるなら、右側のこのパネルを見ることができます。 私は係数でソートするのが好きなので、上部をクリックするだけです。 |
| したがって、この場合、負の係数を持つ単語が破壊される可能性は低くなります。 だからもし |
| 文書には着陸という言葉が含まれています。飛行機が着陸する地点に到達した場合、それはおそらくそれほど深刻な事件ではありません。 したがって、これらは可能性が低いです |
| 破壊されました。反対に、最も肯定的な用語を見ることができます。これらは、破壊されている航空機に最も関連する単語です。 |
| そして、それらは火のような言葉です、目撃者。 彼らが目撃者にインタビューして事件を説明している場合、それはおそらく飛行機に乗っていた人は誰でもインタビューを行うことができなかったことを意味します。 |
| だから、火、レーダー、回転、夜、これらはすべて非常に関連している言葉です |
| 破壊されて。 |
| さて、怪我のレベルにも興味があるかもしれません。具体的には、最悪の怪我のレベルを見ていきます。 |
| そして、もう一度用語選択を行います。 |
| そして、私はそれを迅速に保つためにそれを受け入れるつもりです。 |
| だから今、私たちは同じ種類のことをすることができますが、代わりに怪我のレベルを見ています。 |
| したがって、インタビューに船長または着陸が含まれている場合、これらはおそらく負傷レベルの観点からはそれほど深刻ではありません。 |
| しかし、もしそれがレーダー、夜、山に言及しているなら、これらははるかに深刻な言葉です。 したがって、これら2つの応答の間をすばやく行き来して、どの単語がこれら2つを予測するかを確認できます。 |
| 怪我のレベルと損傷のレベル。 |
| それでは、別の例を見てみましょう。 |
| だから、これは私が本当に楽しんでいるものです。 以前、私の例ではピザについて話していました。 それではビールについてお話します。 ですから、これらは明らかに私の心の近くで大切なものです。 |
| だから私がここに持っているのは私が持っているということです...私はいくつかのビールレビューによると、すべてのビールスタイルの説明をダウンロードしました |
| 体。 |
| したがって、すべてのビールには説明があります。 |
| そして、それはビールがどこから来たのかを言います。 だから私たちは... |
| 米国、ドイツ、アイルランド。 |
| 用語選択を使用して確認する |
