スピーカー | 成績証明書 |
| キラ・アルホーン | さて、私の講演へようこそ、テキスト エクスプローラーを使って顧客のニーズを理解する。 とても嬉しいです |
| これに参加するのは、仮想形式の JMP Discovery Summit です。 私の名前は Kira Alhorn です。WL Gore and Associates の統計学者です。 |
| そして、プレゼンテーション自体を始める前に、私たちの会社を簡単に紹介したいと思います. WL Gore and Associates は、グローバルな材料科学企業です。 |
| 航空宇宙から始まり、医療製品、そしてほとんどの人が知っているかもしれないものまで、非常に異なる業界向けの非常に異なるソリューション |
| ゴアテックスブランドです。 それが今日私たちが焦点を当てていることであり、ゴアテックスブランドは耐久性のある防水性と通気性のある生地ラミネートを製造しています. |
| そして、それらのラミネートは、それから製品を製造する当社の顧客またはブランド パートナーに販売されます。 より具体的には、今日は靴に焦点を当てます。 |
| というわけで、これが私の講演の概要です。 背景と動機から始めます。 では、何を見ているのでしょうか。 私たちは靴の説明を調べており、なぜそれに興味を持っているのか. |
| その後、残りの話は JMP で行われます。 JMP 15 Pro を使用し、テキスト エクスプローラーの使用方法を紹介します。 |
| 私たちの靴の説明を分析するために。 それらのテキストまたは靴の説明でトピックを見つける方法。これらのトピックを使用して、一般的な靴の説明または靴の説明で一般的なトピックを見つけ、それを私たちが持っているさまざまなカテゴリの靴と比較できます。 |
| 最後に、これは非常に簡単な紹介にすぎません。いくつかの予測モデルを使用して調査結果を検証し、さらに多くを得るために、さまざまな靴の説明が靴をどのように分類するかをより深く見ていきます. |
| 自分の食器棚と、食器棚にある靴を想像してみてください。 |
| そして、あなたの誰もが自分の食器棚に少なくとも小さな、あるいはかなり大きな数の異なる靴のコレクションを持っているでしょう。問題は、なぜそんなに多くの靴を持っているのかということです. |
| そして、あなたの靴はあなたのスタイルに合う必要があり、おそらく別の色が必要になるかもしれません.これがあなたが別の靴を持っている唯一の理由ではありません. |
| もう1つの理由は、別の靴が必要だということです。 想像してみてください。たとえば、ランニング シューズが 1 足あり、カジュアルな最終用途の靴が数足あり、ハイキング シューズがあるとします。 |
| そして、それぞれの靴には、この靴をこの最終用途に使用できるようにする異なる、またはわずかに異なる機能があり、その最終用途にそれらの機能が必要なため、それらがあります. |
| そこで私たちが疑問に思っていたのは、ブランド パートナーからの靴の説明を見ていると、さまざまな靴の独自性をどうにかして見つけられるのではないかということです。 ここにコレクションが表示されます |
| 靴のさまざまな最終用途のために、現在私たちに対応するさまざまな靴のカテゴリ。 |
| そして問題は、顧客が新しいハイキング シューズを製造したい場合、たとえば、ハイキング用のシューズ用に販売するラミネートにどのような機能構成を提供する必要があるかということです。 |
| では、これらの靴の説明から、顧客に提供できるプロトタイプを得ることができるでしょうか? |
| そしてもちろん、ここで興味深いもう 1 つの側面は何ですか。他の靴との違いは何ですか? では、そのハイキング シューズとストリート シューズの違いは何でしょうか?なぜそれらの違いが必要なのですか？ |
| データの分析を開始したとき、それが私たちの意図でした。 |
| ということで、JMPに行きたいと思います。 |
| JMP では、まず、収集したデータがどのように見えるかをお見せしたいと思います。 |
| そこで私たちは、ブランド パートナーのウェブページにアクセスし、それらのパッケージから靴の説明を収集しました。 |
| 靴のカテゴリごとに、特定の数の靴の説明があり、説明全体をデータ テーブルにコピーしただけであることがわかります。 |
| したがって、これはかなり長いかもしれませんし、かなり短いかもしれませんが、単にコピーするだけではありません。 |
| しかし一方で、そのテキスト フィールドでは、多くのことを行うことができないことも想像できます。 |
| あるいは、JMP は何かを行う大きな可能性を提供するため、少なくとも私たちにはできないように思われます。 そして、何をすることを意味しますか？ その長いテキストから情報を抽出し、何らかの方法でより消化しやすいチャンクにしたいと考えています。 |
| そして、それらの消化可能なチャンク |
| テキスト エクスプローラーを使用して抽出できます。 テキスト エクスプローラーに移動して、ここのテキスト列に靴の説明を入力します。 |
| そして、ここには多くのオプションがあります。 これらのオプションは、靴の説明を切り取ったり、テキスト分析言語で説明文書を呼び出したりするアルゴリズムに入力されます。 |
| これは、前述したように、ドキュメントをより小さな情報に分割することです。 |
| つまり、情報の最小単位であるこれらの用語と、一緒に出現することが多く、それらを組み合わせると意味を持つ可能性のある用語であるフレーズがあります。 |
| ここで最も一般的に使用される用語を確認できます |
| すべての文書で、すべての靴の説明で、快適さという言葉があります。 |
| 最初に私たちがしたことは、ここにあるすべてのフレーズを調べて、見てみることでした。 意味のあるものはありますか？ |
| そして、最初のものはすでに理にかなっています。 したがって、ここでゴアとテックスという用語が単一の用語として表示されていることがわかりますが、もちろん、ゴアとテックスではなく、ゴアテックスという用語を分析する必要があることは理にかなっています。 |
| したがって、意味のあるすべてのフレーズを用語リストに追加できます。 そこで、このフレーズを追加すると、ここでわかるように、単一の用語 Gore の代わりに Gore-tex という用語が使用されます。 |
| 以上がデータ処理のステップ 1 でした。 ステップ 2 は、用語リストに重複または重複がないかどうかを確認することでした。 |
| 意味をなさない用語がある場合。 そして、JMP はすでに非常に優れた処理を行っています。なぜなら、JMP は、and、a、a、 |
| または、情報を提供しません。 ただし、たとえばこの S など、意味をなさない用語が常にいくつか残っています。 |
| Sだったらどうする？ それは靴について何を教えてくれますか？ そのため、すべての用語を確認する必要があり、意味をなさない用語があればそれをストップ ワードと呼び、それらをストップ ワードのリストに編集して分析から除外します。 |
| それが唯一のことでした。 私が言及したもう1つのことは、重複があるかどうかを確認する必要があるということでした。たとえば、Gore texという用語があります。 |
| そしてGTXという用語。 また、GTX は Gore-tex の略語にすぎないため、両方を個別に分析するのではなく、組み合わせて分析する必要があります。 |
| これは、列の場合とほとんど同じです。これは、それらを結合するための優れたツールです。 |
| ???データ。 ご覧のとおり、ここに Recode 関数があり、両方をグループ化しています。 |
| そして、これは今では 1 つの用語 (ゴアテックス) にすぎないことがわかります。これは、実際にはデータで最も頻繁に使用される用語です。 |
| それで。 |
| 最初は 4,000 語でしたが、すべてのクリーニングを行った結果、たった 100 語になりました。 ご覧のとおり、100 個の用語が残っており、それらを使用して多くの分析を行うことができます。 それらは、靴の説明が何であるかを理解するのに非常に役立ちます. |
| そのリストを使用して最も頻繁に使用される用語を確認できますが、JMP には非常に簡単な視覚化ツールも用意されています。 |
| 赤い三角形をクリックすると、ワード クラウドを追加できます。 このワード クラウドは、単語の大きさによって、すべてのドキュメント、つまりすべての靴の説明での頻度を示しています。 したがって、ゴアテックス、快適さ、軽量は、収集した靴の説明で最も一般的に使用される用語です. |
| しかし、これはまさに私たちが疑問に思っていたことではないことを覚えているかもしれませんよね? そこで私たちは、さまざまなエンド ユーザー向けの靴について考えていました。 |
| そのために、ここにローカル データ フィルターを簡単に追加し、靴の最終用途をフィルターとして使用できます。 たとえば、冬用のストリート シューズのすべての説明で最も頻繁に使用される用語に興味を持つことができます。 |
| 当然のことながら、冬用や暖かいという用語は、冬用のストリート シューズの説明に頻繁に登場します。 |
| 一方、トレイルランニングシューズを例にとると、ここでは別の重点が見られます。 暖かくする必要はありませんが、通気性、軽量性、フィット感が必要です。 |
| したがって、これらのワード クラウドは、さまざまな靴の種類の機能構成を説明する最初の質問を理解するのに非常に役立ちます。 |
| そして、私たちはそれで終わりませんでした。 私たちはさらに一歩先へ進みたいと考えました。 |
| さらに一歩進んで、すでにすべてのデータを準備している場合、この靴の形状のプロトタイプを見つけるためにモデリングを行うことはできますか? そのモデリングのために、JMP にはさまざまなオプションがあり、私たちは SVD を採用することにしました。 |
| SVD は、ドキュメント用語マトリックスの主成分分析を実行しています。 |
| そして、それはどういう意味ですか？ ドキュメント ターム マトリックスには、ドキュメントごとに含まれているため、靴の説明ごとに、 |
| 各用語の頻度。 したがって、たとえば、最初の靴の説明では、ゴアテックスという用語がどのくらいの頻度で使用されているか、快適さという用語がどのくらいの頻度で使用されているかなどがカウントされます. 非常に巨大な行列であることが想像できます。 |
| そして、現在のアイデアは、文書用語マトリックスの次元を削減する主成分分析を通じて、データをより適切に把握することです。 |
| そして、データをより視覚化できるようにします。 |
| 次元の削減に基づいて、モデリングを行うことができます。 そして、どのようなモデリングが私たちにとって興味深いのでしょうか? そのため、特定の最終用途向けの靴を説明するものに興味がありました。 |
| その点に到達するために、私たちは分析しました、靴の説明に何かトピックはありますか? また、トピックがある場合、それらのトピックは特定の最終用途に対応していますか? |
| したがって、理想的な世界では、データに 9 つのトピックがあり、それらの 9 つのトピックが 1 つの靴のカテゴリを正確に表します。 そのため、各靴のプロトタイプの靴構成または機能構成を用意します。 |
| 9 つのトピックを検索するとどうなるか見てみましょう。 9 つの異なる靴カテゴリに関心があるため、トピック分析をクリックして 9 を入力します。 |
| そして、私が得たのは、それらのトピックで頻繁に使用されている用語を含むトピックのリストです。 たとえば、トピック 1 には靴が含まれます |
| 靴の説明に、スーパーフィット、テキスタイル、暖かいなどの用語があります。 したがって、ここでの私の最初の直感は、これらはストリートまたはストリートのウィンターシューズでなければならないということです. |
| たとえば、トピック 2 は、hut、trekking、multiday などの用語を含む靴の説明で構成されているため、これはトレッキング シューズのように見えます。 |
| しかしもちろん、統計学者として、私は直感を与えるだけでは満足できません。 どのカテゴリの靴がどのトピックに属しているか知りたいです。 そのために、靴のカテゴリの単純な分布を行っています。ここにローカル データ フィルターを追加して、表示のみを表示します。 |
| カテゴリー |
| それは... |
| 選択された靴のみを表示します。 |
| どういう意味ですか？ どうすればそれを使用できますか？ JMP では、トピック スコア プロットとこれらのトピック スコア プロットを提供しています。 |
| 各トピックの靴の説明ごとに 1 つのポイントを持ちます。 |
| したがって、靴の説明のスコアが高いほど、この靴がその特定のトピックをより代表していることになります。 |
| 私がしていることは、トピック 1 のスコアが高い靴をすべて選択するだけで、その中に表示されます。 |
| ここのヒストグラムは、ストリートとストリートのウィンター シューズです。 だから基本的に私の直感は正しかった。 テキスタイルで作られ、スーパーフィットを備えた靴は、ストリートとストリートのウィンターシューズです。 |
| トピック 2 は、トレッキング シューズであると予想していたことを思い出してください。 ここのヒストグラムでわかるように、それらはトレッキング シューズです。 |
| 今ではすべてのトピックでそれを行うことができます。私はそれをジャーナルに入れました。 |
| そして、そのすべてを行うにはいくつかの困難が見られます。 したがって、各トピックに 1 つまたは複数の靴カテゴリを割り当てると、2 つの問題が発生します。 |
| ここに示されている問題の 1 つは、登山など、1 つのトピックではなく、いくつかのトピックで表される特定の靴のカテゴリがあることがわかります。 |
| また、これらのトピックが重複していることもわかります。たとえば、クランポンという単語は両方のトピックで発生しています。 |
| つまり、ここにはトピックが多すぎるようです。 |
| したがって、これらのトピックは、理想的には、靴のカテゴリごとに 1 つのトピックが必要であり、複数のカテゴリに対応する重複するトピックがある場合、9 つでは多すぎるように思われます。 |
| しかし、これにはもちろん別の ??? が必要なので、登山靴が複数のトピックに対応している場合は、明確に識別できないトピックが必要です。 |
| たとえば、このトピック番号 5 を見てください。 そして、最も代表的な靴のように。 これは膨大なコレクションとして表示されます。 |
| プログレッシブシューズ、ロードランニングシューズ、ストリートシューズなどがあります。 つまり、これらはほとんどが重複しており、互いに区別されていないカテゴリです。 では、トレイル ランニング シューズとロード ランニング シューズの違いを想像してみてください。 |
| または、次のステップに進みます。トレイル ランニングとハイキングの違いは何ですか? |
| これらの靴には特定の重複があり、それらの重複がある場合、その 1 つの靴カテゴリの 1 つの機能構成を明確に識別することはできません。 |
| ですから、それもまた非常に貴重な学びです。 もちろん、さまざまなラミネートのポートフォリオを管理しています。 あなたが知りたいのは、その特定の最終用途のために特定のラミネートが必要ですか、それとも私がすでに持っている他のラミネートとかなり似ていますか? |
| 最終的には、複数のカテゴリに対応するトピックを持たないトピックの最終的なコレクションが必要であり、それを手作業で行いました。 そこで、さまざまな数のトピックを分析した結果、5 つになりました。 |
| これらの 5 つのトピックは、ある程度のカテゴリに対応していますが、すべての靴のカテゴリを表すことができるわけではないことがわかります。 |
| そのため、2 つの学習がありました。 最初に学んだことは、それらの靴の説明のプロトタイプがいくつかあることでした |
| 靴のカテゴリ。 一方、ここで名前を挙げていないすべての靴のカテゴリは、あまり区別されていないか、この 1 つの構成を持たない可能性があります。 |
| 彼らの靴の説明で。 |
| これは、テキスト エクスプローラーが提供するオプションの 1 つにすぎません。 他のオプションもありますが、これに焦点を当てたところ、かなりうまく機能しました。 |
| 以上で、テキスト エクスプローラーを終了し、トピック ドキュメントの用語マトリックスを使用してさらに何ができるかについて、簡単な概要のみを説明したいと思います。 |
| ここでは、以前と同じデータ セットを使用していますが、ドキュメント ターム マトリックスをエクスポートしました。 そのため、用語ごとに表示される多くの新しい列が表示されます |
| 特定の靴の説明におけるその用語の頻度。 |
| そして、それのさまざまなバージョンを試してみたので、頻度を示す文書用語マトリックスができました。含まれているだけで、含まれていないことを示すものがありました。等々。 そして、最終的にそのバージョンになりました。 |
| また、JMP Pro の可能性を利用して、検証列を作成し、データ セットをトレーニング、検証、およびテスト データに分割しました。 トレーニング データと検証データは予測モデルのトレーニングに使用され、テスト データはテストに使用されます。 |
| 予測モデリングについて話すとき、ここでの目標は何ですか? 私たちが以前に行ったことは、一種の教師なしテクニックでした。 |
| トピックを検索して、後で靴のカテゴリと比較しました。 ここで、もう少し積極的に取り組みたいと思います。靴の説明ができたので、カテゴリを明示的に予測できますか? |
| そして、JMP 15 Pro が提供するさまざまな予測モデリング手法を試した結果、ブートストラップ フォレストにたどり着きました。 ここでは、結果がどのように見えるか、また結果を何に使用できるかについてのアイデアのみを提供したいと思います。 |
| テスト データ セットの混同行列の結果、カテゴリ、特定の靴の説明、およびブートストラップ フォレストを使用して何を予測したかがわかります。 |
| そして、興味深いことに、前に見たのとほぼ同じ結果が表示されます。 そのため、他と明確に区別できる特定のカテゴリがあり、 |
| すでに独自の機能構成を持っているものと、持っていないものがあります。 たとえば、ロード ランニング シューズを見てみましょう。 |
| 最初の分析で、それらが一意に定義されていないことをすでに発見しました。 ここでも、多くの靴が実際には他の靴であるロード ランニング シューズであると予測しています。 |
| つまり、これは以前の調査結果を確認するものです。 教師なし手法を使用して適切に説明された靴のカテゴリは、ここでも適切に説明されており、十分に区別されていない靴のカテゴリもここではそれほど区別されていません。 |
| これは非常に興味深く、この分析を使用してさらに多くのことができるようになりました。 たとえば、次のことができます。 |
| ある分析とは...特定の靴を差別化したい場合、最も重要な問題は何ですか? では、靴のカテゴリを区別する際に最も貢献する用語は列の貢献度でしょうか? |
| または、ROC 曲線を使用して、どの靴カテゴリが非常に区別でき、どれができないかをさらに調べることができます。 |
| 最後になりましたが、このモデルを予測に使用できます。 ここに特定の機能構成や靴の説明を入力できます |
| 次に、この説明が特定の靴のカテゴリに属する確率を予測します。 この場合、たとえば、この靴はロード ランニング シューズであると予測します。 |
| 時間の関係で詳細には触れませんが、簡単にまとめたいと思います。 では、重要な調査結果は何でしたか? 重要な発見は、 |
| Text Explorer は非常に直感的な非常に優れたツールであり、構造化されていないテキスト データから情報をすばやく抽出するために使用できます。 |
| どこで区別し、どこで区別しないのですか? その靴に求められる機能は何ですか？ しかし、それらはどういうわけか、調査結果は私たちが期待したことを確認しました. |
| そして、この確認は、教師なし手法または教師あり手法のいずれかを使用してそれを行うことができるので、トピック分析を比較し、SVD と予測モデルをブートストラップ フォレストと共に使用すると、他の方法も同様にうまく機能する可能性があります。 |
| 最後に、グループに感謝したいと思います???誰がその問題を思いついたのですか。 彼らはすべてのデータを収集し、すべてのデータをきれいにして、素晴らしい議論をしています |
| さまざまなテクニックの意味またはナンセンス。 彼らがいなかったら、あなたは今その話を聞いていなかったでしょう。 さらに、 |
| テキスト分析について私に相談してくれた TU ドルトムント大学の元同僚である Jonas に感謝します。 |
| 最後に、ご関心をお寄せいただきありがとうございます。ご質問があれば、メールまたは JMP ユーザー コミュニティで喜んでお答えいたします。 ちょっと私にメモを落としてください。 |
