スピーカー | トランスクリプト |
| キラアルホーン | さて、私の話へようこそ。顧客のニーズを理解するためのテキストエクスプローラーのウォークスルー。 とても嬉しいです |
| これに出席しているのは、仮想形式のJMPディスカバリーサミットです。 私の名前はキラアルホーンです。WLゴアアンドアソシエイツの統計学者です。 |
| そして、プレゼンテーション自体を始める前に、私たちの会社を簡単に紹介したいと思います。 WLゴアアンドアソシエイツは世界的な材料科学企業であり、私たちは生産しています |
| 航空宇宙から始まり、医療製品やほとんどの人に馴染みのあるものに至るまで、非常に異なる業界向けの非常に異なるソリューション |
| ゴアテックスのブランドです。 それが今日私たちが焦点を当てるものであり、Gore-texブランドは耐久性のある防水性と通気性のあるファブリックラミネートを製造しています。 |
| そして、それらのラミネートは、それから製品を製造するお客様またはブランドパートナーに販売されます。 具体的には、本日は靴に焦点を当てます。 |
| それで、これは私の話についての短い概要です。 背景とモチベーションから始めましょう。 では、私たちは何を見ているのでしょうか？ 私たちは靴の説明を見ていて、なぜそれに興味があるのですか。 |
| その後、残りの話はJMPで行われます。 JMP 15 Proを使用し、テキストエクスプローラーの使用方法を紹介します。 |
| 私たちの靴の説明を分析するため。 それらのテキストまたは靴の説明でトピックを見つける方法。これらのトピックを使用して、靴の説明で一般的な靴の説明または一般的なトピックを見つけ、それを私たちが持っている靴のさまざまなカテゴリと比較できます。 |
| そして最後に、これはごく簡単な紹介にすぎません。いくつかの予測モデルを使用して、調査結果を検証し、詳細を取得します...さまざまな靴の説明で靴がどのように分類されているかを詳しく調べます。 |
| だからあなた自身の食器棚とあなたがあなたの食器棚に持っている靴を想像してみてください |
| そして、あなた方全員は、彼または彼女の食器棚に少なくとも小さいかかなり大きい異なる靴のコレクションを持っているでしょう、そして問題は、なぜあなたはそんなに多くの靴を持っているのですか？ |
| そして、あなたの靴はあなたのスタイルに合う必要があり、多分あなたは異なる色などを必要とするということ、これはあなたが異なる靴を持っている唯一の理由ではありません。 |
| 他の理由はあなたが別の靴を必要とするということです。 想像してみてください。ランニングシューズが1足あり、カジュアルな最終用途用の靴が数足あり、ハイキングシューズがあるかもしれません。 |
| そして、あなたはそれらを持っています。なぜなら、靴のそれぞれがこの靴をこの最終用途に使用できるようにする異なるまたはわずかに異なる機能を持っており、あなたはその最終用途のためにそれらの機能を必要とするからです。 |
| それで、私たちが疑問に思っていたのは、ブランドパートナーからの靴の説明を見ている場合、どういうわけか、さまざまな靴がユニークである理由を見つけることができるでしょうか？ だからここにコレクションが表示されます |
| 靴のさまざまな最終用途のために現在私たちに対応するさまざまな靴のカテゴリの。 |
| そして問題は、たとえば、顧客が新しいハイキングシューズを製造したい場合、ハイキング用のシューズ用に販売するラミネートでどのような機能構成を提供する必要があるかということです。 |
| それで、それらの靴の説明は、私たちが顧客に提供できるプロトタイプを私たちに与えることができますか？ |
| そしてもちろん、ここで興味深いもう1つの側面は何ですか、他の靴はどのように差別化されていますか？ では、そのハイキングシューズとストリートシューズの違いは何ですか？なぜそれらの違いが必要なのですか？ |
| そして、それが私たちがデータの分析を始めたときの私たちの意図でした。 |
| それでは、JMPに行きたいと思います。 |
| そして、JMPでは、最初に、収集したデータがどのように見えるかを示したいと思います。 |
| そこで、ブランドパートナーのウェブページにアクセスし、それらのパッケージから靴の説明を収集しました。 |
| 靴のカテゴリごとに、特定の数の靴の説明があります。説明全体をデータテーブルにコピーしただけです。 |
| したがって、これはかなり長いかもしれませんし、かなり短いかもしれませんが、単にコピーする以上のことはしませんでした。 |
| しかし一方で、そのテキストフィールドでは、多くのことを実行できないことを想像できます。 |
| あるいは、JMPは何かをするための大きな可能性を提供するので、少なくとも私たちにはできないように思えます。 そして、どういう意味ですか？ その長いテキストから情報を抽出し、それをどういうわけかより消化しやすいチャンクにしたいのです。 |
| そしてそれらの消化可能な塊 |
| テキストエクスプローラーを使用して抽出できます。 そこで、テキストエクスプローラーに移動して、靴の説明をここのテキスト列に配置します。 |
| そして、ここにたくさんのオプションがあります。 これらのオプションは、靴の説明をカットするアルゴリズムに組み込まれているか、テキスト分析言語で説明ドキュメントを呼び出します。 |
| そして、これは、私が述べたように、それらの消化可能なチャンクにドキュメントをより小さな情報に分割しています。 |
| そして、表示されるのは消化可能なチャンクです。つまり、情報の最小単位である用語があり、それらを組み合わせると意味を持つ可能性のある用語であるフレーズがあります。 |
| したがって、ここで最も一般的に使用される用語を見ることができます |
| すべてのドキュメントで、つまりすべての靴の説明で、快適という用語があります。 |
| それで、最初に私たちがしたことは、ここですべてのフレーズを調べて見てみることでした。 意味のあるものはありますか？ |
| そして最初のものはすでに理にかなっています。 したがって、ここではゴアとテックスという用語が単一の用語として表示されますが、もちろん、ゴアとテックスではなく、ゴアテックスという用語を分析する必要があることは理にかなっています。 |
| したがって、意味のあるすべてのフレーズを用語リストに追加できます。 フレーズを追加すると、ここに表示されます。単一の用語であるゴアではなく、用語であるゴアテックスがあります。 |
| これが、データ処理のステップ1でした。 ステップ2は、用語リストに重複があるかどうかを確認することでした。 |
| 意味をなさない用語がある場合。 また、JMPはすでに非常に優れた処理を行っています。これは、JMPが、and、a、などの意味をなさない多くの単語をすでに除外しているためです。 |
| または、情報を提供しません。 ただし、たとえばこのSのように、意味をなさない用語が常に残っています。 |
| Sで何をしますか？ それは靴について何を教えてくれますか？ そのため、すべての用語を確認する必要がありました。意味のない用語がある場合は、それをストップワードと呼び、ストップワードのリストに編集して分析から除外します。 |
| それが一つのことでした。 私が言及した他のことは、重複があるかどうかを確認する必要があり、ここに表示されます。たとえば、ゴアテックスという用語があります |
| と用語GTX。 また、GTXはGore-texという用語の略語にすぎないため、両方を個別に分析するのではなく、組み合わせる必要があります。 |
| つまり、列の場合とほとんど同じであるRecode関数があり、これはそれらを組み合わせるための優れたツールです。 |
| ???データ。 つまり、ここに関数Recodeがあり、両方をグループ化しています。 |
| そして、これは現在単一の用語（Gore-tex）であり、これは実際に私たちのデータで最も頻繁な用語であることがわかります。 |
| そう。 |
| 最初は4,000タームでしたが、結局のところ、クリーニングは100タームでした。 ご覧のとおり、残り100の用語があり、それらを使用して多くの分析を行うことができます。 これらは、靴の説明が何であるかを理解するのに非常に役立ちます。 |
| したがって、そのリストを使用して、最も頻繁に使用される用語を確認できますが、JMPは非常に簡単な視覚化ツールも提供します。 |
| 赤い三角形をクリックすると、ワードクラウドを追加できます。 そして、このワードクラウドは、単語のサイズによって、すべてのドキュメントで、つまりすべての靴の説明でその頻度を示しています。 したがって、ゴアテックス、快適性、軽量性は、私たちが収集した靴の説明で最も一般的に使用される用語です。 |
| しかし、これは私たちが考えていたものではないことを覚えているかもしれませんね。 それで、私たちは疑問に思っていました、さまざまなエンドユーザーのための靴はどうですか？ |
| そのために、ここにローカルデータフィルターを簡単に追加し、靴の最終用途をフィルターとして使用できます。 したがって、たとえば、ストリートウィンターシューズのすべての説明で最も頻繁に使用される用語に興味を持つことができます。 |
| そして、あなたは不思議に思わないでしょう、冬と暖かいという用語は通りの冬の靴の説明に頻繁に現れます。 |
| 一方、トレイルランニングシューズを例にとると、ここでは別の強調が見られます。 暖かくする必要はありませんが、通気性があり、軽量で、ぴったりとフィットする必要があります。 |
| したがって、これらのワードクラウドは、最初の質問を最初に把握するのに非常に優れています。さまざまな種類の靴の機能構成を説明しているのは何ですか。 |
| そして、それで終わりではありませんでした。 さらに一歩進んでみたかったのです。 |
| さらに一歩進んだのは、すでにすべてのデータを準備している場合、この靴の構成のプロトタイプを見つけるために、どういうわけかモデリングを行うことができるかということです。 そして、そのモデリングのために、JMPにはさまざまなオプションがあり、SVDを採用することにしました。 |
| SVDは、ドキュメント用語マトリックスの主成分分析を実行しています。 |
| そして、それはどういう意味ですか？ ドキュメント用語のマトリックスには、ドキュメントごとに含まれているため、靴の説明ごとに、 |
| 各用語の頻度。 したがって、たとえば、最初の靴の説明では、ゴアテックスという用語がどのくらいの頻度で使用されているか、快適という用語がどのくらいの頻度で使用されているかなどがカウントされます。 つまり、それは非常に巨大なマトリックスであると想像できます。 |
| そして今、アイデアは、ドキュメント用語マトリックスの次元を縮小する主成分分析を通じて、データをよりよく把握することです。 |
| そして、データをより視覚化できるようにするため。 |
| そして、その寸法の縮小に基づいて、いくつかのモデリングを行うことができます。 そして、どのようなモデリングが私たちにとって興味深いのでしょうか？ そのため、特定の最終用途向けの靴を説明するものに興味がありました。 |
| そして、その点に到達するために、私たちは分析しました、靴の説明に何かトピックはありますか？ また、トピックがある場合、それらのトピックは特定の最終用途に対応していますか？ |
| したがって、理想的な世界では、データに9つのトピックがあり、それらの9つのトピックは1つの靴のカテゴリを正確に表しています。 したがって、各靴のプロトタイプの靴構成または機能構成があります。 |
| では、9つのトピックを検索するとどうなるか見てみましょう。 9つの異なる靴のカテゴリに興味があるので、トピック分析をクリックして9を入力します。 |
| そして、私が得たのは、それらのトピックで頻繁に発生している用語を含むトピックのリストです。 たとえば、トピック1には靴が含まれます |
| 靴の説明に、スーパーフィット、テキスタイル、ウォームなどの用語が含まれています。 だから、ここでの私の最初の直感は、これらはストリートまたはストリートのウィンターシューズでなければならないということです。 |
| たとえば、トピック2は、小屋、トレッキング、複数日などの用語を含む靴の説明で構成されているため、これはトレッキングシューズのように見えます。 |
| しかしもちろん、統計学者として、私は腸の感覚を与えるだけでは満足していません。 どのカテゴリーの靴がどのトピックに属しているのか本当に知りたいです。 そのために、靴のカテゴリを簡単に配布しています。ここにローカルデータフィルターを追加して、表示するだけにします。 |
| カテゴリ |
| それは... |
| 選択した靴のみを表示します。 |
| どういう意味ですか？ どうすればそれを使用できますか？ JMPはここでトピックスコアプロットとこれらのトピックスコアプロットを提供します |
| 各トピックの靴の説明ごとに1つのポイントがあります。 |
| したがって、靴の説明のスコアが高いほど、この靴はその特定のトピックをより代表しています。 |
| だから私がやっていることは、トピック1で高得点の靴をすべて選択するだけで、その中で見ることができます |
| ここでのヒストグラムは、それらがストリートとストリートのウィンターシューズです。 だから基本的に私の腸の感触は正しかった。 テキスタイルで作られた、スーパーフィットの靴は、ストリートシューズとストリートウィンターシューズです。 |
| そしてトピック2は覚えています、私たちはそれがトレッキングシューズであると予想しました。 ここのヒストグラムでわかるように、それらはトレッキングシューズです。 |
| そして、あなたは今、すべてのトピックについてそれを行うことができます、そして私はそれをジャーナルに入れました。 |
| そして、あなたはそれらすべてを行うのにいくつかの困難を見るでしょう。 したがって、各トピックに1つ以上の靴のカテゴリを割り当てると、2つの問題が発生します。 |
| ここに示されている問題1は、登山など、1つのトピックではなく、いくつかのトピックで表されている特定の靴のカテゴリがあることを示しています。 |
| また、これらのトピックが重複していることもわかります。たとえば、アイゼンという単語が両方のトピックで使用されています。 |
| つまり、ここにはトピックが多すぎるようです。 |
| したがって、これらのトピックは、理想的には、靴のカテゴリごとに1つのトピックが必要であり、複数のカテゴリに対応する重複するトピックがある場合は、9つが多すぎるようです。 |
| しかし、もちろんこれには別の???が必要です。したがって、登山靴が複数のトピックに対応している場合は、それほど明確に識別できないトピックが必要です。 |
| たとえば、このトピック番号5を見てください。 そして、最も代表的な靴のように。 これは膨大なコレクションとして表示されます。 |
| プログレッシブシューズ、ロードランニングシューズ、ストリートシューズなどがあります。 したがって、これらはほとんどが重複していて、互いに区別されていないカテゴリです。 では、トレイルランニングシューズとロードランニングシューズの違いはどこにあるのか想像してみてください。 |
| または、次のステップに進みます。トレイルランニングとハイキングの違いは何ですか？ |
| それらの靴には特定の重複があり、それらの重複がある場合、その1つの靴カテゴリの1つの機能構成を明確に識別することはできません。 |
| ですから、それも非常に貴重な学習です。 もちろん、さまざまなラミネートのポートフォリオを管理しています。 あなたは知りたいのですが、私はその特定の最終用途のために特定のラミネートを持っている必要がありますか、それとも私がすでに持っている他のラミネートとかなり似ていますか？ |
| そのため、最終的には、複数のカテゴリに対応するトピックがないトピックの最終的なコレクションを作成したかったので、それを手作業で行いました。 そのため、さまざまな数のトピックを分析した結果、5つになりました。 |
| これらの5つのトピックは、ある程度のカテゴリに対応していますが、すべての靴のカテゴリを表すことができるわけではありません。 |
| したがって、2つの学習がありました。 一番の学習は、それらのための靴の説明のいくつかのプロトタイプがあるということでした |
| 靴のカテゴリ。 一方、ここで名前が付けられていないすべての靴のカテゴリは、あまり区別されていないか、この単一の構成を持っていない可能性があります |
| 彼らの靴の説明で。 |
| そして、それはテキストエクスプローラーが提供している唯一のオプションでした。 他のオプションもありますが、私たちはこれに焦点を合わせ、それはかなりうまくいきました。 |
| それでは、テキストエクスプローラーを離れて、トピックドキュメントの用語マトリックスでさらに何ができるかについて簡単に説明します。 |
| したがって、ここでは、以前と同じデータセットがありますが、ドキュメント用語マトリックスをエクスポートしました。 したがって、用語ごとに表示される新しい列がたくさん表示されます |
| 特定の靴の説明におけるその用語の頻度。 |
| そして、そのさまざまなバージョンを試してみたので、頻度を示すドキュメント用語マトリックスがありました。含まれているだけで、含まれていないことを示すものがありました。等々。 そして、私たちはそのバージョンに行き着きました。 |
| また、JMP Proの可能性を利用して、データセットをトレーニング、検証、およびテストデータに分割する検証列を作成しました。 トレーニングと検証のデータは予測モデルのトレーニングに使用され、テストデータはテストに使用されます。 |
| そして、予測モデリングについて話すとき、ここでの私たちの目標は何ですか？ ですから、以前に行ったことは、教師なし手法のようなものでした。 |
| トピックを検索し、後で靴のカテゴリと比較しました。 そして今、私たちはもう少し積極的になりたいので、靴の説明がありますが、カテゴリを明示的に予測できますか？ |
| そして、JMP 15 Proが提供するさまざまな予測モデリング手法を試し、最終的にブートストラップフォレストを作成しました。 そして、ここでは、結果がどのように見えるか、そして結果を何に使用できるかについてのアイデアのみを提供したいと思います。 |
| したがって、テストデータセットの混同行列の結果、カテゴリ、特定の靴の説明、およびブートストラップフォレストを使用して何を予測したかがわかります。 |
| そして、興味深いことに、以前に見たのとほぼ同じ結果が表示されます。 したがって、他のカテゴリと明確に区別できる特定のカテゴリがあります。 |
| すでに独自の機能構成を持っているものもあれば、持っていないものもあります。 たとえば、ロードランニングシューズを見てみましょう。 |
| 最初の分析で、これらは一意に定義されていないことをすでに発見しました。 そして、ここでも見ることになりますが、私は多くの靴が実際に他の靴であるロードランニングシューズであると予測しています。 |
| つまり、これは以前の調査結果を裏付けるものです。 教師なし手法を使用して十分に説明された靴のカテゴリもここで十分に説明されており、十分に区別されていない靴のカテゴリもここではそれほど区別されていません。 |
| ですから、それは非常に興味深いものでした。この分析を使用して、今できることは他にもたくさんあります。 たとえば、次のことができます。 |
| 分析、何ですか...特定の靴を区別したいときに最も重要な問題は何ですか？ それで、靴のカテゴリを区別するときに用語が最も貢献する列の貢献ですか？ |
| または、ROC曲線を使用して、どの靴のカテゴリを非常に区別できるか、できないかをさらに調べることができます。 |
| 最後になりましたが、このモデルを予測に使用できます。 したがって、ここに特定の機能構成または靴の説明を入力できます |
| 次に、この説明が特定の靴のカテゴリに属する確率を予測します。 この場合、たとえば、この靴はロードランニングシューズである可能性があります。 |
| 時間の関係で、これ以上詳しくは説明しませんが、簡単に要約したいと思います。 それで、私たちの重要な発見は何でしたか？ 主な調査結果は |
| テキストエクスプローラーは非常に直感的で非常に優れたツールであり、非構造化テキストデータから情報をすばやく抽出するために使用できます。 |
| 彼らはどこで区別しますか、どこで区別しませんか？ それらの靴にはどのような機能が必要ですか？ しかし、どういうわけか、調査結果は私たちが期待することを確認しました。 |
| そして、この確認では、教師なし手法または教師あり手法のいずれかを使用してそれを行うことができます。トピック分析を比較し、ここではブートストラップフォレストを使用してSVDと予測モデルを使用し、他の手法も同様に機能する可能性があります。 |
| 最後に、私はグループに感謝したいと思います???誰がその問題を思いついたのですか。 彼らはすべてのデータを収集し、すべてのデータをクリーンアップしました。 |
| さまざまなテクニックの意味またはナンセンス。 したがって、それらがなければ、あなたは今その話を聞いていなかっただろう。 そしてさらに、 |
| テキスト分析について相談してくれた、ドルトムント工科大学の元同僚であるJonasに感謝します。 |
| そして最後に、ご清聴ありがとうございました。メールやJMPユーザーコミュニティでの質問にも喜んでお答えします。 私にメモを送ってください。 |
