自然言語処理（NLP）の専門家であり、1440Consultingのデータサイエンス責任者であるManyaMayesを、最初のプレナリースピーカーとして迎えることに非常に興奮しました。テキスト分析について統計的に話す。 また、彼女をパネリストとして、他の2人の知識豊富なテキスト分析の実践者と一緒に迎えることができてうれしく思います。プロクター・アンド・ギャンブルの科学者、ジェフ・スワーツェル。
これらの統計的志向の専門家が伝える実践的な専門知識と彼らが共有する興味深い例は刺激的です。 ライブストリーム中にパネルに質問が多すぎて、すべてに答えることができませんでした。 私たちの注目のゲストは、このブログ投稿を介してそれらに答えることに親切に同意しました。
テキスト分析のROIをどのように測定して実証しますか？
マーニャ：ご想像のとおり、テキスト分析のROIの測定は必ずしも簡単ではありません。 製品の問題の早期警告を特定する場合、フォードエクスプローラー/ファイアストンタイヤの問題（ 75億ドルの推定コスト）またはトヨタの急加速の問題（発生した）罰金12億ドル司法省から20億ドルリコール費用）。 両社がテキスト分析の結果（米国運輸省道路交通安全局[NHTSA]のデータと優れたテキスト分析機能を使用して簡単に見つけることができた）に対して行動を起こした場合、どれだけ節約したかを本当に知ることはできなかったかもしれません。 ラベル付きの教師あり予測モデルでテキスト分析を使用すると、ROIを検証する方法が提供されますが、これが常に可能であるとは限りません。 さらに、将来の企業のビジネス上の意思決定と戦略に情報を提供するデータの分析のために、ドライバー/感度分析を介して投資された1ドルあたりの収益を測定することが可能です。
ジェフ：これは注意が必要です。影響に一貫性がない可能性があるため、私はこの質問に苦労することがよくあります。 非常に迅速で簡単な作業で貴重な洞察が得られる場合もあれば、手間のかかる分析で影響の少ない結果が得られる場合もあります。 テキスト分析の価値として私が通常焦点を当てているのは、1）時間の節約、2）問題に先んじて介入する能力、3）技術なしでは不可能だったかもしれない洞察の独自性、4）能力の向上です。重要なトピックに焦点を当てます。
テキストエクスプローラーウィンドウから画面上のプロット（whompyホイールと時間）はどのように生成されましたか？
マーニャ：電気自動車に関する苦情のサンプルでTextExplorerを使用して、ストップリストに追加することで情報の少ない用語のセットを削除し、次に1〜2回出現する用語を削除し、その後に潜在クラス分析を行いました。 潜在クラス分析の結果（ JMPプロ）[行ごとのクラスター確率]ウィンドウを含めます。 そのウィンドウには、各ドキュメントで最も可能性の高いクラスターが表示されます。 Make Into DataTableを右クリックすることができます。 次のウィンドウには、結果がデータテーブルとして含まれています。このテーブルは、[テーブル]> [結合]を選択し、これらの結果を元のデータと結合して、行番号で照合することにより、車両の苦情の元のサンプルに結合できます。 whopyホイールクラスターの行だけを選択しました。 元のデータには失敗日フィールドがあり、[グラフ]> [グラフビルダー]を使用してプロットできます。 グラフビルダーでは、X変数としてfaildateを使用し、ResponseScaleをCountに設定したヒストグラムを使用しました。 残りは主に化粧品で、凡例のfaildate変数をクリックして色を変更しました（詳細については、添付の画像を参照してください）。 モデルごとの情報を取得するために、グラフのグループX部分に車両モデル変数をドラッグアンドドロップし、車両モデルを色変数として使用しました。
否定的な感情のスコアが肯定的な感情よりも低いのはなぜですか（98v。 100）？
マーニャ：感情スコアの範囲は-100から100です。 たまたま、スコアが-98の負の用語と、スコアが100の正の用語を選択しました。
これらの画像は、全体として、否定的な文書よりも肯定的な文書の方が多かったことを示しています。 スコアは、ドキュメント全体（レビュー）にわたって計算された感情を示しているため、ドキュメントには、ネガティブな部分とポジティブな部分が含まれていても、全体的にポジティブなスコアになる可能性があります。
FDAレビュープロセスのテキスト分析は、レビューの取り組みを対象とするためにより多く使用されていますか、それともドキュメントを読むことを補足するものですか？
魏田：テキスト分析は、調査とレビューの両方を含め、FDAで広く使用されています。 その中でも、情報検索と文書分類は、レビュープロセスにおいて強い存在感を示しています。 さらに、テキストの要約、固有表現抽出、感情分析についても調査しました。これらのほとんどは、規制科学中心の取り組みです。
テキスト分析やその他の分析方法でどのような相乗効果が得られますか？
マーニャ：テキストベースの情報を他の分析方法に組み合わせるのが一般的です。 テキストは本質的に構造化された表現を与えられます。 現在構造化されたテキストを組み込むことで、多数のユースケース（顧客獲得、維持、詐欺、リスクなど）に適用した場合に、機械学習の教師ありモデルのモデル精度を向上させることができます。 また、モデルの説明にも役立ち、ブランディングやメッセージングなどに使用する適切な言語を通知できます。 また、教師なし分類/クラスタリングにも役立ちます。この場合、用語は、トランザクション情報や人口統計情報などの構造化データと組み合わせて、クラスターの説明に役立ちます。
ジェフ： JMPテキスト分析の出力を、モデリング（用語の選択と判別分析）のために他の関連する変数（時間、顧客の評価、意味のあるカテゴリなど）に直接接続するのに最適です。 関連するキーワードやトピックは、他の場所でより定性的な分析を行うこともできます。
バッグオブワードアプローチとより高度なNLPについてどう思いますか？
マーニャ：バッグオブワードアプローチでは、コンテキストや方向性は考慮されませんが、フレーズを含めることができるため、価値を提供しながら分析をより簡単かつ迅速に行うことができます。 より高度なNLPはより多くのコンテキストを提供しますが、それでも事前にトレーニングされたモデルが必要であり、コンテキストははるかにローカライズできます（たとえば、文内にある可能性が高くなります）。 より高度なNLPはより優れた自動化を提供しますが、データサイエンティストがデータを詳細に知るようになると、関連するニュアンスを見逃す可能性があります。 基本的に、どちらの手法にも長所と短所があります。
ジェフ：壊れたレコードのように聞こえますが、私はいつも「分析手法を質問に結び付けてください」と言います。多くの場合、基本的な方法で迅速かつ有用な洞察を得ることができます（特に質問が明確に定義されている場合）。 人々は私に来て、「私たちは何を探しているのかわかりませんが、私たちはすべてについてすべてを知りたいのです。 全知への道をNLPできますか？」 ：grinning_face_with_sweat：私は彼らが質問の定義に集中するのを手伝うか、潜在クラス分析、潜在意味分析、または感情分析でテキストの探索を開始します。 また、bag-of-wordsアプローチには、非常に簡単に概念化して解釈できるという利点があり、それは素晴らしい出発点です。 私の限られた経験では、BERTのような方法は、十分に訓練された機械学習モデルを使用した分類の質問に最適です。
「高度な規制科学」に移行するとはどういう意味ですか？
魏田： FDAは、規制科学を「FDA規制製品の安全性、有効性、品質、および性能を評価するための新しいツール、標準、およびアプローチを開発する科学」と定義しています。ある意味で、高度な規制科学とは、FDAの運用を改善するために新しいテクノロジーと方法論を採用することを意味します。
JMPは、他のユーザー、特にテキスト分析とのコラボレーションをどのように促進しますか？
マーニャ： JMPコミュニティは、他の人とコラボレーションするための優れたプラットフォームです。 テキスト分析は、SKP（JMP）と同様にJMPコミュニティの一部です。統計知識ポータル）、これはテキスト分析コンテンツとコラボレーションでよりアクティブになりつつあります。
ジェフ： P＆Gには非常に多くのJMPユーザーベースがあり、多くの人が基本に精通しています。 JMP分析からの出力を共有し、テキストエクスプローラーを使用して誰かと作業セッションを行うのは簡単です。 スクリプトとジャーナルを共有すると、非常に簡単になります。
収集しているすべてのテキストデータで何ができるかについて、ほんの表面をかじったところだと思いますか？
マーニャ：最近、テキスト分析とNLPによって機能が大幅に向上しましたが、まだまだ先があります。 表面には良い傷がありますが、追加機能を使用すると、テキストは構造化データと同じように見なされます。 今のところ、人的要素はまだ非常に価値があります。
ジェフ：はい、そして私は、この種の仕事の基礎に精通している人々の文化を構築することが、テキストデータの分析の理解を構築するための最良の出発点であると思います
テキストデータを分析する相手と他に何を共有しますか？
ジェフ：時々、私たちよりも賢くないことを彼らに思い出させることがあります。つまり、分析手法では、「あなたの製品は変なにおいがしたので使用をやめました」のような文を見て理解することはできません。人間のレベル。 変なにおいは、大きな問題、またはこの製品について人々が通常言うこと、あるいはこのように受け取られたと理解されていた意図的な変更の一部、あるいは皮肉で皮肉なことを示している可能性があります。 テキスト分析とNLPは、常に、回答したい質問に関するドメイン知識と好奇心と組み合わせる必要があります。 私たちは（まだ）ボタンを押して、知りたいことをすべて知ることはできません（そして、知りたいと思うかもしれないことさえ知らないことさえ）。
ライブイベントを見逃した方はご覧いただけますオンデマンドより多くの洞察のために。 上記の質問に加えて、視聴者から多くの素晴らしい質問がありました。 収集したテキストデータの一部から得られる「おっとりした」ホイール、変なにおい、その他の洞察について詳しく学びましょう。
