自然言語処理（NLP）の専門家であり、1440 Consultingのデータサイエンス責任者であるManya Mayes氏を、 テキスト分析に関する第1回Statistically Speakingの基調講演者としてお迎えできることを大変嬉しく思います。また、テキスト分析の実務家として、食品医薬品局（FDA）のバイオインフォマティクス・バイオ統計部長であるWeida Tong氏と、プロクター・アンド・ギャンブル（P&G）の科学者であるJeff Swartzel氏という2名をパネリストとして迎えることができ、大変嬉しく思っています。
統計学に精通した専門家の方々が伝える実践的な専門知識と、興味深い事例は、大変刺激的です。ライブ配信中はパネルディスカッションの参加者に多くの質問が寄せられ、全てにお答えすることができませんでした。今回ご出演いただいたゲストの方々には、このブログ記事を通して回答していただくことに快く同意いただきました。
テキスト分析の ROI をどのように測定し、実証しますか?
Manya:ご想像のとおり、テキスト分析の ROI を測定するのは必ずしも簡単ではありません。製品の問題の早期警告を特定する際、フォード エクスプローラー/ファイアストン タイヤの問題 ( 推定コスト 75 億ドル) やトヨタの急加速問題 (司法省から12 億ドルの罰金、リコール コスト20 億ドルを発生) になる前に修正された問題の真の ROI を特定することは不可能かもしれません。両社がテキスト分析の結果 (米国道路交通安全局 [NHTSA] のデータと優れたテキスト分析機能を使用すれば簡単に見つけられました) に基づいて行動していたら、どれだけの節約ができたのかを正確に知ることはできなかったかもしれません。ラベル付けされた教師あり予測モデルでテキスト分析を使用すると、ROI を検証できますが、これが常に可能であるとは限りません。さらに、将来の企業のビジネス上の意思決定と戦略を通知するデータ分析では、ドライバー/感度分析を介して投資額あたりの収益を測定することができます。
ジェフ：これは難しい質問です。インパクトが一定しないこともあるため、この質問には苦労することがよくあります。非常に迅速かつ簡単な作業で貴重な洞察が得られることもありますが、手間のかかる分析で得られる結果はインパクトが小さいこともあります。テキスト分析の価値として私が特に重視するのは、1) 時間の節約、2) 問題発生前に介入する能力、3) この手法がなければ得られなかったかもしれない独自の洞察、そして4) 重要なトピックに焦点を絞る能力の向上です。
画面上のプロット (whompy wheel vs. 時間) は、テキスト エクスプローラー ウィンドウからどのように生成されたのでしょうか。
大人:テキストエクスプローラーを使用して、電気自動車に関する苦情のサンプルで、情報量の少ない用語のセットを停止リストに追加して削除し、1回または2回出現した用語を削除して、潜在クラス分析を行いました。潜在クラス分析の結果 ( JMP Pro ) には、行ごとのクラスター確率ウィンドウが含まれます。このウィンドウには、各ドキュメントの最も可能性の高いクラスターが表示されます。[データテーブルに変換] を右クリックできます。次のウィンドウには、結果がデータテーブルとして含まれており、[テーブル] > [結合] を選択して、行番号で一致するこれらの結果を元のデータと結合することで、元の車両苦情のサンプルに再び結合できます。私は、whompy wheel クラスターの行だけを選択しました。元のデータには faildate フィールドがあり、[グラフ] > [グラフビルダー] を使用してプロットできます。グラフビルダーでは、faildate を X 変数としてヒストグラムを使用し、応答スケールをカウントに設定しました。残りは主に外観に関するもので、凡例の故障日変数をクリックして色を変更しました（詳細は添付画像をご覧ください）。モデル別の情報を取得するために、車両モデル変数をグラフのグループX部分にドラッグ＆ドロップし、車両モデルを色変数として使用しました。
否定的な感情のスコアが肯定的な感情のスコアよりも低いのはなぜですか (98 対 100)?
大人:感情スコアの範囲は -100 から 100 です。たまたま、スコアが -98 の否定的な用語と、スコアが 100 の肯定的な用語を選択しました。
これらの画像は、全体的に見て、否定的な文書よりも肯定的な文書の方が多かったことを示しています。スコアは文書全体（レビュー）に基づいて計算された感情を示しているため、否定的な部分と肯定的な部分が混在していても、文書全体が肯定的なスコアになる場合があります。
FDA レビュー プロセスのテキスト分析は、主にレビュー作業の対象を絞るために使用されますか、それともドキュメントの読み取りを補助するものですか?
魏田： FDAでは、研究と審査の両方においてテキスト分析が幅広く活用されています。中でも、情報検索と文書分類は審査プロセスにおいて大きな存在感を示しています。さらに、テキスト要約、固有表現抽出、感情分析についても調査を行いましたが、これらの多くはレギュラトリーサイエンスを中心とした取り組みです。
テキスト分析と他の分析方法を組み合わせることでどのような相乗効果が得られますか?
大人:テキストベースの情報を他の分析手法と組み合わせることは一般的です。テキストは本質的に構造化された表現となります。構造化されたテキストを組み込むことで、機械学習の教師ありモデルを様々なユースケース（顧客獲得、維持、不正行為、リスクなど）に適用した場合、モデルの精度を向上させることができます。また、モデルの説明にも役立ち、ブランディングやメッセージングなどに適切な言語を選択する際にも役立ちます。さらに、教師なし分類／クラスタリングにも役立ちます。この場合、用語と取引情報や人口統計情報などの構造化データを組み合わせることで、クラスターの説明に役立ちます。
ジェフ： JMPは、テキスト分析の出力を他の関連変数（時間、顧客評価、意味のあるカテゴリなど）に直接結び付けてモデリング（用語選択や判別分析）を行うのに最適です。関連キーワードやトピックは、他の場所でのより定性的な分析にも役立ちます。
Bag-of-Words アプローチとより高度な NLP についてどう思いますか?
大人: Bag of Wordsアプローチは文脈や方向性を考慮しませんが、フレーズを含めることは可能なので、分析はよりシンプルかつ迅速になり、価値も提供します。より高度なNLPはより多くの文脈を提供しますが、事前学習済みのモデルが必要であり、文脈はより局所的になる可能性があります（例えば、文中に含まれる可能性が高くなります）。より高度なNLPは自動化が進みますが、データサイエンティストがデータを詳細に理解する際に生じるニュアンスを見逃す可能性があります。基本的に、どちらの手法にも長所と短所があります。
ジェフ：繰り返しになりますが、私はいつも「分析手法と質問を結びつける」と言っています。多くの場合、基本的な手法で迅速かつ有用な洞察を得ることができます（特に質問が明確に定義されている場合）。「何を探しているのかはわからないけれど、あらゆることについてすべてを知りたい。NLPを使って全知に到達できるでしょうか？」といった質問をよく受けます。:grinning_face_with_sweat: 私は、質問の定義に集中できるようサポートするか、潜在クラス分析、潜在意味分析、感情分析などを用いてテキストの探索を開始します。また、bag-of-wordsアプローチは概念化と解釈が非常に容易という利点があり、素晴らしい出発点となります。私の限られた経験では、BERTのような手法は、十分に訓練された機械学習モデルを用いた分類問題に最適です。
「高度なレギュラトリーサイエンス」へ向かうとはどういう意味でしょうか?
ウェイダ： FDAは、レギュラトリーサイエンスを「FDA規制対象製品の安全性、有効性、品質、性能を評価するための新たなツール、基準、アプローチを開発する科学」と定義しています。ある意味で、高度なレギュラトリーサイエンスとは、FDAの業務を改善するために新たな技術や方法論を取り入れることを意味します。
JMP は、他のユーザーとのコラボレーション、特にテキスト分析をどのように促進しますか?
大人: JMPコミュニティは、他のユーザーとのコラボレーションに最適なプラットフォームです。テキスト分析はJMPコミュニティの一部であり、SKP（JMP Statistics Knowledge Portal ）も含まれています。SKPは今後、テキスト分析コンテンツとコラボレーションをさらに活発化させていく予定です。
ジェフ： P&GではJMPのユーザーベースが非常に大きく、多くの人がJMPの基本を熟知しています。JMP分析の出力結果を共有したり、テキストエクスプローラーを使って誰かと作業セッションを開いたりするのも簡単です。スクリプトやジャーナルを共有できるので、とても便利です。
私たちが収集しているすべてのテキストデータで何ができるかは、まだほんの表面に触れた程度だと思いますか?
大人:最近、テキスト分析とNLPは機能面で飛躍的な進歩を遂げましたが、まだまだ発展途上です。まだ表面的な部分もありますが、機能が追加されれば、テキストは構造化データと何ら変わりなく扱われるようになるはずです。今のところ、人間的な要素は依然として非常に価値があります。
ジェフ：そうですね。テキストデータの分析に関する理解を深めるには、こうした仕事の基礎を熟知した人材の文化を築くことが最良の出発点だと思います。
テキスト データを分析する相手と他に何を共有していますか?
ジェフ：時には、分析技術は人間より賢くないということを念頭に置いておくようにしています。つまり、分析技術は「変な匂いがしたので、あなたの製品を使うのをやめました」といった文章を人間レベルで理解することはできないということです。変な匂いは、大きな問題の兆候かもしれませんし、この製品について人々がよく言うことかもしれませんし、意図的な変更の一部がそのように受け取られたと理解されたのかもしれませんし、皮肉やアイロニーの可能性もあります。テキスト分析とNLPは、常にドメイン知識と、答えたい質問に対する好奇心と組み合わせる必要があります。私たちは（まだ）ボタンを押すだけで、知りたいことすべて（そして、知りたいかもしれないのに知らないことさえ）を知ることはできません。
ライブイベントを見逃した方は、オンデマンドで視聴して、より深い洞察を得ることができます。上記の質問に加えて、視聴者の皆様からは他にも多くの素晴らしい質問が寄せられました。「ドン！」という音のする車輪や奇妙な匂いなど、収集したテキストデータから得られる様々な洞察について、さらに詳しく学んでください。
