JMP®のパワーを活用：競合分析のためのビッグデータとソーシャルメディア
JMPディスカバリーカンファレンス2015
ジェームズ・ウィズノウスキー、Adsurgo LLC
フロール・カスティージョ、SABIC
アンドリュー・カール、Adsurgo LLC
ヒース・ラッシング、Adsurgo LLC
抽象的な：
世界人口と比較すると、IoT（モノのインターネット）におけるセンサー（例：スマートフォン）の数は2倍に上り、ソーシャルメディアアカウントの数も同数に上ります。その結果、データ量が爆発的に増加したことで、膨大な非構造化かつ不確実なノイズの中からシグナルを見つけられる人材には大きなチャンスが生まれています。最近のプロジェクトでは、JMPユーザーが革新的な技術、その成熟度、現在のアプリケーション、主要競合企業に関する膨大なオープンソース資料を効率的に検索・分析する必要性が生じました。このプロジェクト特有の課題として、多様なウェブサイト構造（不要なコードを除く）や、必ずしも使用可能な形式ではない添付PDFやPowerPointファイルからテキストを抽出する必要性が挙げられました。コーパスが構築されると、テキストはJMPにインポートされ、重要な関心テーマと関連文書を迅速に特定しました。これらのステップは、Rのテキストマイニングルーチンへの直感的なJMPインターフェースを使用して実行されました。JMPのデータ視覚化、クラスター分析、決定木機能を用いたテキスト分析により、従来の手法よりも優れた市場特性評価が可能になりました。この講演では、多数の関連 Web サイトを効果的に検索し、ソーシャル メディア アウトレット (Twitter など) を監視し、大量の非構造化データを集め、焦点を絞った研究の質問に答えるための一連の JMP スクリプトとプラットフォームを紹介します。
導入：
競争情報（CI）という用語は、企業がビジネス上の脅威となる他社に関する情報を取得する行為を指すものとして、ここ数十年で使われるようになったものですが、この実践は何世紀にもわたって存在してきました。軍事情報に例えるなら、企業が競合他社、製品、顧客といった外部要因に焦点を当て、困難な環境で成功するために必要な戦略を正確に評価することを意味します。競争情報は、経済や市場の力によって左右される戦略的環境と、日々求められる戦術的情報（競合他社の価格への対応など）の両方の観点から捉えることができます。反競争情報においては、企業は自社の機密情報やその他の機密情報を保護する必要があります。ツールとデータソースは、競合他社に関する知識を効果的に獲得し、将来の対応を予測するために、動的に進化する手法に対応していく必要があります。本稿では、競争の激しい市場分析分野におけるデータの取得と分析において、SAS InstituteのJMPソフトウェアが持つ価値について説明します。
競争情報サイクル:
図1に示す競争情報サイクルは、軍事情報モデルに基づく多くの構成要素の一つであり、他社に関する活用可能な市場情報を発見し、分析を適用して実用的な情報を発見するプロセスを表しています。このサイクルは定義フェーズから始まります。ここでは、調査対象とする領域を正確に特定し、確固たる戦略を策定します。第2フェーズでは、調査を具体化するために適切なデータソースの取得に重点を置きます。第3フェーズでは、分析手法を適用して生データを洞察に変換し、最終的に市場環境を描写する説得力のあるストーリーを作成します。最終フェーズでは、この情報を、情報に基づいて行動できる適切なチームに提供します。
図1. 競争情報サイクル
CIプロセスの原動力となるのはデータです。かつては、CI専門家だけが有意義なデータやウェブサイトにアクセスできました。しかし、ビッグデータの登場により、組織内の誰もが専門分野を集中的に「網羅」することで、価値ある情報源を得られるようになりました。CIデータのソースには、年次報告書、講演、社内および社外向けニュースリリース、財務分析、展示会、特許出願、企業ウェブサイト、ソーシャルメディアなどが挙げられます。これらは多くの場合「オープンソース」ですが、アクセスするには特別な権限が必要になる場合があります。Dunn & BradstreetのHoover、Salesforce、DataSift、Thomson Reutersなど、既に分析機能が備わっている独自のデータベースも数多く存在します。生データの多くは、インターネット検索から取得し、関連するデータ要素を慎重に抽出することで得られます。CIデータの収集には、必然的に、多様なソースや形式から得られる非構造化テキストデータという課題があり、分析のための一貫したデータセットを構築するには多大な労力が必要です。
分析・生成段階では、通常、複数のデータソースを様々な構成要素に整理します。よく知られているSWOT分析は、競合他社の強み、弱み、機会、脅威を分析します。PESTLE分析は、業界と競合他社の政治、経済、社会、技術、法務、環境の側面を評価します。ハーバード大学教授マイケル・ポーターの5つのフォース（参入障壁、現在の競合他社、代替脅威、サプライヤーの交渉力、バイヤーの交渉力）は、長年にわたり実証されてきました。ポーターはまた、競合他社の将来の動向を予測するためのフォーコーナーズモデル（推進要因／企業文化、現在の戦略、経営上の前提、能力）も提唱しています。他の分析フレームワークでは、競合他社を列、流通チャネル、技術的優位性、価格設定、市場シェア、顧客重視、財務安定性、人員、施設、パートナーシップなどの主要業績評価指標を行とするマトリックスを作成します。これらのフレームワークの課題は、データ要素を正確に入力することです。なぜなら、多くのフレームワークは定性的な評価であり、信頼できるデータソースをどれだけ見つけられるかに左右されるからです。この重要なデータを見つけて調査するのに役立つ JMP のいくつかの方法について説明します。
共同ウェブサイト分析からの競争力情報データ:
Aヴァナシュ・カウシク ウェブトラフィックを分析し、ソース、人口統計、直帰率、製品への感情など、驚くほど洞察に富んだ情報を得るための様々なツールについて解説しています。彼はこれらのツールを、競合他社のウェブサイトを分析するサイト中心型と、業界や特定のテクノロジーを分析するエコシステム中心型に分類しています。サイト中心型アプリケーションの例としては、Google Analytics、Compete、SimilarWeb、Marketing Grader、Majestic、AdBeat（オンライン広告指標用）などが挙げられます。これらのツールは、各サイトに関する詳細な情報（ソース、直帰率、訪問ページ、キーワードなど）を提供しますが、残念ながら無料で利用できるのは自社サイトのみです。
エコシステム中心のツールの一例としては、Google トレンド ( https://www.google.com/trends/ )が挙げられます。図2は、「ビッグデータ」という用語の時系列的な出現頻度を示しています。この用語は、当然のことながら、過去3年間で急上昇しています。グラフには、その時点におけるウェブ上の代表的な出来事を表す文字が表示されており、ピークや谷が生じる理由についての洞察が得られる可能性があります。さらに、上位の地域と相関性のある検索語句（例：ビッグデータ、Hadoop）も表示されます。
Googleトレンドはデータをエクスポートできるため、JMPの機能を独自の分析に活用できます。例えば、ジョーダン・スピースは22歳のゴルファーで、最近世界ランキング1位に輝くなど素晴らしい活躍を見せています。スポーツ界では、ゴルフへの関心が低下しているという声をよく耳にしますが、スピースはこの傾向を逆転させる可能性を秘めています。図3のグラフは、下降傾向だけでなく、非常に周期的なパターンも示しており、競合分析やマーケティングに役立つ可能性があります。
図2. Googleトレンド「ビッグデータ」の時系列グラフ
図3. Googleトレンド「ゴルフ」の時系列グラフ
データのエクスポートから、JMP を使用してグラフビルダーで独自のカスタム時系列プロットを作成し、それらのイベントをより明確にラベル付けし、図 4 に示すように季節 ARIMA を使用して将来の成長を予測できます。企業は、このような高度な分析を使用して、市場の動向や広告キャンペーンのタイミングを予測できます。
図4. ARIMAグループの時系列プロットと「ゴルフ」の予測
ソーシャルメディアからの競合情報データ:
過去 10 年間で、ソーシャル メディア サイトから取り込める新しい種類のインテリジェンス データが爆発的に増加しました。あらゆる種類のコミュニケーションがこれまで以上に記録されるようになり、ノイズの多い非構造化データの中から CI シグナルを見つける機会が増えています。ブログや掲示板は、業界や企業固有の情報を収集するのに最適な場所です。LinkedIn などの専門サイトで、企業、従業員、技術グループ、求人情報、元従業員をフォローできます。Facebook、Twitter、Instagram などのサイトへの投稿からも、市場や競合他社の動向を把握できます。課題は、同じ単語をさまざまな方法で表現する、新しいくだけた英語のような言語を特徴とするこの非構造化データを効率的に収集することです。tonightという単語を誰かにテキスト メッセージで送信することを考えてみてください。
我々は、統計プログラミング言語 R を呼び出して、キーワードに関連する指定された期間の Twitter フィードのすべて (またはランダム サンプル) をダウンロードする JMP スクリプト言語 (JSL) スクリプトを作成しました。スクリプトは現在時刻から将来の指定された期間までのデータを収集しますが、遡及的なデータを収集する Twitter アーカイブも有料で存在します。返されるデータには、実際のツイート、場所、時間、その他の人口統計フィールドが含まれます。多くの企業が、自社製品であれ競合他社であれ、主要な製品のリリースに対する一般の反応を確認するためにリアルタイムのツイートを収集しています。例として、製品と企業に関する当社の Twitter データはすべて独自のものであるため、レブロン ジェームズがクリーブランドに復帰すると発表した後、5 分間スクリプトを実行しました。図 5 の結果のワードクラウドは、一般的な単語 (the、and、or、…) と不快な言葉を除去した後の、最も頻繁に出現する用語 (最大のフォント) についての洞察を示しています。さらに、ツイートの感情分析を実施しました。具体的には、一般的にポジティブな感情と関連付けられる約1,500語のリストと、ネガティブな感情と関連付けられる約2,000語のリストを、5分間に4,000件のツイートから収集されたすべての単語とクロス集計しました。1つのツイートには、ポジティブな単語とネガティブな単語が複数含まれている場合もあれば、どちらも含まれていない場合もあります。総計はポジティブな単語が3,533語、ネガティブな単語が1,626語でした。ワードクラウドと感情分析は、テキストマイニング用のJMPアドインを使用して実施しました。このアドインは、テキスト分析ルーチンとしてRも呼び出しています。
図5. 2014年夏の「レブロン」のTwitter JSLスクリプトインターフェースとワードクラウド
競合他社のウェブサイトから収集した競合情報データ:
企業のウェブサイトの構造は、それ自体が戦略的な情報源として有用です。企業は、現在の能力や顧客、そして将来の改善に向けて取り組んでいることなど、オンラインプレゼンスにおいて何を公開するかを慎重に選択するからです。その他の優れたデータ取得の機会としては、会議／カンファレンス、経営陣、ホワイトペーパーへのリンク、ニュース記事へのリンク、ベストプラクティス、技術に関する議論、求人情報、検索エンジン最適化（SEO）のキーワードなどが挙げられます。これらのデータを取得する方法の一つは、関心のあるテキストを手動でコピー＆ペーストすることです。一方、自動ウェブスクレイピングツールは、はるかに高速で包括的なデータ取得が可能という利点がありますが、過剰な情報や不要な情報が返される可能性があります。
ウェブサイト上のテキストの位置などのメタデータを追跡しながら、あらゆるウェブサイトからテキストデータをスクレイピングするJSLコードを開発しました。SpiderスクリプトはRを呼び出し、対象のウェブサイトを入力するだけで済みます。ウェブサイトの構成はそれぞれ異なるため、実行するスクレイピングの種類を選択できます。スクレイピングのオプションには、すべてのテキスト、ニュース記事、デフォルト設定などがあります。また、クロールする深さも選択できます。レベル0は指定したウェブページ、レベル1は指定したページとリンクされたすべてのページ、といった具合です。
例えば、人気のグリーンエネルギー技術として、液化デシカント空調があります。これは、従来の冷気や冷媒システムのように露点以下に温度を下げることで湿度を除去するのではなく、水分子を除去することで冷却効果を実現します。「業務用液化デシカント空調」をGoogleで検索すると、Advantix SystemsとKathabarという2つの大手企業が見つかります。私たちはJSLスクリプトを使って両サイトをスクレイピングし、各行がWebページを表すJMPデータテーブルを作成しました。図6は、Spiderインターフェースと、テキストマイニングアドインによって生成されたワードクラウドを示しています。
図 6. JSL スパイダー インターフェースとwww.kathabar.comから生成されたワードクラウド
ワードクラウドは、単語の出現頻度を表します。この生の単語数は有用ですが、どのような単語が一緒に出現するか、どのようなテーマが存在するかについては、あまり情報を提供しません。非構造化テキストをフラットファイルに変換し、単語数以上の統計分析を行うには、各文書（この例ではWebページ）を行として、コーパス全体で使用されているすべての固有の単語を個別の列として持つ文書用語マトリックス（DTM）を作成するのが一般的です。マトリックスのエントリは、各用語が特定の行に出現する頻度ですが、単語が出現するかどうかを示すバイナリ表現を使用する方が適切な場合もあります。行全体での単語の出現回数に基づく重み付けスキームも、よく使用される変換です。つまり、すべての行に出現する単語は、分析に役立つほどの識別力を持たない可能性があります。DTMの問題は、通常、非常に大きく、非常にスパースであることです。そのため、標準的な統計手法では有用な関係を検出できない可能性があります。
大規模かつスパースなDTMに対する一つの解決策は、主成分分析（PCA）と同様に、DTMをはるかに小さな次元空間に投影することです。より良い解決策は、列数または単語数よりも低い次元（例えば100から300に削減）でDTMの特異値分解（SVD）を行うことです。このSVDはDTM M=UDV'と考えることができます。U行列の固有ベクトルは文書を表し、V行列の固有ベクトルは単語を表します。D行列の対角線上の特異値は、各SVD列で説明される変動の割合を説明する固有値から得られます。
V行列の最初の2つの固有ベクトルの二変量プロットを見ると、テキストデータの主要なテーマを拾い上げたり、グループ化されている単語を見つけたりするのに役立ちます。図7は、Kathabarの例における最初の2つのSVDの二変量プロットを示しています。ここでは、カスタム液体乾燥剤ソリューションの提供に関する単語と、空気の温度と湿度を制御するための低エネルギー機器を提案する単語がグループ化されているのがわかります。
図 7. Kathabar V 行列からの最初の SVD 固有ベクトルと乾燥剤の多変量距離。
縮減階数SVDのV行列の固有ベクトルから多変量距離を求めることもできます。これらの距離は、グループ化された単語を示しており、コーパス内の任意の単語を選択して、密接に関連する用語を見つけることができます。図7の右側のパネルでは、 乾燥剤に最も近い単語は、予想通り、 liquid、system、process、dry、product、application、reliable、 manufactureであることがわかります。
特許からの競争情報データ:
特許出願は、企業の技術プロファイルを示す優れたバロメーターとなります。幸いなことに、優れた特許検索エンジンが数多く存在し、それらを利用して要約、図面、テキストフィールドのすべてに無料でアクセスし、競合他社の保護された技術に関するデータを収集し、技術の現状を把握することができます。世界知的所有権機関（WIO）のPATENTSCOPE（パテントスコープ）https://patentscope.wipo.int/search/en/result.jsf）を使用して、液体乾燥剤空調の特許抄録を抽出しました。抄録の各段落は、JMPデータテーブルで個別の行にまとめられました。消費者調査プラットフォーム（ 「分析」>「消費者調査」>「カテゴリカル」>「回答の役割」=「複数」、テキストデータの列を「フリーテキスト」に割り当て）を使用すると、単語数を確認し、特許抄録でよく出現する用語のパレート図を簡単に作成できます。
図 8. JMP フリーテキストインターフェースと特許データの単語頻度カウント。
JMPでは、「分析」メニューの「多変量解析」＞「多変量」＞「ペアワイズ相関」を使用して、例えば最も頻繁に出現する200語の指標列を作成し、特定の用語間の相関関係を調べることもできます。図9は、「メディアフィルター」「強い腐食性キャリーオーバー」「微多孔膜」など、相関の高い単語ペアの一部を示しています。
図9. 特許データの多変量プラットフォームからのペアワイズ相関
JMPテキストマイニングアドインを用いたトピック抽出により、追加情報が得られます。図10の最初の2つのSVDのプロットは、これらの特許が何を試みているのかを概観的に示しています。これは、空気を除湿するために液体乾燥剤（ストップワード）を使用する技術であり、湿度の高い気候に最適な冷却効果をもたらします。多くの液体乾燥剤が抱えるリスクは、フィルター媒体に噴霧することで空気中へのキャリーオーバーリスクが高まることです。これらの特許では、このリスクを排除するために膜を使用しています。
図10. 特許の最初の2つのSVDベクトル
技術ジャーナル記事からの市場情報:多くの技術進歩は学術文献に詳細に記されており、これらは技術展望を描く上で非常に役立つと考えられます。液体乾燥剤技術の現状と商用化への準備状況をより深く理解するために、クリーンエネルギー分野の著名な学術誌に掲載された、過去3年間の査読済み技術論文45件をダウンロードしました。これらのポータブルドキュメントファイル（PDF）は、テキスト文字が実際には画像であり、大量の数式がテキストにうまく変換できないため、テキストに変換してからJMPデータテーブルに変換するのが困難でした。私たちは、これらのPDFファイルをきれいに読み取るために、オープンソースとプロプライエタリの両方を含む様々な方法を試した結果、AdobeAcrobat StandardまたはProを使用し、光学式文字認識（OCR）機能を使用してPDFをMS Wordリッチテキストファイル（RTF）として保存することが、中間段階として適切であると結論付けました。次に、Word文書ファイルを開いてテキストファイルとして保存するMS Wordマクロを開発しました。このマクロは、テキストファイルのフォルダーをJMPテーブルに読み込み、コーパスを作成します。また、テキストマイニングアドインのJSLスクリプトを更新し、英数字以外の文字を削除するオプションを追加する必要がありました。これらの参照はテキスト分析に不要な干渉を与えていたため、削除しました。
JMP テキスト マイニング アドインの図 11 の単語の頻度は、特許と同様のストーリーを語っています。このグリーン エネルギー技術は、液体乾燥剤 (LiCl など) を再生して除湿し、膜が空気流から有毒な乾燥剤を分離することで空気を冷却し、エネルギー消費を削減するシステムです。
図 11. 液体乾燥膜に関するジャーナル記事の単語頻度。
SVDを実行した後、U行列の固有ベクトルの値を用いて、類似ジャーナル論文をクラスタリングできます。論文は、著者名と液体乾燥剤の一般的な研究分野に沿って非常によくクラスタリングされています（図12）。トピック抽出には、SVDのV行列を使用します。これらのジャーナルから選択されたトピック（図13）は、1) 空調ソリューションとしての液体乾燥剤の有効性を検証する比較実験と、エネルギーを節約する再生法による効率向上、2) 異なる入口パラメータ値を考慮しながら物質移動速度と効率比を予測する実験、3) ハイブリッド電動コンプレッサーと液体乾燥剤を用いた蒸気除去の代替方法などです。
図12. 液体乾燥剤に関するジャーナル論文のクラスター分析結果
図13. 液体乾燥剤空調膜の抄録からのトピック
V 行列の最初の 2 つの固有ベクトルのプロット (図 14) は、要約に基づくこれらの研究活動からのいくつかの一般的なテーマ (エネルギー再生、除湿の改善、シミュレーション、物質移動、実験予測、モデル、温度と膜、水蒸気による熱処理) を示しています。
図14. 液体乾燥剤空調ジャーナル抄録の最初の2つの固有ベクトルの二変量プロット
トピック抽出におけるもう一つの有用な手法は、特定の単語についてV行列から多変量距離を調べることです。これらの多変量距離は、JMPによってクラスター分析中に計算され、距離行列を保存することで得られます。特定の単語を選択すると、その単語に最も関連性の高い単語を調べることができます。図15に示すいくつかの興味深い単語は、これらのジャーナル記事の抄録から以下の情報を提供します。
- コスト - 懸念されるのは、回収期間、主要な設備、ボイラー、およびストレージの大きな要因です。
- 信頼性 - 空気冷却サブシステムを備えたマルチゾーンおよび天井ユニットの製造
- リチウム乾燥剤は塩化リチウム水溶液であり、主な懸念は周囲環境（有毒）との接触であり、微多孔膜が溶液である。
- 飛沫が直接接触すると有害であり、経済的に実現可能にするためには排除する必要がある
図 15. 液体乾燥剤ジャーナル抄録の V マトリックスからの多変量距離。
まとめ：
SWOT分析、ポーターの5フォース分析、4コーナー分析など、競争情報分析のためのフレームワークは数多く存在しますが、これらは最新かつ信頼性の高いデータ入力に基づいています。競争情報データソースは急増し、民主化されているため、企業全体の従業員が競合他社に関する有用な情報を得ることができます。問題は、データが必ずしも容易に取得できるとは限らず、ノイズが多く非構造化されていることにあります。JMPやJSLスクリプトなどの分析ツールは、ウェブサイト、ソーシャルメディア、特許、技術ジャーナル記事などのソースからデータを収集し、その意味を理解するのに役立ちます。軍事におけるアナロジーと同様に、目標は、非構造化オープンソース情報を、組織の戦略的方向性に影響を与える「機密」インテリジェンスレポートへと移行することです。
参考文献:
Baglama, James、Reichel, Lothar.拡張暗黙的リスタートLanczos双対角化法. 2005年、SIAM Journal of Scientific Computing、第27巻、pp. 19-42.
Barbera, Pablo. streamR: R 経由の Twitter ストリーミング API へのアクセス. [オンライン] 2014. http://CRAN.R-project.org/package=streamR .
Czepiel, John、Kerin, Roger.競合分析. [オンライン] 2011.http://pages.stern.nyu.edu/~jczepiel/Publications/CompetitorAnalysis.pdf.
エヴァngelopoulos, Nicholas、Zhang, Xiaoni、Prybutok, Victor R.潜在的意味解析：5つの方法論的推奨事項。 2012年、European Journal of Information Systems、Vol. 21、pp. 70-86。
フェローズ、イアン. wordcloud: ワードクラウド. CRAN. [オンライン] 2014.http://cran.r-project.org/web/packages/wordcloud/index.html.
Kaushik、Avanish著。競合情報分析で成功する：最適な指標とレポート[オンライン] 2015年。http://www.kaushik.net/avinash/competitive-intelligence-analysis-tools-metrics-reports-techniques/.
Lang, Duncan Temple. RCurl: R.cran の汎用ネットワーク (HTTP/FTP/...) クライアントインターフェース。 [オンライン] 2015.http://cran.r-project.org/web/packages/RCurl/index.html.
マーティン. 戦略フレームワーク：競合分析と競争情報. [オンライン] 2015.http://www.entrepreneurial-insights.com/competitor-analysis-competitive-intelligence/.
メタイヤー、エステル.競争情報チームや戦略企画チームが習得すべき主要な分析テクニック. [オンライン] 2015 http://competia.com/50-competitive-intelligence-analysis-techniques .
世界知的所有権機関Patentscope. [オンライン] 2015年。https://patentscope.wipo.int/search/en/result.jsf
