JMP® のパワーを活用: 競合分析のためのビッグデータとソーシャルメディア
JMPディスカバリーカンファレンス2015
ジェームズ・ウィスノウスキー、Adsurgo LLC
フロール・カスティージョ、SABIC
アンドリュー・カール、Adsurgo LLC
ヒース・ラッシング、Adsurgo LLC
抽象的な：
現在、世界人口と比較すると、モノのインターネットには 2 倍のセンサー (スマートフォンなど) があり、ソーシャル メディア アカウントの数も同数あります。その結果、データ量が爆発的に増加したことは、この膨大な非構造化ノイズの集合からシグナルを見つけられる人にとっては大きなチャンスとなります。最近のプロジェクトでは、JMP ユーザーが革新的な技術、関連する成熟度、現在のアプリケーション、主要な競合相手に関する大量のオープン ソース マテリアルを効率的に検索して分析する必要があることが示されました。固有の課題には、これらの多様な Web サイト アーキテクチャ (余分なコードを除く) や、必ずしも使用可能な形式ではない添付の PDF や PowerPoint ファイルからテキストを抽出する必要があることなどがありました。コーパスが作成されると、テキストは JMP にインポートされ、重要な関心テーマと関連ドキュメントが迅速に特定されました。これらの手順は、R のテキスト マイニング ルーチンへの直感的な JMP インターフェイスを使用して実行されました。JMP のデータ視覚化、クラスター分析、および決定木機能を使用したテキスト分析により、従来の方法よりも優れた市場特性評価が可能になりました。この講演では、多数の関連 Web サイトを効果的に検索し、ソーシャル メディア アウトレット (Twitter など) を監視し、大量の非構造化データを集め、焦点を絞った研究の質問に答えるための一連の JMP スクリプトとプラットフォームを紹介します。
導入：
競争情報 (CI) という用語は、企業がビジネス上の脅威となる他の組織に関する情報を取得する行為を指すためにここ数十年でのみ使用されていますが、この慣行は何世紀にもわたって行われてきました。軍事情報に類似して、企業は競合他社、製品、顧客などの外部要因に注目し、困難な環境で成功するために実行する必要がある戦略を正確に評価すると考えることができます。競争情報は、経済および市場の力によって左右される戦略的環境と、日常的に必要な戦術的情報 (競合他社の価格に合わせるなど) の両方の観点から考えることができます。対抗競争情報は、企業が自社の専有情報やその他の機密情報を保護したい場合にも役立ちます。ツールとデータ ソースは、ビジネス ライバルに関する知識を効果的に獲得し、将来の対応を予測するために、動的に進化する手法に対応する必要があります。このホワイト ペーパーでは、競争の激しい市場分析分野でデータを取得および分析するための SAS Institute の JMP ソフトウェアの価値について説明します。
競争情報サイクル:
図 1 の競争情報サイクルは、軍事情報モデルに基づく多くの構成要素の 1 つであり、他の企業に関する利用可能な市場情報を見つけ、分析を適用して実用的な情報を発見するプロセスを説明します。定義フェーズでは、調査したい側面を正確に把握して、確実な攻撃計画を策定します。2 番目のフェーズでは、調査を形作るために適切なデータ ソースを取得することに焦点を当てます。3 番目のフェーズでは、分析手法を適用して生データを洞察に変換し、最終的に状況を説明する説得力のあるストーリーを作成します。最後のフェーズでは、この情報を、情報に基づいて行動できる適切なチームに提供します。
図1. 競争情報サイクル
データは CI プロセスの原動力です。以前は、CI の専門家だけが意味のあるデータやサイトにアクセスできました。しかし、今ではビッグ データによって状況は変わり、組織内の誰もが集中的に「検索」することで、自分の専門分野から価値あるものを引き出すことができます。CI データのソースには、年次報告書、スピーチ、ニュース リリース (社内および社外)、財務分析、展示会、特許出願、会社の Web サイト、ソーシャル メディアなどがあります。これらは多くの場合「オープン ソース」ですが、アクセスするには特別な許可が必要になる場合があります。Dunn and Bradstreet の Hoover、Salesforce、DataSift、Thomson Reuters など、すでに分析機能が備わっている独自のデータベースも多数存在します。生データの多くは、インターネット検索から取得され、その後、関連するデータ要素が慎重に抽出されます。CI 収集作業では、さまざまなソースや形式からの非構造化テキスト データという課題が必然的に発生し、分析用の一貫したデータ セットを組み立てるのに多大な労力が必要になります。
分析と生成の段階では、通常、複数のデータソースをいくつかの構成要素のいずれかに整理します。よく知られている SWOT 手法では、競合他社の強み、弱み、機会、脅威を調べます。PESTLE 手法では、業界とライバルの政治、経済、社会、技術、法律、環境の側面を評価します。ハーバード大学のマイケル ポーター教授の 5 つの力 (参入障壁、現在のライバル、代替の脅威、サプライヤーの交渉力、バイヤーの交渉力) は、時の試練に耐えてきました。ポーター教授は、競合他社の将来の動きを予測するための 4 つのコーナー モデル (推進要因/文化、現在の戦略、経営上の前提、および機能) も考案しています。他の分析フレームワークでは、ライバルを列、流通チャネル、技術的優位性、価格設定、市場シェア、顧客重視、財務安定性、労働力、施設、パートナーシップなどの主要なパフォーマンス指標を行にしてマトリックスを形成します。これらのフレームワークの課題は、データ要素を正確に取り込むことです。その多くは、信頼できるデータ ソースをどれだけうまく見つけられるかに依存する定性的な評価であるためです。この重要なデータを見つけて調査するのに役立つ JMP のいくつかの方法について説明します。
共同ウェブサイト分析からの競争力情報データ:
Aヴァナシュ・カウシク ウェブのトラフィックを分析して、ソース、人口統計、直帰率、製品感情に関する驚くほど洞察力のある情報を取得するために利用できる多くのツールについて説明しています。彼はこれらを、競合他社のウェブサイトを調べるサイト中心と、業界と特定のテクノロジーを調べるエコシステム中心に分類しています。サイト中心のアプリケーションの例としては、Google Analytics、Compete、SimilarWeb、Marketing Grader、Majestic、AdBeat (オンライン広告指標用) などがあります。これらのツールは、各サイトに関する詳細な情報 (ソース、直帰率、訪問したページ、キーワードなど) を提供しますが、残念ながら無料で利用できるのは自分のサイトのみです。
エコシステム中心のツールの一例として、Google トレンド ( https://www.google.com/trends/ )が挙げられます。図 2 は、「ビッグデータ」という用語の時系列的な存在を示していますが、当然ながら、この用語は過去 3 年間で急増しています。グラフには、その時点での Web からの代表的なストーリーを選択する文字が示されており、ピークや谷が存在する理由についての洞察が得られる可能性があります。さらに、上位の地理的地域と相関検索用語 (ビッグデータ Hadoop など) も示されています。
Google トレンドはデータをエクスポートできるため、JMP の機能を独自の分析に使用できます。たとえば、ジョーダン スピースは 22 歳のゴルファーで、最近世界ランキング 1 位に上り詰めるなど素晴らしい成績を残しました。スポーツ界では、ゴルフへの関心が低下しているとよく耳にしますが、スピースがこの傾向を逆転させるかもしれません。図 3 のグラフは、下降傾向だけでなく、競合分析やマーケティングに役立つ非常に周期的なパターンも示しています。
図 2. Google トレンドの「ビッグデータ」の時系列プロット
図3. Googleトレンド「ゴルフ」の時系列グラフ
データのエクスポートから、JMP を使用してグラフ ビルダーで独自のカスタム時系列プロットを作成し、それらのイベントをより明確にラベル付けし、図 4 に示すように季節 ARIMA を使用して将来の成長を予測できます。企業は、このような高度な分析を使用して、市場の動向や広告キャンペーンのタイミングを予測できます。
図4. ARIMAグループの「ゴルフ」の時系列プロットと予測
ソーシャル メディアからの競合情報データ:
過去 10 年間で、ソーシャル メディア サイトから取り込める新しい種類のインテリジェンス データが爆発的に増加しました。あらゆる種類の通信がこれまで以上に記録されるようになり、ノイズの多い非構造化データの中から CI シグナルを見つける機会が生まれています。ブログや掲示板は、業界や企業固有の情報を収集するのに最適な場所です。LinkedIn やその他の専門サイトで、企業、従業員、テクノロジ グループ、求人情報、元従業員をフォローできます。Facebook、Twitter、Instagram などのサイトへの投稿も、市場や競合他社の動向を理解する機会を提供します。課題は、同じ単語をさまざまな方法で表現する新しい非公式の英語のような言語を特徴とするこの非構造化データを効率的に収集することです。tonightという単語を誰かにテキスト メッセージで送信することを考えてみてください。
私たちは、統計プログラミング言語 R を呼び出して、キーワードに関連する指定された期間の Twitter フィードのすべて (またはランダム サンプル) をダウンロードする JMP スクリプト言語 (JSL) スクリプトを作成しました。スクリプトは現在から将来の指定された期間までのデータを収集しますが、遡及的なデータを収集する Twitter アーカイブは有料で存在します。返されるデータには、実際のツイート、場所、時間、およびその他の人口統計フィールドが含まれます。多くの企業は、自社製品であれ競合他社製品であれ、主要な製品リリースに対する一般の反応を確認するためにリアルタイムのツイートを収集しています。例として、製品と企業に関する当社の Twitter データはすべて独自のものであるため、レブロン ジェームズがクリーブランドに復帰すると発表した後、5 分間スクリプトを実行しました。図 5 の結果のワードクラウドは、一般的な単語 (the、and、or、…) と不快な言葉を除去した後の、最も頻繁に出現する用語 (最大のフォント) を示しています。さらに、私たちはツイートの感情分析を実施しました。これは、一般的に肯定的な感情と関連付けられる約 1,500 語のリスト、約 2,000 語の否定的な言葉のリスト、および 5 分間に 4,000 件のツイートから収集されたすべての単語をクロス集計することで実施しました。1 つのツイートに肯定的な言葉と否定的な言葉が複数含まれている場合もあれば、どちらも含まれていない場合もあります。合計は肯定的な言葉が 3,533 語、否定的な言葉が 1,626 語でした。ワードクラウドと感情分析は、テキスト マイニング用の JMP アドインを使用して実施され、テキスト分析ルーチンには R も呼び出されます。
図 5. 2014 年夏の「レブロン」に関する Twitter JSL スクリプト インターフェースとワードクラウド
競合他社のウェブサイトをスクレイピングして得た競合情報データ:
企業の Web サイトのアーキテクチャは、現在の機能と顧客、および将来の改善に向けて取り組んでいることの両方の観点から、オンライン プレゼンスで公開する内容を慎重に選択する上で、戦略的なインテリジェンスとして役立ちます。その他の優れたデータ機会には、会議/カンファレンス、リーダーシップ、ホワイトペーパーへのリンク、ニュース記事へのリンク、ベスト プラクティス、テクノロジーに関するディスカッション、求人情報、検索エンジン最適化のキーワードなどがあります。このデータを取得する 1 つの方法は、対象のテキストを手動でコピーして貼り付けることです。または、自動 Web スクレイピング ユーティリティを使用すると、はるかに高速で包括的であるという利点がありますが、返される情報が多すぎたり、無関係だったりする場合があります。
私たちは、Web サイト上のテキストの場所などのメタデータを追跡しながら、任意の Web サイトからテキスト データをスクレイピングする JSL コードを開発しました。Spider スクリプトは再び R を呼び出し、関心のある Web サイトを入力するだけで済みます。Web サイトは構造が異なるため、実行するスクレイピングの種類を選択できます。スクレイピング オプションには、すべてのテキスト、ニュース記事、またはデフォルト設定の選択が含まれます。また、クロールする深さを選択することもできます。レベル 0 は指定した Web ページ、レベル 1 はそのページとリンクされたすべてのページなどです。
たとえば、人気のグリーン エネルギー技術として、従来の冷気や冷媒システム (露点以下に温度を下げることで湿気を除去する) ではなく、水分子を除去することで冷却効果を実現する液体乾燥剤空調があります。市販の液体乾燥剤空調について Google で簡単に検索すると、Advantix Systems と Kathabar という 2 つの大手企業が見つかります。私たちは、両方のサイトを JSL スクリプトでスクレイピングして、各行が Web ページを表す JMP データ テーブルを作成しました。図 6 は、Spider インターフェイスと、テキスト マイニング アドインから生成されたワード クラウドを示しています。
図 6. ホームページの JSL スパイダー インターフェースとその結果のワードクラウド
ワードクラウドは、単語の頻度を再び表します。この生の単語数は便利ですが、どの単語が一緒に出現するか、どのようなテーマが存在するかについてはあまり情報を提供しません。非構造化テキストをフラット ファイルに変換して単語数以外の統計分析を行うには、各ドキュメント (この例では Web ページ) を行として、コーパス全体で使用されるすべての一意の単語を個別の列として持つドキュメント用語マトリックス (DTM) を作成するのが一般的です。マトリックスのエントリは、特定の行での各用語の出現頻度ですが、単語が出現するかどうかを示すバイナリ表現を使用する方がよい場合もあります。行全体での単語の出現回数に基づく重み付けスキームは、よく適用されるもう 1 つの変換です。つまり、すべての行に出現する単語は、分析に役立つほどの識別力を持たない可能性があります。DTM の問題は、通常、非常に大きく、非常にまばらであるため、標準的な統計方法では有用な関係を検出できない可能性があることです。
大規模でスパースな DTM に対する 1 つの解決策は、主成分分析 (PCA) のように、DTM をはるかに小さい次元空間に投影することです。よりよい解決策は、列数または単語数よりも低い次元 (たとえば 100 ～ 300 に減らす) で DTM の特異値分解 (SVD) を行うことです。この SVD は、DTM M=UDV' と考えることができます。U 行列の固有ベクトルはドキュメントを表し、V 行列の固有ベクトルは単語を表し、D 行列の対角線上の特異値は、各 SVD 列で説明される変動の割合を説明する固有値から得られます。
V 行列の最初の 2 つの固有ベクトルの二変量プロットを見ると、テキスト データ内の主要なテーマを拾い上げたり、グループ化されている単語を見つけたりするのに役立ちます。図 7 は、Kathabar の例の最初の 2 つの SVD の二変量プロットを示しています。ここでは、カスタム液体乾燥剤ソリューションの提供を中心に単語がグループ化され、別のグループでは空気の温度と湿度を制御するための低エネルギー装置を提案していることがわかります。
図 7. Kathabar V 行列から SVD 固有ベクトルを最初に取得し、乾燥剤の多変量距離を取得します。
また、ランクを下げた SVD の V 行列の固有ベクトルからの多変量距離を使用することもできます。これらの距離は、グループ化された単語を示し、コーパス内の任意の単語を選択して密接に関連する用語を見つけることができます。図 7 の右側のパネルでは、 乾燥剤に最も近い単語は、予想どおり、 liquid、system、process、dry、product、application、reliable、 manufacture であることがわかります。
特許からの競争情報データ:
特許出願は、企業の技術プロファイルの優れたバロメーターとなります。幸いなことに、競合他社の保護された財産に関するデータを収集し、技術の状態を理解するために、要約、図面、テキスト フィールドのすべてに無料でアクセスできる優れた特許検索エンジンが多数あります。世界知的所有権機関 (https://patentscope.wipo.int/search/en/result.jsf) を使用して、液体乾燥剤空調特許の抄録を抽出しました。抄録の各段落は、JMP データ テーブルで個別の行を形成しました。消費者調査プラットフォーム (分析 > 消費者調査 > カテゴリ > 回答の役割 = 複数、テキスト データの列はフリー テキストに割り当て) を使用すると、単語数を確認し、特許抄録に出現する上位用語のパレート図をすばやく作成できます。
図 8. JMP フリーテキスト インターフェイスと特許データの単語頻度カウント。
また、JMP を使用して、最も頻繁に使用される 200 語 (例) の指標列を作成し、分析 > 多変量解析法 > 多変量 > ペアワイズ相関を使用して、特定の用語が相関しているかどうかを確認することもできます。図 9 は、メディア フィルター、強い腐食性キャリーオーバー、微多孔膜など、相関の高い単語ペアの一部を示しています。
図9. 特許データの多変量プラットフォームからのペアワイズ相関
JMP テキスト マイニング アドインを使用したトピック抽出により、追加情報が提供されます。図 10 の最初の 2 つの SVD のプロットは、これらの特許が何をしようとしているかの概要を示しています。これは、湿度の高い気候に最も適した冷却効果をもたらす空気の除湿に液体乾燥剤 (ストップ ワード) を使用する技術です。ほとんどの液体乾燥剤のリスクは、フィルター メディアにスプレーすることで空気空間へのキャリーオーバーのリスクが増大することです。これらの特許では、このリスクを排除するために膜を使用しています。
図10. 特許の最初の2つのSVDベクトル
技術ジャーナル記事からの市場情報:多くの技術進歩は学術文献に詳しく記載されており、これらは技術の展望を描くのに非常に役立つことが示唆されています。液体乾燥剤技術の現状と商用アプリケーションの準備状況をよりよく理解するために、私たちは過去 3 年間のクリーン エネルギー分野の評判の高いジャーナル出版物から最近査読された技術記事 45 件をダウンロードしました。これらのポータブル ドキュメント ファイル (pdf) は、テキスト文字が実際には画像であり、大量の数式がテキストにうまく変換されないため、テキストに変換してから JMP データ テーブルに変換することが困難でした。私たちは、これらの pdf ファイルをきれいに読み取るためにさまざまな方法 (オープン ソースとプロプライエタリの両方) を試し、AdobeAcrobat Standard または Pro を使用して光学式文字認識 (OCR) 機能を使用して pdf を MS Word リッチ テキスト ファイル (rtf) として保存するのが中間ステップとして適切であると結論付けました。次に、Word ドキュメントのファイルを開いてテキスト ファイルとして保存する MS Word マクロを開発しました。このマクロは、テキスト ファイルのフォルダーを JMP テーブルに読み込んでコーパスを形成します。また、テキスト マイニング アドインの JSL スクリプトを更新して、英数字以外の文字を削除するオプションを追加する必要がありました。参照はテキスト分析に不必要に干渉するため削除されました。
JMP テキスト マイニング アドインの図 11 の単語の頻度は、特許と同様のストーリーを物語っています。このグリーン エネルギー技術は、液体乾燥剤 (LiCl など) を再生して除湿し、膜が空気流から有毒な乾燥剤を分離する空気を冷却することで、エネルギー消費を削減して空気を冷却するシステムです。
図 11. 液体乾燥膜に関するジャーナル記事の単語頻度。
SVD を実行した後、U 行列の固有ベクトルの値を使用して、ジャーナル記事を類似してクラスタリングできます。文書は、著者のラインと液体乾燥剤内の一般的な研究領域に沿って非常によくクラスタリングされます (図 12)。トピックの抽出には、SVD の V 行列を使用します。これらのジャーナル全体で選択されたトピック (図 13) は次のとおりです。1) 空調ソリューションとしての液体乾燥剤を検証し、エネルギーを節約する再生方法による効率向上を図る比較実験、2) さまざまな入口パラメータ値を許可しながら質量移動速度と効率比を予測する実験、3) ハイブリッド電気コンプレッサーと液体乾燥剤を使用して蒸気を除去する代替方法。
図12. 液体乾燥剤ジャーナル記事のクラスター分析結果
図13. 液体乾燥剤空調膜の抄録からのトピック
V 行列の最初の 2 つの固有ベクトルのプロット (図 14) は、要約に基づくこれらの研究活動の一般的なテーマ (エネルギー再生、除湿の改善、シミュレーション、物質移動、実験予測、モデル、温度と膜、水蒸気による熱処理) を示しています。
図14. 液体デシカント空調の最初の2つの固有ベクトルの二変量プロットジャーナル抄録
トピック抽出のもう 1 つの便利な手法は、特定の単語の V マトリックスから多変量距離を調べることです。これらの多変量距離は、クラスター分析中に JMP によって計算され、距離マトリックスを保存することによって取得されます。特定の単語を選択して、その単語に最も関連のある単語を見つけることができます。図 15 に示すいくつかの興味深い単語は、これらのジャーナル記事の要約から次の情報を提供します。
- コスト - 懸念されるのは、回収期間、主な設備、ボイラー、およびストレージの大きな要因です。
- 信頼性 - 空気冷却サブシステムを備えたマルチゾーンおよび天井ユニットの製造
- リチウム乾燥剤は塩化リチウム水溶液であり、主な懸念は周囲環境（有毒）との接触であり、微多孔膜は溶液である。
- 飛沫は直接接触すると有害であり、経済的に実現可能にするために排除する必要がある
図 15. 液体乾燥剤ジャーナル抄録の V マトリックスからの多変量距離。
まとめ：
競争情報分析には、SWOT、ポーターの 5 つの力、4 つのコーナーなど、最新かつ信頼できるデータ入力に依存するフレームワークが多数あります。競争情報データ ソースは急増し、民主化されているため、企業全体の従業員がライバルに関する有用な情報を見つけることができます。問題は、データが必ずしも簡単に取得できるとは限らず、ほとんどがノイズが多く構造化されていないことです。JMP および JSL スクリプトの分析ツールは、Web サイト、ソーシャル メディア、特許、技術ジャーナルの記事などのソースからデータを収集して理解するのに役立ちます。軍事の例えと同様に、目標は、構造化されていないオープン ソース情報から、組織の戦略的方向性に影響を与える「機密」インテリジェンス レポートに移行することです。
参考文献:
Baglama, James および Reichel, Lothar。拡張された暗黙的に再開された Lanczos 二重対角化法。2005年、SIAM Journal of Scientific Computing、Vol. 27、pp. 19-42。
Barbera, Pablo. streamR: R 経由での Twitter ストリーミング API へのアクセス。[オンライン] 2014. http://CRAN.R-project.org/package=streamR .
Czepiel, John および Kerin, Roger.競合分析. [オンライン] 2011.http://pages.stern.nyu.edu/~jczepiel/Publications/CompetitorAnalysis.pdf.
エヴァngelopoulos, Nicholas、Zhang, Xiaoni、Prybutok, Victor R.潜在的意味解析: 5 つの方法論的推奨事項。2012年、European Journal of Information Systems、Vol. 21、pp. 70-86。
フェローズ、イアン。wordcloud: ワードクラウド。CRAN 。 [オンライン] 2014。http://cran.r-project.org/web/packages/wordcloud/index.html.
Kaushik、Avanish。競合情報分析で成功する：最適な指標とレポート。[オンライン] 2015年。http://www.kaushik.net/avinash/competitive-intelligence-analysis-tools-metrics-reports-techniques/.
Lang, Duncan Temple. RCurl: R.cran 用の一般的なネットワーク (HTTP/FTP/...) クライアント インターフェイス。 [オンライン] 2015。http://cran.r-project.org/web/packages/RCurl/index.html.
マーティン. 戦略フレームワーク：競合分析と競争情報. [オンライン] 2015.http://www.entrepreneurial-insights.com/competitor-analysis-competitive-intelligence/.
Metayer, Estelle.競争情報チームまたは戦略計画チームが習得すべきトップ分析テクニック。 [オンライン] 2015 http://competia.com/50-competitive-intelligence-analysis-techniques .
世界知的所有権機関 Patentscope. [オンライン] 2015年。https://patentscope.wipo.int/search/en/result.jsf
