JMP® の力を活用: 競合他社分析のためのビッグデータとソーシャルメディア
JMPディスカバリーカンファレンス2015
ジェームズ・ウィスノースキー氏、Adsurgo LLC
フロール・カスティージョ、SABIC
アンドリュー・カール、Adsurgo LLC
ヒース・ラッシング、Adsurgo LLC
概要：
世界の人口と比較して、現在、モノのインターネットには 2 倍の数のセンサー (スマートフォンなど) があり、同数のソーシャル メディア アカウントがあります。 その結果、データ量が爆発的に増加することは、構造化されていない不確実なノイズの膨大なコレクションから信号を見つけられる人にとっては大きなチャンスとなります。 最近のプロジェクトでは、JMP ユーザーが革新的なテクノロジー、関連する成熟度レベル、現在のアプリケーション、主要な競合他社に関する大量のオープンソース資料を効率的に検索および分析する必要性を示しました。 特有の課題としては、これらの多様な Web サイト アーキテクチャ (無関係なコードがない場合) や、常に使用可能な形式であるとは限らない添付の PDF や PowerPoint ファイルからテキストを抽出する必要があることが挙げられます。 コーパスが作成されると、テキストは JMP にインポートされ、関心のある重要なテーマと関連文書を迅速に特定しました。 これらの手順は、R のテキスト マイニング ルーチンへの直感的な JMP インターフェイスを使用して実行されました。 JMP データ視覚化、クラスター分析、デシジョン ツリー機能を使用したテキスト分析により、従来の方法よりも優れた市場の特徴付けが可能になりました。 この講演では、多数の関連 Web サイトを効果的に検索し、ソーシャル メディア アウトレット (Twitter など) を監視し、大量の非構造化データを収集し、焦点を当てた研究上の質問に答えるための一連の JMP スクリプトとプラットフォームをデモンストレーションします。
序章：
競合インテリジェンス (CI) という用語が、ビジネス上の脅威となる他の組織に関する情報を取得する企業の行為を表すために使われるようになったのはここ数十年のことですが、この慣行は何世紀にもわたって存在しています。 軍事情報と同様に、ビジネスは、困難な環境で成功するためにどのような戦略を実行する必要があるかを正確に評価するために、競合他社、製品、顧客の外力に焦点を当てていると考えることができます。 競争インテリジェンスは、経済力と市場の力によって支配される戦略的環境と、日常的に必要とされる戦術的インテリジェンス (競合他社の価格に合わせるなど) の両方の観点から考えることができます。 反競争インテリジェンスは、企業が自社の機密情報やその他の機密情報を保護したい場合にも当てはまります。 ツールとデータ ソースは、ビジネス上のライバルの知識を効果的に取得し、将来の反応を予測するために、動的に進化する手法に追いつく必要があります。 このペーパーでは、競争市場分析分野でデータの取得と分析の両方を行うための SAS Institute の JMP ソフトウェアの価値を説明します。
競合他社のインテリジェンス サイクル:
図 1 の競合インテリジェンス サイクルは、軍事インテリジェンス モデルに基づいた多くの構成要素のうちの 1 つであり、他のビジネスに関する悪用可能な市場情報を見つけ、分析を適用して実用的な情報を発見するプロセスを記述します。 それは、しっかりとした攻撃計画を立てることができるように、本当に調査したい次元を正確に把握する定義フェーズから始まります。 第 2 フェーズでは、研究を形作るための正しいデータ ソースを取得することに焦点を当てます。 第 3 フェーズでは、分析手法を適用して生データを洞察に変換し、最終的に風景を説明する説得力のあるストーリーを生み出すことを目指します。 最後のフェーズでは、この情報を、インテリジェンスに基づいて行動できる適切なチームに提供します。
図1。 競争力のあるインテリジェンスのサイクル
データは CI プロセスを促進するものです。 以前は、CI 専門家だけが意味のあるデータやサイトにアクセスできました。 それがビッグ データの登場によって変わりました。組織内の誰もが、集中的に「トロール」することで、自分の専門分野から価値のあるものを持ち込むことができるようになりました。 CI データのソースには、いくつか例を挙げると、年次報告書、講演、ニュース リリース (社内および社外)、財務分析、見本市、特許出願、企業 Web サイト、ソーシャル メディアなどが含まれます。 多くの場合、これらは「オープンソース」ですが、アクセスするには特別な権限が必要な場合があります。 Dunn と Bradstreet の Hoover、Salesforce、DataSift、Thomson Reuters など、すでに利用可能な分析機能を備えた独自のデータベースが多数存在します。生データの多くはインターネット検索から取得され、その後、関連するデータ要素が慎重に抽出されます。 CI 収集の取り組みには、異種のソースや形式からの非構造化テキスト データという課題が必然的に発生し、分析用に一貫したデータ セットを組み立てるのに多大な労力が必要になります。
分析と作成のフェーズでは、通常、複数のデータ ソースを多数の構成のいずれかに編成します。 よく知られている SWOT 手法では、競合他社の強み、弱み、機会、脅威を検討します。 PESTLE メソッドは、業界とライバルの政治的、経済的、社会的、技術的、法的、環境的側面を評価します。 ハーバード大学マイケル・ポーター教授の 5 つの力 (参入障壁、現在のライバル、代替の脅威、供給者の交渉力、購入者の交渉力) は時の試練に耐えてきました。 Porter には、競合他社の将来の動きを予測するための Four Corners モデル (推進力/文化、現在の戦略、経営陣の想定、および能力) もあります。 他の分析フレームワークでは、ライバルを列とし、流通チャネル、技術的優位性、価格設定、市場シェア、顧客重視、財務の安定性、労働力、設備、パートナーシップなどの主要業績評価指標を行とするマトリックスを形成します。 これらのフレームワークの課題の多くは、信頼できるデータ ソースをどれだけ見つけられるかによって定性的評価が左右されるため、データ要素を正確に入力することが課題となります。 この重要なデータを見つけて探索するのに役立つ JMP のいくつかの方法について説明します。
コウェブサイト分析による競争力のあるインテリジェンス データ:
あヴァナシュ・カウシクでは、Web トラフィックを分析してソース、人口統計、バウンス ダイナミクス、製品センチメントに関する驚くほど洞察力に富んだ情報を得るために利用できる多くのツールについて説明します。 彼はこれらを、競合他社の Web サイトに注目するサイト中心主義と、業界や特定のテクノロジーに注目するエコシステム中心主義に分類します。 サイト中心のアプリケーションの例としては、Google Analytics、Compete、SimilarWeb、Marketing Grader、Majestic、AdBeat (オンライン広告指標用) などがあります。 これらのツールは、各サイトに関する詳細情報 (ソース、直帰率、訪問したページ、キーワードなど) を提供しますが、残念ながら無料で利用できるのは自分のサイトのみです。
エコシステム中心のツールの一例は、Google トレンド ( https://www.google.com/trends/ ) 。 図 2 は、「ビッグ データ」という用語の存在を時系列で示していますが、当然のことながら、過去 3 年間で普及しました。 プロットには、その時点で Web から代表的なストーリーを選択した文字が記載されており、山や谷がある理由についての洞察が得られる可能性があります。 さらに、上位の地理的地域と相関する検索用語 (ビッグ データ Hadoop など) も提供されます。
Google トレンドはデータをエクスポートできるため、JMP の機能を独自の分析に使用できます。 一例として、ジョーダン・スピースは 22 歳のゴルファーで、最近世界ランキング 1 位に到達するなど素晴らしい一年を過ごしました。 スポーツ界ではスポーツとしてのゴルフへの関心が薄れているという話を聞くのは珍しいことではなく、もしかしたらスピースならこの傾向を変えることができるかもしれない。 図 3 のプロットは、確かに下降傾向だけでなく、競合分析やマーケティングの役割に役立つ可能性のある非常に周期的なパターンも示しています。
図2。 Google トレンド「ビッグデータ」の時系列プロット
図3. 「ゴルフ」の Google トレンド時系列プロット
データのエクスポートから、JMP を使用してグラフ ビルダーで独自のカスタム時系列プロットを作成し、これらのイベントをより明確にラベル付けできます。また、図 4 に示すように、季節性 ARIMA を使用して将来の成長を予測できます。 企業は、この種の高度な分析を使用して、市場の方向性や広告キャンペーンのタイミングを予測できます。
図4. ARIMAグループ「ゴルフ」の時系列プロットと予想
ソーシャルメディアからの競合インテリジェンスデータ:
過去 10 年間で、ソーシャル メディア サイトから同化できる新しい種類の諜報データが爆発的に増加しました。 現在、あらゆる種類の通信がこれまで以上に記録されており、ノイズの多い非構造化データの中から CI 信号を見つける機会が得られています。 ブログや掲示板は、業界や企業固有の情報を収集するための優れた狩場です。 LinkedIn やその他の専門サイトで、企業、従業員、テクノロジー グループ、求人情報、元従業員をフォローできます。 Facebook、Twitter、Instagram などのサイトへの投稿は、市場や競合他社の傾向を理解する機会にもなります。 課題は、同じ単語を表現するさまざまな方法を備えた新しい非公式な英語のような言語を特徴とするこの非構造化データを効率的に収集することです。その単語を誰かにテキスト メッセージで送信する方法を考えてください。今夜。
私たちは、統計プログラミング言語 R を呼び出して、キーワードに関連する指定された期間の Twitter フィードのすべて (またはランダムなサンプル) をダウンロードする JMP スクリプト言語 (JSL) スクリプトを作成しました。 このスクリプトは現在から将来の事前に指定された期間までのデータを収集しますが、過去のデータを収集するための Twitter アーカイブは有料で存在します。 返されるデータには、実際のツイート、場所、時間、その他の人口統計フィールドが含まれます。 多くの企業は、自社または競合他社にかかわらず、主要な製品リリースに対する世間の反応を知るためにリアルタイムのツイートを収集しています。 例として、製品や企業に関する Twitter データはすべて専有物であるため、レブロン・ジェームズがクリーブランドに復帰すると発表した後、スクリプトを 5 分間実行しました。 図 5 の結果として得られるワードクラウドでは、一般的な単語 (および、または、…) と不快な言葉を削除した後、最も頻繁に出現する用語 (最大のフォント) についての洞察が得られます。 さらに、一般的にポジティブな感情に関連付けられる約 1,500 語のリストと、その 5 分間に 4,000 ツイートにわたって収集されたすべての単語を含む約 2,000 語のネガティブな単語のリストをクロス集計することにより、ツイートの感情分析を実施しました。 1 つのツイートに複数の肯定的な単語と否定的な単語が含まれる場合もあれば、その両方が含まれない場合もあります。 総計では、ポジティブな単語が 3,533 語、ネガティブな単語が 1,626 語でした。 ワードクラウドとセンチメント分析は、テキスト分析ルーチンの R も呼び出すテキスト マイニング用の JMP アドインを使用して実行されます。
図5. 2014 年夏の「レブロン」における Twitter JSL スクリプト インターフェイスと Wordcloud
競合他社の Web サイトをスクレイピングして得た競合インテリジェンス データ:
企業は、現在の機能と顧客、および将来の改善に向けて取り組んでいることの両方の観点から、オンライン プレゼンスで何を明らかにするかを慎重に選択するため、企業の Web サイトのアーキテクチャだけでも戦略的インテリジェンスの有用な部分となります。 その他の例外的なデータの機会には、会議/カンファレンス、リーダーシップ、ホワイトペーパーへのリンク、ニュース記事へのリンク、ベスト プラクティス、技術ディスカッション、求人情報、検索エンジン最適化のキーワードなどがあります。 このデータを取得する 1 つの方法は、対象のテキストを手動でコピーして貼り付けることです。 あるいは、自動化された Web スクレイピング ユーティリティには、はるかに高速かつ包括的であるという利点がありますが、多すぎる情報や無関係な情報が返される可能性があります。
私たちは、Web サイト上のテキストの位置などのメタデータを追跡しながら、Web サイトからテキスト データをスクレイピングする JSL コードを開発しました。 Spider スクリプトは再び R を呼び出し、関心のある Web サイトにアクセスすることだけを要求します。 ウェブサイトの構造はそれぞれ異なるため、実行するスクレイピングの種類を選択できます。 スクレイピング オプションには、すべてのテキスト、ニュース記事、またはデフォルト設定の選択が含まれます。 クロールの深さを選択することもできます。レベル 0 は指定した Web ページ、レベル 1 はそのページとすべてのリンクされたページなどです。
一例として、一般的なグリーン エネルギー技術は、温度を露点以下に下げることで湿気を除去する従来の冷気や冷媒システムではなく、水分子を除去することで冷却効果を実現する液体乾燥剤空調です。 業務用液体乾燥剤空調設備について Google で簡単に検索すると、Advantix Systems と Kathabar という 2 つの大手企業が表示されます。 JSL スクリプトを使用して両方のサイトをスクレイピングし、各行が Web ページを表す JMP データ テーブルを作成しました。 図 6 は、Spider インターフェイスと、テキスト マイニング アドインから得られたワード クラウドを示しています。
図 6. JSL Spider インターフェイスと結果として得られる Wordcloud www.kathabar.com
ワードクラウドは再び単語の頻度を表します。 この生の単語数は役に立ちますが、どのような単語が一緒に出現するのか、どのようなテーマが存在するのかについてはあまり情報が得られません。 単語数を超えた統計分析のために非構造化テキストをフラット ファイルに変換するには、各ドキュメント (この例では Web ページ) を 1 つの行として、全体で使用されるすべての一意の単語を含むドキュメント用語マトリックス (DTM) を形成するのが一般的です。コーパスを別の列として扱います。 行列のエントリは、特定の行で各用語が出現する頻度ですが、単語が出現するかどうかを示すバイナリ表現を使用する方がよい場合もあります。 行全体での単語の出現数に基づく重み付けスキームも、一般的に適用される変換です。 つまり、どの行にも出現する単語には、分析に役立つほどの識別力がない可能性があります。 DTM の問題は、通常、DTM が非常に大きく、非常にまばらであることです。したがって、標準的な統計手法では有用な関係を検出できない可能性があります。
大規模で疎な DTM に対する 1 つの解決策は、DTM を主成分分析 (PCA) と同様に、はるかに小さな次元空間に投影することです。 より良い解決策は、DTM の特異値分解 (SVD) を列または単語の数よりも低い次元で取得することです (たとえば 100 から 300 に削減します)。 この SVD は、DTM M=UDV' と考えることができます。 U 行列の固有ベクトルはドキュメントを表し、V 行列の固有ベクトルは単語を表します。D 行列の対角線上の特異値は、SVD 列ごとに説明される変動の割合を説明する固有値からのものです。
V 行列の最初の 2 つの固有ベクトルの二変量プロットを確認すると、テキスト データ内の主要なテーマを見つけたり、グループ化された単語を見つけたりするのに役立ちます。 図 7 は、Kathabar の例の最初の 2 つの SVD の二変量プロットを示しています。 ここでは単語がグループ化されているのがわかりますカスタム液体乾燥剤ソリューションの提供そして別のグループが提案している空気の温度と湿度を制御するための低エネルギー機器。
図7。 まずは Kathabar V 行列からの固有ベクトルと乾燥剤の多変量距離の SVD です。
また、ランクを下げた SVD からの V 行列の固有ベクトルからの多変量距離を使用することもできます。 これらの距離は、グループ化された単語を示しているため、コーパス内の任意の単語を選択して、密接に関連する用語を見つけることができます。 図 7 の右側のパネルには、次の単語に最も近い単語が表示されます。乾燥剤驚くべきことではない:液体、システム、プロセス、ドライ、製品、アプリケーション、信頼性、と製造。
特許から得た競合インテリジェンスデータ:
特許出願は、企業の技術プロフィールを示す優れたバロメーターとなります。 幸いなことに、競合他社の保護財産に関するデータを収集し、技術の現状を理解するために、要約、図面、テキストフィールドのすべてに無料でアクセスできる優れた特許検索エンジンが数多くあります。 世界知的所有権機関の PATENTSCOPE ( https://patentscope.wipo.int/search/en/result.jsf ) は、液体乾燥剤空調特許の要約を抽出するために使用されました。 要約の各段落は、JMP データ テーブル内の個別の行を形成します。 消費者調査プラットフォームの使用 (分析>消費者調査>カテゴリ>回答役割=複数、フリーテキストに割り当てられたテキストデータの列) を使用すると、単語数を確認して、特許要約に表示される上位の用語のパレート図をすばやく作成できます。
図8。 JMP フリー テキスト インターフェイスと特許データの単語頻度カウント。
また、JMP を使用して、最も頻繁に使用される 200 (たとえば) 単語の指標列を作成し、特定の用語が相関しているかどうかを確認することもできます。分析>多変量法>多変量>ペアワイズ相関。 図 9 は、次のような相関性の高い単語ペアのいくつかを強調表示しています。メディアフィルター、強力な腐食性キャリーオーバー、微多孔膜など。
図9。 特許データの多変量プラットフォームからのペアワイズ相関
JMP テキスト マイニング アドインを使用したトピック抽出により、追加情報が提供されます。 図 10 の最初の 2 つの SVD のプロットは、これらの特許がやろうとしていることの一般的なアイデアを示しています。液体乾燥剤 (ストップワード) を使用して空気を除湿する必要があり、その結果、湿気の多い環境で最も適用可能な冷却効果が得られる技術です。気候。ほとんどの液体乾燥剤のリスクは、フィルター媒体の上にスプレーして使用することであり、空域へのキャリーオーバーのリスクが高まります。これらの特許では、このリスクを排除するために膜を使用しています。
図10。 特許の最初の 2 つの SVD ベクトル
テクニカル ジャーナルの記事からのマーケット インテリジェンス:多くの技術的進歩は学術文献に詳しく記載されており、これらが技術的展望を描くのに非常に役立つことが示唆されています。 液体乾燥剤技術の現状と商業用途への準備状況をより深く理解するために、私たちは過去 3 年間のクリーン エネルギー分野の評判の高い雑誌出版物から最近査読済みの技術論文 45 件をダウンロードしました。 これらのポータブル ドキュメント ファイル (pdf) をテキストに変換し、さらに JMP データ テーブルに変換するのは困難でした。これは、テキスト文字が実際には画像の方が多く、大量の数式がテキストにうまく変換されないためです。 これらの PDF ファイルをきれいに読み取るためのさまざまな方法 (オープンソースと独自の両方) を試した結果、AdobeAcrobat Standard または Pro を使用して、光学式文字認識 (OCR) 機能を使用して PDF を MS Word リッチ テキスト ファイル (rtf) として保存するのが最適であるという結論に達しました。良い中間ステップ。 次に、Word 文書のファイルを開いてテキスト ファイルとして保存する MS Word マクロを開発しました。このマクロは、テキスト ファイルのフォルダーを JMP テーブルに読み込んでコーパスを形成するマクロで使用されます。 また、英数字以外の文字を削除するオプションを追加するには、テキスト マイニング アドインの JSL スクリプトを更新する必要がありました。 テキスト分析を不必要に妨げるため、参照は削除されました。
JMP テキスト マイニング アドインの図 11 の単語頻度は、特許と同様のストーリーを示しています。このグリーン エネルギー技術は、液体乾燥剤 (LiCl など) を再生して除湿し、空気を冷却することでエネルギー消費を削減する空気を冷却するシステムです。空気中では、膜が空気の流れから有毒な乾燥剤を分離します。
図11。 液体乾燥剤膜に関する雑誌記事の単語頻度。
SVD を実行した後、U 行列の固有ベクトルの値を使用して、雑誌記事のようにクラスター化できます。 文書は、液体乾燥剤に関する一般的な研究分野だけでなく、著者の系統に沿って集中しています (図 12)。 トピックの抽出には、SVD の V マトリックスを使用します。 これらのジャーナル全体で選ばれたいくつかのトピック (図 13) は次のとおりです。 1) 空調ソリューションとしての液体乾燥剤の検証と、エネルギーを節約する再生方法による効率の向上を検証する比較実験。 2) さまざまな入口パラメータ値を許容しながら、物質移動速度と効率比を予測する実験。 3) ハイブリッド電動コンプレッサーと液体乾燥剤を使用して蒸気を除去する代替方法。
図12。 液体乾燥剤に関するジャーナル記事のクラスター分析結果
図13。 液体乾燥剤空調用メンブレンの抄録からのトピックス
V 行列の最初の 2 つの固有ベクトルのプロット (図 14) は、エネルギー回生、除湿の改善、シミュレーション、物質移動、実験予測、モデル、温度と膜、熱水蒸気で処理します。
図14。 液体乾燥剤空調ジャーナルの要約の最初の 2 つの固有ベクトルの二変量プロット
トピック抽出におけるもう 1 つの有用なテクニックは、特定の単語の V 行列からの多変量距離を調べることです。 これらの多変量距離は、クラスター分析中に JMP によって計算され、距離行列を保存することによって取得されます。 特定の単語を選択し、それに最も密接に関連する単語を見つけることができます。 図 15 に示されているいくつかの興味深い単語は、これらの雑誌記事の要約から次の情報を提供します。
- コスト - 懸念事項は投資回収期間、主な設備、ボイラー、およびストレージの大きな要因です
- 信頼性 - 空冷サブシステムを備えたマルチゾーンおよび天井ユニットの製造
- リチウム乾燥剤は水溶液の塩化リチウムです。主な懸念は周囲環境（有毒）との接触であり、微多孔膜は解決策です
- 直接接触する飛沫は有害であり、経済的に実現するには排除する必要がある
図15。 液体乾燥剤ジャーナル要約の V マトリックスからの多変量距離。
まとめ：
SWOT、ポーターの 5 フォース、4 コーナーなど、競合他社のインテリジェンス分析には、最新の信頼できるデータ入力に依存するフレームワークが多数あります。 CI データ ソースは急増し、民主化されているため、企業全体の従業員がライバルに関する悪用可能な情報を見つけることができます。 問題は、データが必ずしも簡単に取得できるわけではなく、ほとんどの場合ノイズが多く、構造化されていないことです。 JMP および JSL スクリプトの分析ツールは、Web サイト、ソーシャル メディア、特許、技術雑誌の記事などのソースからデータを収集して理解するのに役立ちます。 軍事のたとえと同様に、目標は、構造化されていないオープンソース情報から、組織の戦略的方向性に影響を与える「機密」情報レポートに移行することです。
参考文献:
バグラマ、ジェームスとライケル、ローター。 暗黙的に再起動される Lanczos 二重対角化メソッドが強化されました。 2005 年、SIAM ジャーナル オブ サイエンティフィック コンピューティング、Vol. 27、19-42ページ。
バルベラ、パブロ。 streamR: R 経由で Twitter ストリーミング API にアクセスします。 【オンライン】2014年。 http://CRAN.R-project.org/package=streamR 。
チェピエル、ジョン、ケリン、ロジャー。 競合他社の分析。 [オンライン] 2011年。 http://pages.stern.nyu.edu/~jczepiel/Publications/CompetitorAnalysis.pdf 。
エヴァゲロプロス、ニコラス、チャン、シャオニ、プリブトク、ビクター R.潜在意味分析: 5 つの方法論的な推奨事項。 2012 年、欧州情報システムジャーナル、Vol. 21、70-86ページ。
仲間たち、イアン。ワードクラウド: ワードクラウド。 クラン。 【オンライン】2014年。 http://cran.r-project.org/web/packages/wordcloud/index.html 。
カウシク、アヴァニッシュ。 競合インテリジェンス分析でそれを打ち砕く: 最良の指標とレポート。 【オンライン】2015年。 http://www.kaushik.net/avinash/competitive-intelligence-analysis-tools-metrics-reports-techniques/ 。
ラング、ダンカン寺院。 RCurl: R の一般的なネットワーク (HTTP/FTP/...) クライアント インターフェイス。 クラン。 【オンライン】2015年。 http://cran.r-project.org/web/packages/RCurl/index.html 。
マーティン。 戦略フレームワーク: 競合他社分析と競合インテリジェンス。 【オンライン】2015年。 http://www.entrepreneurial-insights.com/competitor-analysis-competitive-intelligence/ 。
メタイヤー、エステル。 競争力のあるインテリジェンスまたは戦略計画チームが習得すべき主要な分析テクニック。 [オンライン] 2015 http://competia.com/50-competitive-intelligence-analysis-techniques 。
世界知的所有権機関のパテントスコープ。 【オンライン】2015年。 https://patentscope.wipo.int/search/en/result.jsf
