JMP® の力を活用する: 競合分析のためのビッグデータとソーシャル メディア
JMPディスカバリーカンファレンス2015
James Wisnowski、Adsurgo LLC
Flor Castillo、SABIC
アンドリュー・カール、Adsurgo LLC
ヒース・ラッシング、Adsurgo LLC
概要：
世界の人口と比較すると、モノのインターネットには現在 2 倍のセンサー (スマートフォンなど) があり、ソーシャル メディア アカウントの数は同数です。 結果として生じるデータ量の爆発的な増加は、この構造化されていない不確実なノイズの膨大なコレクションから信号を見つけることができる人々にとって大きなチャンスを意味します。 最近のプロジェクトでは、革新的なテクノロジー、関連する成熟度、現在のアプリケーション、および主要な競合他社に関する大量のオープン ソース資料を効率的に検索および分析する必要性が JMP ユーザーに示されました。 独自の課題には、これらの多様な Web サイト アーキテクチャ (不要なコードがない) からテキストを抽出する必要性や、常に使用可能な形式ではない添付 PDF や PowerPoint ファイルからテキストを抽出する必要がありました。 コーパスが作成されると、そのテキストが JMP にインポートされ、関心のある重要なテーマと関連ドキュメントが迅速に特定されました。 これらの手順は、R のテキスト マイニング ルーチンへの直感的な JMP インターフェイスを使用して実行されました。 JMP データの視覚化、クラスター分析、決定木機能を使用したテキスト分析により、従来の方法よりも優れた市場の特徴付けが可能になりました。 この講演では、一連の JMP スクリプトとプラットフォームを使用して、関連する Web サイトのスコアを効果的に検索し、ソーシャル メディア アウトレット (Twitter など) を監視し、非構造化データの大規模なコレクションを収集し、焦点を絞った調査の質問に回答する方法を紹介します。
序章：
競争力のあるインテリジェンス (CI) という用語は、企業がビジネス上の脅威をもたらす他の組織に関する情報を取得する行為を表すために、ここ数十年しか使用されていませんが、その慣行は何世紀にもわたって使用されてきました。 軍事情報に似ていますが、競合他社、製品、および顧客の外的要因に焦点を当て、困難な環境で成功するためにどのような戦略を実行する必要があるかを正確に評価するビジネスを考えることができます。 競争力に関する情報は、経済および市場の力によって支配される戦略的環境と、日常的に必要とされる戦術的情報 (競合他社の価格を一致させるなど) の両方の観点から考えることができます。 対抗競争インテリジェンスは、企業が独自の機密情報やその他の機密情報を保護したいと考える場所でもあります。 ツールとデータ ソースは、動的に進化する方法に対応し、競合他社の知識を効果的に取得し、将来の対応を予測する必要があります。 このホワイト ペーパーでは、SAS インスティテュートの JMP ソフトウェアが、競争の激しい市場分析分野でデータを取得および分析する価値を示しています。
競合他社の情報サイクル:
図 1 の競争力のあるインテリジェンス サイクルは、軍のインテリジェンス モデルに基づいた多くの構成要素の 1 つです。これは、他のビジネスに関する利用可能な市場情報を見つけ、分析を適用して実用的な情報を発見するプロセスを説明するものです。 それは、攻撃の確固たる計画を立てることができるように、本当に調査したいディメンションを正確に把握する定義フェーズから始まります。 第 2 段階では、調査を形作るための正しいデータ ソースを取得することに重点を置きます。 第 3 段階では、分析手法を適用して生データを洞察に変換し、最終的に風景を説明する説得力のあるストーリーを作成します。 最後の段階では、インテリジェンスに基づいて行動できる適切なチームにこの情報を提供します。
図1。 競争力のあるインテリジェンス サイクル
データは CI プロセスの原動力です。 以前は、CI の専門家だけが意味のあるデータやサイトにアクセスできました。 それがビッグデータによって変わり、組織内の誰もが、焦点を絞った「トロール」によって専門分野から何か価値のあるものをもたらすことができるようになりました。 CI データのソースには、年次報告書、スピーチ、ニュース リリース (内部および外部)、財務分析、見本市、特許出願、企業の Web サイト、ソーシャル メディアなどがあります。 多くの場合、これらは「オープン ソース」ですが、アクセスするには特別な権限が必要になる場合があります。 Dunn and Bradstreet の Hoover、Salesforce、DataSift、Thomson Reuters など、いくつかの分析がすでに利用可能になっている独自のデータベースが多数存在します。生データの多くは、インターネット検索に続いて、関連するデータ要素を慎重に抽出したものです。 CI 収集の取り組みには、さまざまなソースや形式からの非構造化テキスト データという課題が必然的に伴います。これには、分析用の一貫したデータ セットを組み立てる多大な労力が必要です。
分析および生産フェーズでは、通常、複数のデータ ソースを多数の構成要素のいずれかに編成します。 よく知られている SWOT 手法では、競合他社の長所、短所、機会、および脅威に注目します。 PESTLE メソッドは、業界とライバルの政治的、経済的、社会的、技術的、法的、および環境的側面を評価します。 ハーバード大学の Michael Porter 教授の 5 つの力 (参入障壁、現在のライバル、代替の脅威、供給者の交渉力、買い手の交渉力) は時の試練に耐えてきました。 Porter には、競合他社の将来の動きを予測するための 4 つのコーナー モデル (原動力/文化、現在の戦略、経営陣の仮定、および能力) もあります。 他の分析フレームワークは、競合他社を列として行列を形成し、流通チャネル、技術的優位性、価格設定、市場シェア、顧客重視、財政的安定性、労働力、施設、パートナーシップなどの主要業績評価指標を行として形成します。 これらのフレームワークの課題は、データ要素を正確に入力することです。その多くは、信頼できるデータ ソースをどれだけ見つけられるかに依存する定性的な評価です。 この重要なデータを見つけて調査するのに役立つ、JMP のいくつかの方法について説明します。
コウェブサイト分析からの競合インテリジェンス データ:
あヴァナシュ・カウシックでは、Web のトラフィックを分析して、ソース、人口統計、バウンスのダイナミクス、および製品のセンチメントに関する驚くほど洞察に満ちた情報を取得するために使用できる多くのツールについて説明しています。 彼はこれらを、競合他社の Web サイトに注目するサイト中心型と、業界や特定の技術に注目するエコシステム中心型に分けています。 サイト中心のアプリケーションの例としては、Google Analytics、Compete、SimilarWeb、Marketing Grader、Majestic、および AdBeat (オンライン広告指標用) があります。 これらのツールは、各サイトに関する詳細情報 (ソース、直帰率、アクセスしたページ、キーワードなど) を提供しますが、残念ながら、自分のサイトに対してのみ無料です。
エコシステム中心のツールの一例は、Google トレンド ( https://www.google.com/trends/ ) . 図 2 は、過去 3 年間で「ビッグ データ」という用語が急速に普及したことを示しています。 プロットには、その時点でウェブから代表的なストーリーを選択する手紙があり、なぜ山や谷があるのかについての洞察を提供する可能性があります. さらに、上位の地理的地域と関連する検索用語 (ビッグ データ Hadoop など) が提供されます。
Google トレンドはデータをエクスポートできるため、独自の分析に JMP の機能を使用できます。 例として、Jordan Spieth は 22 歳のゴルファーで、最近世界ランキング 1 位に到達するという素晴らしい年を過ごしました。 スポーツ界では、スポーツとしてのゴルフへの関心が低下しているという話をよく耳にしますが、スピースはこの傾向を好転させることができるかもしれません。 図 3 のプロットは確かに、下降トレンドだけでなく、競合分析やマーケティングの役割に役立つ可能性のある非常に周期的なパターンも示しています。
図 2. 「ビッグデータ」の Google トレンド時系列プロット
図 3. 「ゴルフ」の Google トレンド時系列プロット
データ エクスポートから、JMP を使用してグラフ ビルダーで独自のカスタム時系列プロットを作成し、これらのイベントをより明確にラベル付けすることができます。図 4 に示すように、季節的 ARIMA を使用して将来の成長を予測できます。 企業は、これらのタイプの高度な分析を使用して、市場の動向と広告キャンペーンのタイミングを予測できます。
図 4。 「ゴルフ」のARIMAグループの時系列プロットと予測
ソーシャル メディアからの競合インテリジェンス データ:
過去 10 年間で、ソーシャル メディア サイトから同化できる新しい種類のインテリジェンス データが爆発的に増加しました。 あらゆる種類の通信がこれまで以上に記録されており、このノイズの多い非構造化データの中に CI 信号を見つける機会があります。 ブログや掲示板は、業界や企業固有の情報を収集するための優れた狩猟場です。 企業、従業員、技術グループ、求人情報、元従業員を LinkedIn やその他の専門サイトでフォローできます。 Facebook、Twitter、Instagram などのサイトへの投稿も、市場や競合他社の傾向を理解する機会を提供します。 課題は、この非構造化データを効率的に収集することです。これは、同じ単語を表現する多くの方法を備えた新しい非公式の英語に似た言語を特徴としています。誰かに単語をテキストで送信する方法を考えてみてください。今夜.
統計プログラミング言語 R を呼び出して、キーワードに関連する指定された期間の Twitter フィードのすべて (またはランダムなサンプル) をダウンロードする JMP スクリプト言語 (JSL) スクリプトを作成しました。 このスクリプトは、現時点から将来の事前に指定された期間までのデータを収集しますが、遡及データを収集するための Twitter アーカイブは有料で存在します。 返されるデータには、実際のツイート、場所、時間、およびその他の人口統計フィールドが含まれます。 多くの企業はリアルタイムのツイートを収集して、主要な製品リリースに対する世間の反応を確認しています。 たとえば、レブロン ジェームズがクリーブランドに戻ることを発表した後、5 分間スクリプトを実行しました。これは、製品や企業に関するすべての Twitter データが独自のものであるためです。 結果として得られた図 5 のワードクラウドは、一般的な単語 (the、and、or、…) と不快な言葉を削除した後、最も頻繁に出現する用語 (最大のフォント) への洞察を提供します。 さらに、一般的に肯定的な感情に関連する約 1,500 の単語のリストと、その 5 分間に 4,000 のツイートで収集されたすべての単語を含む約 2,000 の否定的な単語のリストをクロス集計することにより、ツイートの感情分析を実施しました。 1 つのツイートに複数の肯定的な言葉と否定的な言葉が含まれている場合もあれば、どちらも含まれていない場合もあります。 総計は、3,533 の肯定的な言葉と 1,626 の否定的な言葉でした。 ワードクラウドとセンチメント分析は、テキスト マイニング用の JMP アドインを使用して実行されます。このアドインは、テキスト分析ルーチン用の R も呼び出します。
図 5. 2014年夏の「LeBron」のTwitter JSL Script InterfaceとWordcloud
競合他社の Web サイトのスクレイピングによる競合インテリジェンス データ:
企業の Web サイトのアーキテクチャだけでも、オンライン プレゼンスで現在の能力と顧客、および将来の改善のために取り組んでいることの両方の観点から、何を明らかにするかを慎重に選択するための戦略的インテリジェンスの有用な部分です。 その他の優れたデータの機会には、会議/会議、リーダーシップ、ホワイトペーパーへのリンク、ニュース記事へのリンク、ベスト プラクティス、技術に関する議論、求人情報、検索エンジン最適化のキーワードなどがあります。 このデータを取得する 1 つの方法は、対象のテキストを手動でコピーして貼り付けることです。 あるいは、自動化された Web スクレイピング ユーティリティには、はるかに迅速で包括的であるという利点がありますが、返される情報が多すぎたり無関係であったりする可能性があります。
ウェブサイト上のテキストの場所などのメタデータを追跡しながら、任意のウェブサイトからテキスト データをスクレイピングするための JSL コードを開発しました。 Spider スクリプトは再び R を呼び出し、関心のある Web サイトを配置するだけで済みます。 ウェブサイトは構造が異なるため、実行するスクレイピングのタイプを選択できます。 スクレイピング オプションには、すべてのテキスト、ニュース ストーリー、またはデフォルト設定の選択が含まれます。 また、クロールする深さを選択することもできます。レベル 0 は指定した Web ページ、1 はそのページとすべてのリンクされたページなどです。
一例として、一般的なグリーン エネルギー技術は液体デシカント エアコンであり、温度を露点以下に下げることによって湿気を除去する従来の冷却空気または冷媒システムではなく、水分子を除去することによって冷却効果を実現します。 業務用液体乾燥剤エアコンを Google で簡単に検索すると、Advantix Systems と Kathabar という 2 つの大手企業が表示されます。 JSL スクリプトを使用して両方のサイトをスクレイピングし、各行が Web ページを表す JMP データ テーブルを作成しました。 図 6 は、Spider インターフェイスと、テキスト マイニング アドインから得られたワード クラウドを示しています。
図 6. JSL Spider インターフェイスと結果の Wordcloud www.kathabar.com
ワードクラウドは、単語の頻度をもう一度表します。 この生の単語カウントは便利ですが、どの単語が一緒に出現し、どのテーマが存在するかについてはあまり情報を提供しません。 構造化されていないテキストをフラット ファイルに変換して単語数を超えた統計分析を行うには、各ドキュメント (この例では Web ページ) を 1 行とし、ドキュメント全体で使用される一意の単語をすべて含む Document Term Matrix (DTM) を作成するのが一般的です。コーパスを別の列として。 行列のエントリは、各用語が特定の行に出現する頻度ですが、単語が出現するかどうかを示すバイナリ表現を使用する方がよい場合があります。 行全体での単語の出現回数に基づく加重スキームは、一般的に適用されるもう 1 つの変換です。 つまり、すべての行に出現する単語は、分析に役立つほどの識別力を持っていない可能性があります。 DTM の問題は、通常、非常に大きく、非常にまばらであることです。したがって、標準的な統計手法では、有用な関係を検出できない場合があります。
大規模でまばらな DTM に対する 1 つの解決策は、主成分分析 (PCA) のように、DTM をはるかに小さな次元空間に射影することです。 より良い解決策は、DTM の特異値分解 (SVD) を、列または単語の数よりも低い次元で取得することです (100 から 300 に減らします)。 この SVD は、DTM M=UDV' と考えることができます。 U 行列の固有ベクトルはドキュメントを表し、V 行列の固有ベクトルは単語を表し、D 行列の対角線上の特異値は、SVD 列ごとに説明される変動性の割合を説明する固有値からのものです。
V 行列の最初の 2 つの固有ベクトルの二変量プロットを見ると、テキスト データの主要なテーマを見つけたり、グループ化された単語を見つけたりするのに役立ちます。 図 7 は、Kathabar の例の最初の 2 つの SVD の二変量プロットを示しています。 ここでは、グループ化された単語が表示されますカスタム液体乾燥剤ソリューションの提供と別のグループが提案空気の温度と湿度を制御するための低エネルギー機器。
図 7. Kathabar V Matrix からの SVD 固有ベクトルと、乾燥剤の多変量距離。
縮小ランク SVD からの V 行列の固有ベクトルからの多変量距離を使用することもできます。 これらの距離は、グループ化された単語を示します。これにより、コーパス内の任意の単語を選択して、密接に関連する用語を見つけることができます。 図 7 の右側のパネルでは、最も近い単語を見ることができます。乾燥剤驚くべきことではありません：液体、システム、プロセス、ドライ、製品、アプリケーション、信頼性、と製造。
特許からの競合他社の情報データ:
特許出願は、企業の技術プロファイルの優れたバロメーターを提供します。 幸いなことに、すべての抄録、図面、およびテキスト フィールドに無料でアクセスして、競合他社の保護財産に関するデータを収集し、技術の現状を理解できる優れた特許検索エンジンが多数あります。 世界知的所有権機関の PATENTSCOPE ( https://patentscope.wipo.int/search/en/result.jsf ) は、液体乾燥剤空調特許の要約を抽出するために使用されました。 アブストラクトの各パラグラフは、JMP データ テーブルの個別の行を形成します。 消費者調査プラットフォームの使用 ( Analyze>Consumer Research>Category>Response Roles=Multiple、フリーテキストに割り当てられたテキストデータの列)、単語数を確認し、特許要約に表示される上位用語のパレート図をすばやく作成できます。
図 8. JMP フリー テキスト インターフェイスと特許データの単語頻度カウント。
また、JMP を使用して、最も頻繁に使用される 200 語 (たとえば) の指標列を形成し、特定の用語が相関しているかどうかを分析>多変量分析>多変量>ペアワイズ相関. 図 9 は、次のように相関性の高い単語ペアの一部を示しています。メディアフィルター、腐食性の強いキャリーオーバー、微多孔膜など。
図 9. 特許データの多変量プラットフォームからのペアワイズ相関
JMP テキスト マイニング アドインを使用したトピック抽出では、追加情報が提供されます。 図 10 の最初の 2 つの SVD のプロットは、これらの特許が行おうとしていることの概要を示しています。空気を除湿するために液体乾燥剤 (ストップ ワード) の使用を必要とする技術であり、湿気の多い場所で最も適切な冷却効果が得られます。気候;ほとんどの液体乾燥剤が持つリスクは、フィルター媒体の上にスプレーを使用することであり、空間へのキャリーオーバーのリスクが高まります。これらの特許は、メンブレンを使用してこのリスクを排除しています。
図 10. 特許の最初の 2 つの SVD ベクトル
テクニカル ジャーナルの記事からのマーケット インテリジェンス:多くの技術的進歩が学術文献に詳述されており、これらが技術的展望を描くのに非常に役立つことを示唆しています。 液体乾燥剤技術の状態と商用アプリケーションの準備状況をよりよく理解するために、クリーン エネルギー分野の著名なジャーナル出版物から、過去 3 年間に最近参照された 45 の技術記事をダウンロードしました。 これらのポータブル ドキュメント ファイル (pdf) は、テキストに変換してから JMP データ テーブルに変換するのが困難でした。これは、テキストの文字が実際にはイメージであり、大量の数式がテキストにうまく変換されないためです。 これらの pdf ファイルをきれいに読み取るためのさまざまな方法 (オープン ソースとプロプライエタリの両方) を試した結果、AdobeAcrobat Standard または Pro を使用して、光学式文字認識 (OCR) 機能を使用して PDF を MS Word リッチ テキスト ファイル (rtf) として保存する方法が適切であると結論付けました。良い中間ステップ。 次に、Word 文書のファイルを開き、それらをテキスト ファイルとして保存して、テキスト ファイルのフォルダーを JMP テーブルに読み込み、コーパスを形成するマクロで使用する MS Word マクロを開発しました。 また、テキスト マイニング アドインの JSL スクリプトを更新して、英数字以外の文字を削除するオプションを追加する必要がありました。 参照は、テキスト分析を不必要に妨害したため削除されました。
JMP テキスト マイニング アドインの図 11 の頻度という言葉は、特許と同様の話をしています。膜が有毒な乾燥剤を空気の流れから分離する空気。
図 11. 液体乾燥剤膜のジャーナル記事単語頻度。
SVD を実行した後、U 行列からの固有ベクトルの値を使用して、ジャーナル記事のようにクラスター化できます。 ドキュメントは、液体乾燥剤内の一般的な研究分野と同様に、著者の方針に沿って非常に多く集まっています (図 12)。 トピック抽出には、SVD の V 行列を使用します。 これらのジャーナル全体で選択されたいくつかのトピック (図 13) は次のとおりです。 2) さまざまな入口パラメーター値を許可しながら、物質移動速度と効率比を予測するための実験。 3) ハイブリッド電動コンプレッサーと液体乾燥剤を使用して蒸気を除去する代替方法。
図 12. 液体乾燥剤ジャーナル記事からのクラスター分析結果
図 13. 液体乾燥剤空調膜の抄録からのトピックス
V マトリックスからの最初の 2 つの固有ベクトルのプロット (図 14) は、エネルギー再生、除湿の改善、シミュレーション、物質移動、実験予測、モデル、温度と膜、および熱水蒸気で処理します。
図 14. 液体乾燥剤空調の最初の 2 つの固有ベクトルの二変量プロット
トピック抽出におけるもう 1 つの有用な手法は、特定の単語の V 行列からの多変量距離を調べることです。 これらの多変量距離は、クラスター分析中に JMP によって計算され、距離行列を保存することによって取得されます。 特定の単語を選択して、それに最も関連性の高い単語を見つけることができます。 図 15 に示す興味深いいくつかの単語は、これらのジャーナル記事の要約から次の情報を提供します。
- コスト - 投資回収期間、メインの設置、ボイラー、ストレージの大きな要因が懸念されます
- 信頼性—空気冷却サブシステムを備えたマルチゾーンおよび天井ユニットの製造
- リチウム乾燥剤は、水溶液としての塩化リチウムです。主な懸念は周囲環境との接触（有毒）であり、微多孔膜が解決策です
- 直接接触する液滴は有害であり、経済的に実行可能にするために排除する必要があります
図 15. 液体乾燥剤ジャーナル抄録の V マトリックスからの多変量距離。
概要：
SWOT、Porter の 5 Forces、4 Corners など、現在の信頼できるデータ入力に依存する競合他社の情報分析のための多くのフレームワークがあります。 CI データ ソースは急増し、民主化されたため、企業全体の従業員がライバルに関する悪用可能な情報を見つけることができます。 問題は、データが必ずしも簡単に取得できるとは限らず、ほとんどがノイズが多く、構造化されていないことです。 JMP および JSL スクリプトからの分析ツールは、Web サイト、ソーシャル メディア、特許、技術ジャーナルの記事などのソースからデータを収集して理解するのに役立ちます。 軍事的な類推と同様に、目標は、構造化されていないオープン ソース情報から、組織の戦略的方向性に影響を与える「機密」情報レポートに移行することです。
参考文献:
Baglama、James、Reichel、Lothar。 暗黙的に再開された Lanczos Bidiagonalization メソッドの拡張。 2005年、SIAM Journal of Scientific Computing、Vol。 27、19-42ページ。
バーベラ、パブロ。 streamR: R 経由で Twitter ストリーミング API にアクセスします。 [オンライン] 2014. http://CRAN.R-project.org/package=streamR .
Czepiel, John と Kerin, Roger. 競合他社の分析. [オンライン] 2011. http://pages.stern.nyu.edu/~jczepiel/Publications/CompetitorAnalysis.pdf .
エヴァngelopoulos、Nicholas、Zhang、Xiaoni、Prybutok、Victor R.潜在的意味分析: 5 つの方法論的推奨事項。 2012 年、欧州情報システム ジャーナル、Vol. 21、pp。70-86。
仲間、イアン。 wordcloud: ワード クラウド。 クラン。 [オンライン] 2014. http://cran.r-project.org/web/packages/wordcloud/index.html .
カウシク、アヴァニッシュ。 競争力のあるインテリジェンス分析でそれを打ち砕く: 最良の指標、レポート. [オンライン] 2015. http://www.kaushik.net/avinash/competitive-intelligence-analysis-tools-metrics-reports-techniques/ .
ラング、ダンカン・テンプル。 RCurl: R の一般的なネットワーク (HTTP/FTP/...) クライアント インターフェイス。 クラン。 [オンライン] 2015. http://cran.r-project.org/web/packages/RCurl/index.html .
マーティン. 戦略フレームワーク: 競合分析と競合インテリジェンス. [オンライン] 2015. http://www.entrepreneurial-insights.com/competitor-analysis-competitive-intelligence/ .
メタイヤー、エステル。 競合他社のインテリジェンス チームや戦略計画チームが習得する必要がある分析手法のトップ。 【オンライン】2015年http://competia.com/50-competitive-intelligence-analysis-techniques .
世界知的所有権機関パテントスコープ。 [オンライン] 2015. https://patentscope.wipo.int/search/en/result.jsf
