Sfrutta la potenza di JMP®: Big Data e social media per l'analisi della concorrenza
Conferenza sulla scoperta JMP 2015
James Wisnowski, Adsurgo LLC
Flor Castillo, SABIC
Andrew Karl, Adsurgo LLC
Heath Rushing, Amministratore delegato
Astratto:
Rispetto alla popolazione mondiale, ora ci sono il doppio dei sensori (ad esempio, smartphone) nell'Internet of Things e un numero equivalente di account di social media. La conseguente crescita esplosiva del volume di dati rappresenta grandi opportunità per coloro che riescono a trovare un segnale in questa vasta raccolta di rumore non strutturato e incerto. Un recente progetto ha presentato la necessità per gli utenti JMP di cercare e analizzare in modo efficiente grandi volumi di materiale open source su tecnologie innovative, livelli di maturità associati, applicazioni attuali e principali concorrenti. Le sfide uniche includevano la necessità di estrarre il testo da queste diverse architetture di siti Web (in assenza di codice estraneo) e da PDF allegati e file PowerPoint che non sono sempre in un formato utilizzabile. Una volta sviluppato il corpus, il testo è stato importato in JMP per identificare rapidamente temi critici di interesse e documenti associati. Questi passaggi sono stati eseguiti utilizzando un'interfaccia JMP intuitiva per routine di text mining in R. L'analisi del testo utilizzando la visualizzazione dei dati JMP, l'analisi dei cluster e le funzionalità di albero decisionale hanno consentito una migliore caratterizzazione del mercato rispetto ai metodi tradizionali. In questa presentazione verranno illustrati una serie di script e piattaforme JMP per effettuare ricerche efficaci su decine di siti web pertinenti e monitorare i social media (come Twitter), assemblare un'ampia raccolta di dati non strutturati e rispondere a domande di ricerca mirate.
Introduzione:
Sebbene il termine intelligence competitiva (CI) sia stato utilizzato solo negli ultimi decenni per descrivere le azioni di una società per acquisire informazioni su altre organizzazioni che rappresentano minacce aziendali, la pratica esiste da secoli. Analogamente all'intelligence militare, possiamo pensare a un'azienda che si concentra sulle forze esterne dei concorrenti, dei prodotti e dei clienti per valutare accuratamente quale strategia deve eseguire per prosperare in ambienti difficili. Possiamo pensare all'intelligence competitiva in termini sia di ambiente strategico governato da forze economiche e di mercato sia di intelligence tattica richiesta ogni giorno (ad esempio, adeguarsi al prezzo di un concorrente). L'intelligence contro-competitiva è dove le aziende vorranno anche proteggere le proprie informazioni proprietarie e altre informazioni sensibili. Strumenti e fonti di dati devono tenere il passo con i metodi in continua evoluzione per acquisire efficacemente la conoscenza dei rivali aziendali e anticipare le loro risposte future. Questo documento illustra il valore del software JMP del SAS Institute sia per acquisire che per analizzare i dati nello spazio di analisi del mercato competitivo.
Ciclo di intelligence competitiva:
Il ciclo di intelligence competitiva nella Figura 1 è uno dei tanti costrutti basati sul modello di intelligence militare per descrivere il processo di ricerca di informazioni di mercato sfruttabili su altre aziende e applicazione di analisi per scoprire informazioni fruibili. Inizia con la fase di definizione che determina esattamente quali dimensioni si desidera realmente indagare in modo da poter sviluppare un solido piano di attacco. La seconda fase si concentra sull'ottenimento delle fonti di dati corrette per dare forma alla ricerca. La terza fase cerca di applicare metodi analitici per trasformare i dati grezzi in approfondimenti producendo infine una storia avvincente che descriva il panorama. L'ultima fase prevede l'invio di queste informazioni ai team giusti che possono agire in base all'intelligence.
Figura 1. Il ciclo dell'intelligence competitiva
I dati sono ciò che alimenta il processo di CI. In passato, solo i professionisti di CI avevano accesso a dati e siti significativi. Ora la situazione è cambiata con i Big Data, dove tutti nell'organizzazione possono portare qualcosa di valore dal loro dominio di competenza tramite una "pesca" mirata. Le fonti di dati di CI includono relazioni annuali, discorsi, comunicati stampa (interni ed esterni), analisi finanziarie, fiere, depositi di brevetti, siti Web aziendali e social media, per citarne alcuni. Spesso sono "open source", anche se potresti aver bisogno di autorizzazioni speciali per accedervi. Esistono numerosi database proprietari che potrebbero persino avere alcune analisi già disponibili, come Hoover di Dunn and Bradstreet, Salesforce, DataSift, Thomson Reuters, ecc. Gran parte dei dati grezzi proverranno da ricerche su Internet seguite da un'attenta estrazione degli elementi di dati pertinenti. Gli sforzi di raccolta di CI avranno necessariamente la sfida di dati di testo non strutturati da fonti e formati diversi che richiedono uno sforzo significativo per assemblare un set di dati coerente per l'analisi.
La fase di analisi e produzione organizza in genere le molteplici fonti di dati in una qualsiasi di una serie di costrutti. La nota tecnica SWOT esaminerà i punti di forza, le debolezze, le opportunità e le minacce dei concorrenti. Un metodo PESTLE valuta le dimensioni politiche, economiche, sociali, tecnologiche, legali e ambientali per un settore e i rivali. Le 5 forze del professor Michael Porter di Harvard (barriere all'ingresso, rivali attuali, minacce sostitutive, potere contrattuale del fornitore, potere contrattuale dell'acquirente) hanno resistito alla prova del tempo. Porter ha anche un modello Four Corners (driver/cultura, strategia attuale, ipotesi di gestione e capacità) per prevedere le mosse future dei concorrenti. Altri framework analitici formano matrici con i rivali come colonne e indicatori chiave di prestazione come canali di distribuzione, vantaggio tecnologico, prezzi, quota di mercato, attenzione al cliente, stabilità finanziaria, forza lavoro, strutture, partnership e così via come riga. La sfida con uno qualsiasi di questi framework è popolare accuratamente gli elementi dei dati poiché molti sono valutazioni qualitative che dipendono da quanto bene si riescono a trovare fonti di dati credibili. In questo articolo illustreremo alcuni metodi di JMP che possono aiutare a individuare ed esplorare questi dati critici.
CoDati di intelligence competitiva dalle analisi dei siti web:
AVanash Kausik descrive molti strumenti disponibili per analizzare il traffico di un sito web per ottenere informazioni sorprendentemente approfondite su fonti, dati demografici, dinamiche di rimbalzo e sentiment del prodotto. Li suddivide in quelli incentrati sul sito che esaminano i siti web dei concorrenti e quelli incentrati sull'ecosistema che esaminano il settore e tecnologie specifiche. Esempi di applicazioni incentrate sul sito sono Google Analytics, Compete, SimilarWeb, Marketing Grader, Majestic e AdBeat (per le metriche pubblicitarie online). Questi strumenti forniscono informazioni dettagliate su ciascun sito (ad esempio fonti, frequenza di rimbalzo, pagine visitate, parole chiave, ...), anche se sfortunatamente sono gratuiti solo per il tuo sito.
Un esempio di strumento incentrato sull'ecosistema è Google Trends ( https://www.google.com/trends/ ) . La figura 2 mostra la presenza del termine "Big Data" nel tempo che, non sorprendentemente, è decollato negli ultimi 3 anni. Sul grafico ci sono lettere che scelgono una storia rappresentativa dal web in quel momento che può fornire informazioni sul perché c'è un picco o una valle. Inoltre, vengono fornite le principali regioni geografiche e i termini di ricerca correlati (ad esempio big data Hadoop).
Google Trends può esportare i dati che ci consentono di utilizzare le capacità di JMP per le nostre analisi. Ad esempio, Jordan Spieth è un golfista di 22 anni che ha avuto un anno eccezionale raggiungendo di recente la posizione numero 1 nella classifica mondiale. Non è raro sentire negli ambienti sportivi che il golf come sport sta perdendo interesse e che forse Spieth può invertire questa tendenza. Il grafico nella Figura 3 mostra certamente non solo una tendenza al ribasso, ma anche un modello molto ciclico che potrebbe essere utile nei nostri ruoli di analisi competitiva e marketing.
Figura 2. Grafico delle serie temporali di Google Trends di “Big Data”
Figura 3. Grafico della serie temporale di Google Trends di “Golf”
Dall'esportazione dei dati, possiamo usare JMP per creare il nostro grafico personalizzato delle serie temporali in Graph Builder che etichetta quegli eventi in modo più chiaro e possiamo prevedere la crescita futura usando ARIMA stagionale come mostrato nella Figura 4. Le aziende possono usare questi tipi di analisi avanzate per prevedere dove stanno andando i mercati e i tempi delle campagne pubblicitarie.
Figura 4. Grafico delle serie temporali del gruppo ARIMA e previsioni per “Golf”
Dati di intelligence competitiva dai social media:
L'ultimo decennio ha visto un'esplosione di un nuovo tipo di dati di intelligence che possono essere assimilati dai siti di social media. Le comunicazioni di tutti i tipi vengono registrate ora più che mai e abbiamo l'opportunità di trovare segnali CI tra tutti questi dati rumorosi e non strutturati. Blog e bacheche sono terreni di caccia eccezionali per raccogliere informazioni specifiche del settore e dell'azienda. Puoi seguire aziende, dipendenti, gruppi tecnologici, opportunità di lavoro, ex dipendenti su LinkedIn e altri siti professionali. I post su siti come Facebook, Twitter e Instagram offrono anche opportunità per comprendere le tendenze nei mercati e nei concorrenti. La sfida è raccogliere in modo efficiente questi dati non strutturati caratterizzati da un nuovo linguaggio informale simile all'inglese con molti modi per esprimere la stessa parola: pensa a come manderesti a qualcuno la parola stasera .
Abbiamo scritto uno script JMP Scripting Language (JSL) che richiama il linguaggio di programmazione statistica R per scaricare tutti (o un campione casuale) i feed di Twitter per una durata specificata in relazione a una parola chiave. Lo script raccoglie dati dal momento presente a un periodo predefinito in futuro, sebbene esistano archivi Twitter per raccogliere dati retrospettivi a pagamento. I dati restituiti includono il Tweet effettivo, la posizione, l'ora e altri campi demografici. Molte aziende raccolgono Tweet in tempo reale per vedere la reazione del pubblico alle principali uscite di prodotti, che siano i propri o quelli della concorrenza. Ad esempio, abbiamo eseguito lo script per 5 minuti dopo che LeBron James ha annunciato il suo ritorno a Cleveland, poiché tutti i nostri dati Twitter su prodotti e aziende sono proprietari. Il wordcloud risultante nella Figura 5 fornisce informazioni sui termini più ricorrenti (carattere più grande) dopo aver rimosso le parole comuni (the, and, or, …) e il linguaggio offensivo. Inoltre, abbiamo condotto un'analisi del sentiment sui Tweet incrociando una lista di circa 1.500 parole generalmente associate a un sentiment positivo, una lista di circa 2.000 parole negative con tutte le parole raccolte in 4.000 Tweet in quel periodo di 5 minuti. Un singolo Tweet può avere più parole positive e negative o può non averne nessuna. Il conteggio complessivo è stato di 3.533 parole positive e 1.626 parole negative. Il wordcloud e l'analisi del sentiment sono condotte utilizzando un componente aggiuntivo JMP per il text mining che richiama anche R per le routine di analisi del testo.
Figura 5. Interfaccia script JSL di Twitter e Wordcloud su "LeBron" nell'estate 2014
Dati di intelligence competitiva ricavati dall'analisi dei siti web dei concorrenti:
La sola architettura del sito web di un'azienda è un utile elemento di intelligence strategica, in quanto scelgono attentamente cosa rivelare nella loro presenza online, sia in termini di capacità e clienti attuali, sia su cosa stanno lavorando per i miglioramenti futuri. Altre eccezionali opportunità di dati includono riunioni/conferenze, leadership, link a white paper, link a notizie, best practice, discussioni sulla tecnologia, annunci di lavoro e parole chiave nell'ottimizzazione dei motori di ricerca. Un metodo per ottenere questi dati è copiare e incollare manualmente il testo di interesse. In alternativa, un'utilità di web scraping automatizzata ha il vantaggio di essere molto più rapida e completa, anche se potrebbero essere restituite troppe informazioni o informazioni estranee.
Abbiamo sviluppato un codice JSL per estrarre i dati di testo da qualsiasi sito web, tenendo traccia dei metadati come la posizione del testo sul sito web. Lo script Spider richiama ancora una volta R e richiede solo di inserire il sito web di interesse. Puoi scegliere il tipo di scraping che vuoi condurre, poiché i siti web differiscono nella costruzione. Le opzioni di scraping includono la selezione di tutto il testo, una notizia o l'impostazione predefinita. Puoi anche selezionare la profondità di scansione in cui il livello 0 è la pagina web specificata, 1 è quella pagina più tutte le pagine collegate e così via.
Ad esempio, una tecnologia popolare per l'energia verde è il condizionamento dell'aria a liquido essiccante che ottiene un effetto di raffreddamento rimuovendo le molecole d'acqua anziché i sistemi convenzionali di aria refrigerata o refrigerante che rimuovono l'umidità abbassando le temperature al di sotto del punto di rugiada. Una rapida ricerca su Google sul condizionamento dell'aria a liquido essiccante commerciale mostra due aziende leader, Advantix Systems e Kathabar. Abbiamo raschiato entrambi i siti con lo script JSL per creare una tabella dati JMP con ogni riga che rappresenta una pagina web. La Figura 6 mostra l'interfaccia Spider insieme al word cloud risultante dal componente aggiuntivo di text mining.
Figura 6. Interfaccia JSL Spider e Wordcloud risultante da www.kathabar.com
La wordcloud rappresenta ancora una volta la frequenza delle parole. Sebbene questo conteggio grezzo delle parole sia utile, non fornisce molte informazioni su quali parole si verificano insieme e quali temi potrebbero essere presenti. Per tradurre un testo non strutturato in un file piatto per analisi statistiche oltre al conteggio delle parole, è comune formare una Document Term Matrix (DTM) che ha ogni documento (pagina web per il nostro esempio) come una riga e ogni parola univoca utilizzata nell'intero corpus come una colonna separata. Le voci della matrice sono la frequenza con cui ogni termine si verifica nella particolare riga, sebbene potrebbe essere meglio utilizzare semplicemente una rappresentazione binaria che indica se la parola appare o meno. Uno schema ponderato basato sul numero di occorrenze che la parola ha nelle righe è un'altra trasformazione comunemente applicata. Vale a dire, una parola che appare in ogni riga potrebbe non avere molto potere di discriminazione per essere utile analiticamente. Il problema con la DTM è che di solito è molto grande e molto sparsa; pertanto, i metodi statistici standard potrebbero non riuscire a rilevare relazioni utili.
Una soluzione al DTM grande e sparso è proiettarlo in uno spazio dimensionale molto più piccolo, molto simile all'analisi delle componenti principali (PCA). Una soluzione migliore è prendere la decomposizione dei valori singolari (SVD) del DTM in una dimensione inferiore al numero di colonne o parole (ridurla a 100-300, ad esempio). Questa SVD può essere pensata come DTM M=UDV'. Gli autovettori nella matrice U rappresentano i documenti, gli autovettori nella matrice V rappresentano le parole e i valori singolari sulle diagonali della matrice D provengono dagli autovalori che spiegano la proporzione di variabilità spiegata per ogni colonna SVD.
Guardare un grafico bivariato dei primi due autovettori dalla matrice V è utile per cogliere i temi principali nei dati di testo e trovare parole che si raggruppano insieme. La Figura 7 mostra il grafico bivariato dei primi 2 SVD per l'esempio di Kathabar. Qui vediamo le parole raggrupparsi attorno a fornire una soluzione di essiccante liquido personalizzata e un altro gruppo che suggerisce apparecchiature a basso consumo energetico per controllare la temperatura e l'umidità dell'aria.
Figura 7. Primi autovettori SVD dalla matrice Kathabar V e distanze multivariate per l'essiccante.
Possiamo anche usare distanze multivariate dagli autovettori della matrice V dal rango ridotto SVD. Queste distanze mostrano parole che si raggruppano insieme, il che consente di scegliere qualsiasi parola nel corpus per trovare termini strettamente associati. Nel pannello di destra della Figura 7, possiamo vedere che le parole più vicine a essiccante sono, non sorprendentemente: liquid, system, process, dry, product, application, Reliable e manufacture.
Dati di intelligence competitiva dai brevetti:
I depositi di brevetti offrono un buon barometro del profilo tecnologico di una società. Fortunatamente, ci sono molti ottimi motori di ricerca di brevetti disponibili che ti danno libero accesso a tutti gli abstract, disegni e campi di testo per raccogliere dati sulla proprietà protetta dei concorrenti e comprendere lo stato della tecnologia. PATENTSCOPE della World Intellectual Property Organization (https://patentscope.wipo.int/search/en/result.jsf) è stato utilizzato per estrarre gli abstract per i brevetti di aria condizionata con essiccante liquido. Ogni paragrafo di un abstract formava una riga separata nella tabella dati JMP. Utilizzando la piattaforma Consumer Research ( Analizza>Consumer Research>Categorico> Ruoli di risposta=Multiplo, Colonna di dati di testo assegnata a Testo libero ), possiamo vedere i conteggi delle parole e creare rapidamente un diagramma di Pareto dei termini principali da visualizzare negli abstract dei brevetti.
Figura 8. Interfaccia di testo libero JMP e conteggio della frequenza delle parole per i dati sui brevetti.
Possiamo anche usare JMP per formare colonne indicatrici per le 200 parole più frequenti (ad esempio) per vedere se certi termini sono correlati usando Analyze>Multivariate Methods>Multivariate>Pairwise Correlations . La Figura 9 evidenzia alcune delle coppie di parole che sono altamente correlate come filtro a media filtrazione, trascinamento fortemente corrosivo, membrane microporose e così via.
Figura 9. Correlazioni a coppie dalla piattaforma multivariata dei dati sui brevetti
L'estrazione di argomenti tramite il componente aggiuntivo di text mining JMP fornisce informazioni aggiuntive. Il grafico dei primi due SVD nella Figura 10 fornisce l'idea generale di cosa questi brevetti stanno cercando di fare: una tecnologia che richiede l'uso di essiccante liquido (stop word) per deumidificare l'aria, con conseguente effetto di raffreddamento che è più applicabile in climi umidi; il rischio che hanno la maggior parte degli essiccanti liquidi è l'uso di spray su un mezzo filtrante che aumenta il rischio di trascinamento nello spazio aereo; questi brevetti utilizzano una membrana per eliminare questo rischio.
Figura 10. Primi due vettori SVD per i brevetti
Informazioni di mercato da articoli di riviste tecniche:Molti progressi tecnologici sono descritti in dettaglio nella letteratura accademica, il che suggerisce che sarebbero molto utili per dipingere il panorama tecnologico. Per comprendere meglio lo stato della tecnologia dei disidratanti liquidi e la prontezza per le applicazioni commerciali, abbiamo scaricato 45 articoli tecnici recentemente sottoposti a revisione paritaria da autorevoli pubblicazioni di riviste nel campo dell'energia pulita degli ultimi tre anni. Questi file di documenti portatili (pdf) erano difficili da tradurre in testo e poi in una tabella dati JMP perché i caratteri di testo sono in realtà più immagini e la grande quantità di equazioni matematiche non si traduce bene in testo. Abbiamo sperimentato numerosi metodi (sia open source che proprietari) per leggere questi file pdf in modo pulito e abbiamo concluso che usare AdobeAcrobat Standard o Pro per salvare il pdf come file RTF (Rich Text File) di MS Word usando la funzione di riconoscimento ottico dei caratteri (OCR) è stato un buon passaggio intermedio. Successivamente, abbiamo sviluppato una macro di MS Word per aprire un file di documenti Word e salvarli come file di testo da usare nella nostra macro che legge una cartella di file di testo in una tabella JMP per formare il corpus. Abbiamo anche dovuto aggiornare il nostro script JSL per il componente aggiuntivo di text mining per avere l'opzione di rimuovere i caratteri non alfanumerici. I riferimenti sono stati rimossi perché interferivano inutilmente con l'analisi del testo.
Le frequenze delle parole nella Figura 11 del componente aggiuntivo di text mining JMP raccontano una storia simile a quella dei brevetti: questa tecnologia energetica verde è un sistema per raffreddare l'aria riducendo il consumo energetico mediante la rigenerazione del liquido essiccante (ad esempio LiCl) per deumidificare e quindi raffreddare l'aria dove la membrana separa il liquido essiccante tossico dal flusso d'aria.
Figura 11. Frequenze delle parole negli articoli di riviste per la membrana essiccante liquida.
Dopo aver eseguito l'SVD, possiamo raggruppare come articoli di giornale usando i valori degli autovettori dalla matrice U. I documenti si raggruppano molto lungo le linee degli autori e anche in base alle aree di ricerca generali all'interno del disidratante liquido (Figura 12). Per l'estrazione degli argomenti, utilizziamo la matrice V dall'SVD. Alcuni argomenti selezionati (Figura 13) in queste riviste sono: 1) esperimenti comparativi che convalidano il disidratante liquido come soluzione di condizionamento dell'aria e aumento dell'efficienza dal metodo di rigenerazione che consente di risparmiare energia; 2) esperimento per prevedere velocità di trasferimento di massa e rapporti di efficienza consentendo al contempo diversi valori dei parametri di ingresso; 3) metodo alternativo per rimuovere il vapore utilizzando un compressore elettrico ibrido e disidratante liquido.
Figura 12. Risultati dell'analisi dei cluster da articoli di riviste su essiccanti liquidi
Figura 13. Argomenti tratti dagli abstract di membrana di condizionamento dell'aria con essiccante liquido
I grafici dei primi due autovettori della matrice V (Figura 14) mostrano alcuni temi generali di queste ricerche basate sugli abstract: rigenerazione energetica, miglioramento della deumidificazione, simulazione, trasferimento di massa, previsione sperimentale, modello, temperatura e membrana e processo termico con vapore acqueo.
Figura 14. Grafico bivariato dei primi due autovettori del condizionamento dell'aria con essiccante liquido Journal Abstracts
Un'altra tecnica utile nell'estrazione di argomenti è quella di guardare le distanze multivariate dalla matrice V per parole specifiche. Queste distanze multivariate sono calcolate da JMP durante l'analisi dei cluster e sono ottenute salvando la matrice delle distanze. È possibile selezionare una parola specifica e scoprire quali parole sono più strettamente correlate ad essa. Alcune parole di interesse mostrate nella Figura 15 forniscono le seguenti informazioni dagli abstract di questi articoli di riviste:
- Costi: le preoccupazioni sono il periodo di ammortamento, l'installazione principale, la caldaia e i grandi driver di stoccaggio
- Affidabilità: produzione di unità multizona e a soffitto con sottosistema di raffreddamento dell'aria
- L'essiccante al litio è cloruro di litio in soluzione acquosa; la preoccupazione principale è il contatto con l'ambiente circostante (tossico), la membrana microporosa è una soluzione
- Le goccioline che entrano in contatto diretto sono dannose, è necessario eliminarle per renderle economicamente fattibili
Figura 15. Distanze multivariate dalla matrice V per gli abstract delle riviste di essiccanti liquidi.
Riepilogo:
Esistono molti framework per l'analisi di Competitive Intelligence, come SWOT, Porter's 5 Forces e 4 Corners, che dipendono da input di dati correnti e affidabili. Le fonti di dati CI sono aumentate vertiginosamente e sono state democratizzate, così i dipendenti di tutta l'azienda possono trovare informazioni sfruttabili sui loro rivali. Il problema è che i dati non sono necessariamente facilmente recuperabili, sono per lo più rumorosi e non strutturati. Gli strumenti analitici degli script JMP e JSL sono utili per raccogliere e dare un senso ai dati da fonti come siti Web, social media, brevetti e articoli di riviste tecniche. Come l'analogia militare, l'obiettivo è passare da informazioni open source non strutturate a report di intelligence "classificati" che hanno un impatto sulla direzione strategica dell'organizzazione.
Riferimenti:
Baglama, James e Reichel, Lothar. Metodi di bidiagonalizzazione di Lanczos riavviati implicitamente aumentati. 2005, SIAM Journal of Scientific Computing, Vol. 27, pp. 19-42.
Barbera, Pablo. streamR: accesso all'API di streaming di Twitter tramite R. [Online] 2014. http://CRAN.R-project.org/package=streamR .
Czepiel, John e Kerin, Roger. Analisi della concorrenza . [Online] 2011.http://pages.stern.nyu.edu/~jczepiel/Publications/CompetitorAnalysis.pdf.
Evangelopoulos, Nicholas, Zhang, Xiaoni e Prybutok, Victor R. Analisi semantica latente: cinque raccomandazioni metodologiche. 2012, European Journal of Information Systems, Vol. 21, pp. 70-86.
Fellows, Ian. wordcloud: Nuvole di parole. CRAN. [Online] 2014.http://cran.r-project.org/web/packages/wordcloud/index.html.
Kaushik, Avanish. Schiacciare con l'analisi di intelligence competitiva: le migliori metriche, report .[Online] 2015.http://www.kaushik.net/avinash/competitive-intelligence-analysis-tools-metrics-reports-techniques/.
Lang, Duncan Temple. RCurl: Interfaccia client di rete generale (HTTP/FTP/...) per R. CRANIO. [Online] 2015.http://cran.r-project.org/web/packages/RCurl/index.html.
Martin . Quadri strategici: analisi della concorrenza e intelligence competitiva . [Online] 2015.http://www.entrepreneurial-insights.com/competitor-analysis-competitive-intelligence/.
Metayer, Estelle. Le migliori tecniche di analisi che il tuo team di intelligence competitiva o di pianificazione strategica dovrebbe padroneggiare. [Online] 2015 http://competia.com/50-competitive-intelligence-analysis-techniques .
Organizzazione mondiale della proprietà intellettuale Patentscope. [Online] 2015.https://patentscope.wipo.int/search/en/result.jsf
