Gli informatici hanno a lungo tratto vantaggio dalla metodologia che consente loro di estrarre informazioni da una varietà di documenti di testo. La loro metodologia non solo calcola i termini e le frasi nei testi, ma ne scopre anche la struttura e fornisce informazioni sul contenuto dei testi. D'altra parte, la maggior parte degli scienziati sociali — che hanno molti dati di testo nei campi dei commenti di sondaggi, trascrizioni di interviste, ecc. - non sembrano fare affidamento su questi metodi (coloro che studiano lingue o collaborano con scienziati informatici sono le rare eccezioni).
In questo post, incoraggio gli scienziati sociali a esplorare lo spettro di possibilità che l'analisi del testo può offrire. Lo faccio fornendo una breve spiegazione di due tecniche di analisi del testo: Latent Semantic Analysis (LSA) e Topic Analysis (TA). Come sarà presto ovvio, gli scienziati sociali con un background in statistica multivariata saranno in grado di utilizzare, applicare e interpretare LSA e TA senza sforzo (potrebbe bastare questo post per metterti in funzione!) La mia spiegazione si basa su due dati statistici tecniche ben note nelle scienze sociali: l'Analisi delle Componenti Principali (PCA) e l'Analisi Fattoriale (FA).
Una revisione dell'analisi delle componenti principali
PCA è un metodo che ci consente di identificare ed estrarre dimensioni non correlate di massima variabilità dai nostri dati. Questo viene fatto attraverso una scomposizione di autovalori della matrice di correlazione dei dati. La Figura 1 illustra i passaggi coinvolti nella decomposizione degli autovalori e i successivi passaggi per aiutare nell'interpretazione del PCA (si noti che la figura è semplificata eccessivamente per facilitare questa revisione).
Figure 1. Depiction of steps involved in Principal Components Analysis.Figure 1. Depiction of steps involved in Principal Components Analysis.Figure 1. Depiction of steps involved in Principal Components Analysis.Figure 1. Depiction of steps involved in Principal Components Analysis.Figura 1. Rappresentazione delle fasi coinvolte nell'analisi delle componenti principali.
La matrice di correlazione rappresenta una "nuvola di dati" in uno spazio multidimensionale. La scomposizione degli autovalori aiuta a identificare le dimensioni principali che sono perpendicolari tra loro all'interno di questa nuvola e produce due informazioni chiave: il autovettori , che sono indicativi delle direzioni delle dimensioni principali, e il autovalori , che identificano la grandezza di ciascuna dimensione e sono le varianze delle dimensioni. Se solo un paio di dimensioni catturano la maggior parte della variabilità nei dati (cioè, i primi due autovalori sono grandi rispetto a tutti gli altri), allora gli analisti potrebbero scegliere di conservare i primi due autovettori e autovalori per ridurre il numero di variabili che devono analizzare. Tutti gli autovettori sono di lunghezza unitaria ma possono essere “ridimensionati” utilizzando le informazioni fornite dagli autovalori. Questi autovettori ridimensionati sono noti come caricamenti.
I vettori di caricamento hanno variabilità pari al loro autovalore corrispondente. Inoltre, i coefficienti di carico sono coefficienti di correlazione che descrivono l'associazione tra la dimensione (componente principale) e la variabile corrispondente. Per questo motivo, i caricamenti sono fondamentali per capire cosa rappresenta un componente principale. Tuttavia, una matrice di carico può avere uno schema difficile da discernere, come carichi di entità moderata su diverse dimensioni (vedere Matrice di carico nella Figura 1). Pertanto, gli analisti potrebbero scegliere di ruotare la matrice di caricamento nel tentativo di migliorare l'interpretazione dei componenti. Nella maggior parte dei casi viene impiegata una rotazione ortogonale (ad es. Varimax), che tende a determinare un modello semplice di carichi (definito "struttura semplice" da Thurstone, 1947). Cioè, i carichi sono molto alti per un dato componente e quasi nulli per tutti gli altri componenti. La semplice struttura della matrice di caricamento ruotata (vedi Figura 1) aiuta a identificare con chiarezza cosa rappresenta ciascun componente principale.
Analisi delle componenti principali == Analisi semantica latente
Ora che la PCA è fresca nella tua mente, la buona notizia è che l'analisi semantica latente (LSA) è semplicemente PCA eseguita su una matrice di correlazione di termini di testo (ma senza rotazioni coinvolte). In altre parole, le variabili nell'analisi sono colonne che indicano l'incidenza di un termine nei documenti di testo. Questo insieme di variabili è chiamato matrice dei termini del documento (DTM; vedi Figura 2), che ha tante colonne quanti sono i termini nei documenti e tante righe quanti sono i documenti. Se vogliamo un DTM binario, ogni voce di cella può essere uno 0 o 1 a seconda che il termine dato sia nel documento dato. Un DTM di frequenza richiede che ogni voce sia un conteggio del numero di volte in cui il termine appare nel documento specificato. Esistono altri modi per costruire il DTM; un metodo preferito in letteratura (Ramos, 2003) è chiamato TF-IDF (term frequency-inverse document frequency), che è possibile implementare in JMP con il clic di un pulsante!
Figure 2. Sample Document Term Matrix (DTM) of three documents.Figure 2. Sample Document Term Matrix (DTM) of three documents.Figure 2. Sample Document Term Matrix (DTM) of three documents.Figure 2. Sample Document Term Matrix (DTM) of three documents.Figura 2. Sample Document Term Matrix (DTM) di tre documenti.
Si noti che il primo documento nella Figura 2 contiene la parola "from" e tuttavia tale termine non compare nel DTM. Questo perché ci sono importanti passaggi preliminari alla creazione di un DTM. Vediamo quelli successivi!
Impostazione dei dati di testo per l'analisi
L'analisi del testo parte dall'identificazione dell'unità di misura. Nello specifico, devi determinare cosa costituirà un "documento". Un documento può essere una frase, un paragrafo, un articolo o un libro, tra molte altre scelte. Il passaggio successivo prevede l'identificazione dei termini pertinenti nei documenti. Puoi farlo filtrando le "parole di arresto" (quelle parole estremamente comuni che probabilmente non aiutano a svelare la struttura nel corpus del testo, come "il", "e", "da", "è", "di ," eccetera.). Inoltre, potresti scegliere di condensare termini simili in uno solo. Ad esempio, le colonne "analisi" e "analisi" nella Figura 2 sono ridondanti e possono essere combinate in una colonna "analisi". Questo si chiama derivazione. Infine, non tutte le parole in un testo dovrebbero essere separate. Gli "scienziati sociali" nella prima riga della figura 2 ne sono un esempio. Puoi combinare queste parole in un termine prima di creare il DTM (puoi fare lo stesso con frasi come "c'era una volta").
Tutti i passaggi precedenti sono fondamentali per un'analisi solida. Fortunatamente, il Piattaforma Esplora testo in JMP rende queste attività un gioco da ragazzi! Nel menu Analizza > Esplora testo, assegna la colonna nella tabella dati contenente i documenti come Colonna di testo (vedi Figura 3). Puoi anche personalizzare le opzioni per lo stemming nella finestra di lancio. Dopo aver avviato Text Explorer, puoi selezionare ulteriormente le frasi da considerare come termini.
Figure 3. Text Explorer launch window (left) and initial report from launching Text Explorer (right).Figure 3. Text Explorer launch window (left) and initial report from launching Text Explorer (right).Figure 3. Text Explorer launch window (left) and initial report from launching Text Explorer (right).Figure 3. Text Explorer launch window (left) and initial report from launching Text Explorer (right).Figura 3. Finestra di avvio di Text Explorer (a sinistra) e report iniziale dall'avvio di Text Explorer (a destra).
Dopo aver completato tutti i passaggi preliminari, puoi creare il DTM ed eseguire un PCA con esso. Tuttavia, a seconda di quanto è grande il tuo DTM (e tendono ad essere piuttosto grandi), un PCA come ho descritto sopra può richiedere molto tempo per essere eseguito e richiedere molta memoria. Fortunatamente, JMP utilizza la decomposizione del valore singolare al posto della decomposizione dell'autovalore per rendere questa analisi molto efficiente! In un post futuro, spiegherò le equivalenze tra decomposizione di autovalori e decomposizione di valori singolari, ma per ora, dovrai fidarti di me che entrambi gli approcci porteranno agli stessi risultati.
Analisi del tema
Un'altra preziosa tecnica di analisi del testo è l'analisi dell'argomento (TA). Questa tecnica può anche essere facilmente tradotta per gli scienziati sociali chiarendo che TA è semplicemente PCA con una rotazione Varimax della matrice di caricamento. Simile a LSA, TA viene eseguita con la decomposizione del valore singolare invece della decomposizione dell'autovalore per renderla più efficiente. È probabile che i risultati di TA siano più facili da interpretare rispetto a quelli di LSA a causa della rotazione dei caricamenti. Gli argomenti saranno le dimensioni principali della variabilità nei dati di testo. I caricamenti consentono di interpretare ciò che rappresenta l'argomento. Inoltre, i punteggi degli argomenti (o dei componenti) possono essere calcolati e utilizzati nelle analisi secondarie.
Per dare un'idea di ciò che l'AT può fare, ho eseguito l'AT su un set di dati di 231.657 barzellette*. Per evitare di offendere i lettori, mostro solo i risultati di tre argomenti emersi dall'analisi (Figura 4).
Figure 4. Select topics from Topic Analysis (TA) performed on a data table of 231,657 jokes.Figure 4. Select topics from Topic Analysis (TA) performed on a data table of 231,657 jokes.Figure 4. Select topics from Topic Analysis (TA) performed on a data table of 231,657 jokes.Figure 4. Select topics from Topic Analysis (TA) performed on a data table of 231,657 jokes.Figura 4. Seleziona gli argomenti dall'analisi degli argomenti (TA) eseguita su una tabella di dati di 231.657 barzellette.
I lettori potrebbero concordare sul fatto che esiste una chiara distinzione tra i tipi di barzellette rappresentati da ciascuno degli argomenti nella Figura 4. Per esempi più convincenti di analisi del testo, vedere questo post sulla previsione dei futuri prezzi delle azioni o leggere una pubblicazione recente utilizzando i dati dei social media (Kern et al., 2016). Oppure guarda questo video .
Osservazioni sull'analisi fattoriale
Nella sezione di apertura, ho detto che mi sarei affidato alla conoscenza di PCA e FA degli scienziati sociali. Ma finora ho discusso solo di PCA. Se la tua formazione è stata simile alla mia, sai che ci sono differenze importanti tra PCA e FA. Nel un post precedente , ho descritto queste differenze, ma ho anche menzionato una somiglianza chiave: i risultati di PCA e FA diventano sempre più simili man mano che la matrice di dati in esame cresce di dimensioni (se vuoi un ripasso su FA, ti consiglio leggi il post ). In effetti, nell'analisi del testo, le matrici di dati tendono ad esserlo molto di grandi dimensioni. Nel Matrice dei termini del documento di esempio sopra, il DTM ha già 10 variabili! E l'esempio scherzo ha un DTM con 4.316 variabili!). Pertanto, argomenti o componenti di LSA e TA possono essere pensati come approssimazioni di variabili latenti e possono essere utilizzati efficacemente per affrontare una miriade di domande di ricerca!
Chiudere…
Troppo spesso permettiamo al nostro kit di strumenti statistici di determinare la progettazione e l'analisi della nostra ricerca (a volte inavvertitamente!). Pertanto, spero che questo post apra la porta a nuove domande di ricerca nelle scienze sociali (e in altri campi) che possono essere affrontate in modo univoco con l'analisi del testo.
Punti chiave
- L'analisi del testo è sottoutilizzata nelle scienze sociali nonostante si basi su tecniche statistiche ben note agli scienziati sociali.
- L'analisi semantica latente è equivalente all'analisi delle componenti principali eseguita su una matrice di termini del documento.
- Una matrice dei termini di un documento ha tante righe quanti sono i documenti e tante colonne quanti sono i termini nei documenti. Le celle contengono l'incidenza dei termini in un dato documento.
- L'analisi dell'argomento è equivalente all'analisi dei componenti principali con una rotazione dei carichi dei componenti per facilitare l'interpretazione degli argomenti. Ma si noti che alcuni metodi di clustering sono talvolta descritti anche come analisi dell'argomento.
- Poiché le matrici dei termini dei documenti tendono ad essere piuttosto grandi, gli scienziati sociali possono pensare ai componenti principali come approssimazioni piuttosto buone di variabili latenti o argomenti latenti.
C'è molto altro da dire sull'analisi del testo! Suggerisco di iniziare con questo webcast su richiesta , che fa un ottimo lavoro nel descrivere molti più dettagli. Puoi anche vedere il mio post sulla piattaforma Text Explorer in JMP, in particolare il Sezione Stele di Rosetta , che chiarisce ulteriori collegamenti tra PCA e LSA/TA.
Riferimenti
- Kern, ML, Parco, G., Eichstaedt, JC, Schwartz, HA, Sap, M., Smith, LK, & Ungar, LH (2016). Acquisire informazioni dal linguaggio dei social media: metodologie e sfide. Metodi psicologici. Pubblicazione anticipata online. http://dx.doi.org/10.1037/met0000091
- Ramos, J. (2003, dicembre). Utilizzo di tf-idf per determinare la pertinenza delle parole nelle query dei documenti. Nel Atti del primo convegno didattico sull'apprendimento automatico (Vol. 242, pp. 133-142).
- Thurstone, LL (1947). Analisi multifattoriale . Chicago: University of Chicago Press, 1947.
* Grazie ad amoudgl che ha reso questo file liberamente disponibile qui: https://github.com/amoudgl/short-jokes-dataset
