JMP 13 ha introdotto una serie di nuove interessanti funzionalità per i clienti JMP. Una delle funzionalità più attese è stata la piattaforma Text Explorer, che consente agli analisti di comprendere la struttura dei dati di testo. Il ronzio attorno a Text Explorer è certamente giustificato dal fatto che la piattaforma ha il potenziale di rivelare una visione oggettiva da una moltitudine di voci di testo che altrimenti sarebbero impossibili da rilevare per un individuo (specialmente quando l'analisi coinvolge migliaia o milioni di fonti di testo).
Poiché i clienti JMP continuano a sfruttare Text Explorer, il team di sviluppo di JMP ha compiuto sforzi per semplificare l'utilizzo della piattaforma e migliorare l'interpretabilità dei risultati. Questi miglioramenti si sono concentrati in particolare nell'analisi semantica latente e nell'analisi degli argomenti e sono disponibili in JMP Pro 13.2. In questo post, delineo questi sforzi e sottolineo come le modifiche facilitino l'uso e l'interpretazione da parte degli analisti della piattaforma Text Explorer.
Una trasformazione
Analisi semantica latente e Analisi degli argomenti sono due approcci per analizzare il testo. In precedenza, queste analisi sono state eseguite in JMP attraverso a Scomposizione di un valore singolo (SVD) della matrice dei termini del documento "Centrato e ridimensionato", "Centrato" o "Non incentrato" (DTM). Il DTM è una matrice derivata dai tuoi dati di testo, che riassume il numero di termini all'interno e tra i documenti di testo. L'SVD sul DTM ha portato a risultati penetranti, consentendo agli utenti di JMP Pro di identificare le dimensioni chiave (ovvero i vettori singolari) alla base dei loro dati di testo e valori che descrivono il significato di tali dimensioni (ovvero vettori di singoli termini o documenti).
Figure 1. The new look of Latent Semantic Analysis and Topic Analysis, with more intuitive labels and values.Figure 1. The new look of Latent Semantic Analysis and Topic Analysis, with more intuitive labels and values.Figure 1. The new look of Latent Semantic Analysis and Topic Analysis, with more intuitive labels and values.Figura 1. Il nuovo aspetto di Latent Semantic Analysis e Topic Analysis, con etichette e valori più intuitivi.
Un miglioramento chiave della piattaforma - implementato in 13.2 - consisteva nel fare il SVD del DTM "Centered and Scaled" o "Centered" diviso per N-1 (N = numero totale di righe in DTM), o solo N se gli utenti selezionano l'opzione di ridimensionamento "Uncentered". È importante sottolineare che la divisione del DTM da una costante (N-1 o N) non modifica il modello dei risultati nella piattaforma, ma rende le stime risultanti molto più interpretabili.
Interpretabilità migliorata
Grazie al DTM diviso per N-1 o N, l'analisi semantica latente è ora identica a Analisi delle componenti principali (PCA). Allo stesso modo, l'analisi degli argomenti è ora identica a un PCA ruotato (vedere la Figura 2 per selezionare l'output da entrambe le piattaforme). Pertanto, Term Singular Vectors ora sono identici a Caricamenti in un contesto PCA e sono conseguentemente etichettati come "Termine argomento Caricamenti". Quando gli utenti selezionano "Centrato e Ridimensionato" come opzione di ridimensionamento in Text Explorer (che è l'impostazione predefinita), i risultati sono identici a un PCA di una matrice di correlazione. Allo stesso modo, quando si sceglie "Centrato", i risultati sono paralleli a quelli di PCA di una matrice di covarianza, e quando viene selezionato "Uncentered", i risultati saranno come quelli di una matrice non graduata.
Figure 2. Side-by-side comparison of Topic Analysis and Rotated Principal Components Analysis, which can be accessed through the "Factor Analysis" option in the Principal Components platform.Figure 2. Side-by-side comparison of Topic Analysis and Rotated Principal Components Analysis, which can be accessed through the "Factor Analysis" option in the Principal Components platform.Figure 2. Side-by-side comparison of Topic Analysis and Rotated Principal Components Analysis, which can be accessed through the "Factor Analysis" option in the Principal Components platform.Figura 2. Confronto affiancato di Analisi degli argomenti e Analisi delle componenti principali ruotate, a cui è possibile accedere tramite l'opzione "Analisi fattoriale" nella piattaforma Componenti principali.
Perché questi cambiamenti sono eccitanti?
Hai familiarità con PCA? Ora puoi tradurre tutto ciò che sai della PCA in analisi del testo. Ecco alcuni esempi:
- Selezione del miglior numero di argomenti: Ora è possibile utilizzare tutte le linee guida di PCA per selezionare un numero appropriato di argomenti. Ad esempio, cercando il gomito su a trama di ghiaia di valori singolari quadrati (alias autovalori) o sommando la percentuale della varianza spiegata dei valori singolari quadrati fino a raggiungere una percentuale ragionevole o un altro metodo di scelta.
- Capire l'importanza degli argomenti: Quella che si chiamava "Porzioni di argomento" ora è "Varianza spiegata da ciascun argomento". I valori sono gli stessi ma ora l'interpretazione dei valori è più intuitiva. Se il tuo primo argomento spiega il 40% della varianza nei tuoi dati, allora sai che questo argomento è molto rilevante nei tuoi documenti.
- Interpretazione del significato di un argomento: Quando "Centrato e Ridimensionato" o "Centrato" sono selezionati come opzioni di ridimensionamento (ricordiamo che questi sono equivalenti a PCA su Correlazione e su Covarianze, rispettivamente), i Caricamenti termine argomento rappresentano la correlazione del particolare termine con l'argomento sottostante. Pertanto, i valori alti (in avvicinamento 1) indicano un termine molto caratteristico dell'argomento.
- Derivare nuove variabili per ulteriori analisi: Proprio come è possibile calcolare i punteggi dei componenti in PCA per eseguire analisi secondarie, è possibile calcolare i punteggi degli argomenti del documento (precedentemente denominati Vettori documento singolare), che contengono la maggior parte delle informazioni nel DTM ma in una struttura molto più concisa.
La stele di Rosetta
Per facilitare ulteriormente la traduzione tra analisi semantica latente / analisi del problema e PCA / PCA ruotato, ho creato la seguente illustrazione, che io chiamo la pietra di Rosetta di Text Explorer (come nel Pietra egiziana questo ha aiutato gli storici a capire i geroglifici). Includo i pannelli per le piattaforme Text Explorer e PCA con le parole chiave utilizzate nei report che hanno un significato equivalente e includo un pannello per Factor Analysis perché un caso speciale di Factor Analysis è identico a PCA ruotato (il caso delle comunità == 1, vedere il mio post su questo argomento ).
Figure 3. The Rosetta stone of Text Explorer, Principal Components, and Factor Analysis platforms. Keywords in each panel are equivalent to those in the same row of other panels. *Not available in the platform as these aren’t normally used.Figure 3. The Rosetta stone of Text Explorer, Principal Components, and Factor Analysis platforms. Keywords in each panel are equivalent to those in the same row of other panels. *Not available in the platform as these aren’t normally used.Figure 3. The Rosetta stone of Text Explorer, Principal Components, and Factor Analysis platforms. Keywords in each panel are equivalent to those in the same row of other panels. *Not available in the platform as these aren’t normally used.Figura 3. La pietra di Rosetta delle piattaforme Text Explorer, Principal Components e Factor Analysis. Le parole chiave in ciascun pannello sono equivalenti a quelle della stessa riga di altri pannelli. * Non disponibili nella piattaforma in quanto questi non sono normalmente utilizzati. La figura 3 aiuta a vedere come il gergo di una piattaforma si rapporta al gergo dell'altro.
Quindi non tardare a aggiornare a JMP Pro 13.2 e sfruttare questo e altri miglioramenti a JMP !
