Interpretazione del punteggio dell'argomentoStiamo lavorando sull'approccio Explorer testo e stiamo cercando di comunicare l'interpretazione dei punteggi degli argomenti. Ad esempio, un valore negativo rispetto a un valore positivo per un termine all'interno di un argomento. Puoi dirci a qualcuno che può aiutare con alcuni esempi? Il menu di aiuto suggerisce che un termine con valore negativo si verificherebbe meno frequentemente rispetto a un valore positivo, ma quando esaminiamo i set di dati effettivi, ciò non sembra essere in corso.
Quindi sembra che sia una scala lineare in cui ciascuna estremità è positiva e un'estremità è negativa. Quanto più una parola è verso un'estremità della scala indicherebbe un uso positivo o negativo. Ogni prospettiva è apprezzata.
Ri: Interpretazione del punteggio dell'argomentoCiao Laura
Scusa, ho letto questa risposta, ma non ho mai detto grazie. Molte grazie! Questo è stato molto utile.
-Jeff
Ri: Interpretazione del punteggio dell'argomentoTecnicamente, si applicherebbe anche il contrario ma, in pratica, non mi aspetterei che incontrerai quello scenario. Il motivo è che capovolgiamo il segno solo quando la maggior parte dei grandi carichi sono negativi. Con i dati di testo, non è molto comune avere grandi positivi e caricamenti negativi. Solo in quei casi ti aspetteresti di trovare il contrario. In breve, stai facendo la cosa giusta nell'esaminare il caricamento degli argomenti insieme ai punteggi per essere sicuro di capire il significato degli argomenti. Volete essere in grado di etichettare ogni argomento (ad es. "Soddisfazione per il prodotto") in modo da poter interpretare i punteggi come "punteggi più alti significano più soddisfazione per il prodotto" o viceversa.
Migliore,
~ Laura
Ri: Interpretazione del punteggio dell'argomentoGrazie, questo aiuta con il mio esempio immediato. Una domanda simile è: dovrei aspettarmi anche il contrario? Ad esempio, un forte esempio negativo nei grafici dei punteggi degli argomenti che si traduce in un punteggio di argomento positivo in cui il testo implicherebbe che dovrebbe essere fortemente negativo?
Ri: Interpretazione del punteggio dell'argomentoCiao @reese_sj ,
Grazie per la segnalazione! In effetti, ci sono casi in cui la scomposizione del valore singolare porta ad argomenti con caricamenti completamente negativi. Per facilitare l'interpretazione degli argomenti, i segni dei caricamenti vengono capovolti e quindi sempre positivi. In questi casi, anche i punteggi degli argomenti dovrebbero essere invertiti, ma non sono attualmente. Ne siamo consapevoli e prevediamo di risolverlo in una versione futura. Per ora, puoi creare una nuova colonna formula che prende i punteggi degli argomenti e li moltiplica per -1. Un modo semplice per capire quali punteggi degli argomenti devono essere capovolti è (1) guardare i "Grafici dei punteggi degli argomenti" sul rapporto, (2) selezionare le osservazioni con i punteggi più estremi, (3) fare clic su "Mostra testo" e (4) verifica la corrispondenza tra documenti e termini nell'argomento.
Ecco un esempio con i dati "Pet Survey.jmp":
Ho avviato Text Explorer, eseguito un'analisi semantica latente e un'analisi degli argomenti con tutte le impostazioni predefinite. I principali caricamenti per i primi due argomenti sono: 
Possiamo quindi guardare i grafici dei punteggi e ottenere il testo per i punteggi più alti dell'argomento 1: 
I caricamenti di argomenti positivi corrispondono al contenuto dei documenti. Così, più alto i punteggi nell'argomento 1 indicano i documenti che lo sono Di Più su "cani che sorvegliano case".
Al contrario, quando esaminiamo il testo nei valori più estremi dell'argomento 2, lo troviamo inferiore i punteggi corrispondono ai documenti che lo sono Di Più su "husky che si godono le passeggiate in slitta in inverno" 
Forse il modo più semplice per identificare quando i punteggi devono essere invertiti è quando i valori più estremi sono negativi ma i caricamenti per quell'argomento sono positivi: 
Spero che questo ti permetta di andare avanti con la tua analisi!
Migliore,
~ Laura
Ri: Interpretazione del punteggio dell'argomentoPossibile problema con l'interpretazione del punteggio argomento:
Ho un argomento che "sembra" avere un effetto positivo sulla mia valutazione in stelle. Ho usato il DTM e le colonne dell'indicatore per esaminare i 2 termini principali nell'argomento "Absolutley" e "Amore". Come visto, quando uso una delle parole la mia valutazione in stelle aumenta e se uso entrambe le parole, aumenta anche di più. Nota che è una N. molto piccola
Scavando ulteriormente in questo, sembra che quando salvo i miei argomenti, c'è una correlazione negativa tra il conteggio e il modo in cui il termine viene assegnato. Questo succede anche se il caricamento è positivo. Sono stato in grado di esaminarlo e trovarlo per questo argomento, ma se dovessi caricarlo in genreg (o in qualsiasi altro approccio di modellazione), non ho idea se gli effetti siano corretti o mostrino positivi o negativi per gli argomenti senza esaminando manualmente ogni argomento e termine per assicurarsi che vengano trattati in modo appropriato.
Visto di seguito, se uso le parole Absolutely and Love, più vengono usate o se vengono usate insieme, determina in modo significativo un effetto negativo secondo qualsiasi approccio di modellazione.
Ri: Interpretazione del punteggio dell'argomentoCi proverò sicuramente. Grazie.
Ri: Interpretazione del punteggio dell'argomentoScott,
Se il tuo obiettivo è quello di escludere i termini rilevanti per la tua variabile di risultato, potresti semplicemente voler eseguire GenReg con le colonne DTM. Dal momento che è una grande regressione, ci vorrà un po 'per finire. Ad esempio, l'ouctome è una risposta di tipo Sì / No e ho eseguito il Lazo con 1.782 colonne DTM binarie su un set di dati di 18.000 righe. Ci sono voluti circa 20 minuti per completare. Ho trovato 483 termini attivi (diversi da zero). Se mantengo solo quelli statisticamente significativi (valore p <0,05), il numero di termini è solo 203.
Un approccio più visivo è l'uso dell'opzione Colorazione / Per valore colonna nella nuvola di parole. Colorare le parole con la variabile outcome consente di vedere quali parole sono associate ai risultati. Quelli con colori misti non sono o meno associati al risultato.
Jian
Ri: Interpretazione del punteggio dell'argomentoA proposito, ho usato un segno di percentuale e la voce è stata ricodificata come "Bleep" ... forse un'altra opportunità di ricodifica 
(faccina sorridente).
Ri: Interpretazione del punteggio dell'argomentoMentre continuo ad evolvere e migliorare i miei argomenti, cerco una guida sull'aggiunta di password. So che ogni termine è correlato con ogni argomento, ma vorrei un modo per ridurre la diversità di ogni argomento in modo tale che ci siano meno termini che hanno una forte correlazione con l'argomento. Ciò mi consente di agire in modo appropriato su determinati argomenti di interesse. Il mio set di dati corrente ha una variabile di risultato.
Puoi per favore commentare il seguente approccio: costruire gli argomenti (numero di argomenti basato su un valore singolare ** bleep ** percentuale di taglio), salvare i vettori degli argomenti del documento, eseguire genreg con gli argomenti, esaminare gli argomenti di minor impatto, identificare il termine principale di ciascun argomento a basso impatto e aggiungerlo come parola d'ordine, quindi ripetere il ciclo fino a quando non arrivo a una soluzione "praticabile".
Ri: Interpretazione del punteggio dell'argomentoJeff,
Grazie per la tua domanda Vorrei aggiungere all'eccellente spiegazione di Laura. Sì, il termine caricamento argomento rappresenta la correlazione tra un termine e il corrispondente argomento latente. Tuttavia, i vettori degli argomenti del documento (ovvero i punteggi degli argomenti) non vengono ridimensionati da JMP per la preoccupazione che un DTM potrebbe essere troppo grande per farlo, quindi le correlazioni tra i vettori degli argomenti del documento e le colonne DTM non corrispondono al termine riportato caricamenti. Ma, come hai scoperto, sono molto vicini.
Jian
Ri: Interpretazione del punteggio dell'argomentoCiao @JeffSwartzel ,
Ottima domanda! Latent Semantic Analysis (LSA) e Topic Analysis (TA) si basano su una scomposta scomposizione del valore singolare (SVD) per caratterizzare la struttura dei dati in modo molto efficiente. Cioè, nonostante abbia una matrice di termini di documento (DTM) con centinaia o migliaia di colonne, l'algoritmo SPD sparso ci consente di ottenere solo una frazione dei valori singolari e dei vettori singolari (i più importanti).
Per continuare a sfruttare lo scarso SVD, i punteggi TA sono calcolati diversamente in PCA e TA ruotati (notare che i punteggi sono identici tra PCA e LSA standard). Nel PCA ruotato, i punteggi sono ridimensionati dall'inverso della matrice di correlazione del DTM e dai valori singolari (invertire la matrice di correlazione del DTM sarebbe intrattabile con un corpus ampio; immagina di invertire una matrice con migliaia di colonne). Considerando che i punteggi TA omettono questo ridimensionamento. I punteggi TA sono semplicemente una proiezione del DTM sullo spazio tridimensionale ruotato.
Inoltre, scopriamo che i punteggi TA sono altamente correlati con i punteggi PCA (> .90) nonostante le differenze nei calcoli. È importante sottolineare che i caricamenti degli argomenti SONO la correlazione esatta della colonna DTM e del componente PCA corrispondente. Pertanto, possiamo considerare i punteggi TA come approssimazioni molto buone dei punteggi PCA.
HTH,
~ Laura
PS Queste sono le formule:
pcaScores = DTM_s * Inverse (DTM_cor) * evec * Diag (Sqrt (eval)) * rotMat
taScores = DTM_s * evec * rotMat
dove DTM_s è il DTM standardizzato, DTM_cor è la matrice di correlazione del DTM, evec sono gli autovettori (o valori singolari giusti) del DTM, eval sono gli autovalori (o valori singolari quadrati) del DTM e rotMat è la matrice di rotazione .
Ri: Interpretazione del punteggio dell'argomentoGrazie!Ri: Interpretazione del punteggio dell'argomentoE per chiunque legga questo, c'è una versione su richiesta di @jiancao Il webcast di:
Analisi di marketing e ricerca dei consumatori .
Ri: Interpretazione del punteggio dell'argomentoCiao @JeffSwartzel , quello era @jiancao al webcast di Mastering JMP di oggi.
Taggandolo qui verrà avvisato della tua domanda e potrà intervenire in modo appropriato.
Grazie!
Ri: Interpretazione del punteggio dell'argomentoCiao chris,
Ho appena visto un webinar su JMP chiamato "Utilizzo di JMP Pro per analisi di marketing avanzate e ricerche sui consumatori (avanzate)".
Sono imbarazzato di aver perso il nome dell'oratore, ma ho pensato che avesse dato un'interpretazione molto intuitiva del caricamento degli argomenti. Se l'ho capito correttamente, l'argomento che carica una determinata parola in un argomento potrebbe essere interpretato come la correlazione tra il vettore di quella parola nella matrice del termine del documento e il vettore dell'argomento del documento corrispondente. Per fare un esempio falso, diciamo che abbiamo "Argomento 1" e il primo termine in quell'argomento è "arance". Il caricamento su "arance" è indicato come 0,85361. Se calcolata la correlazione tra "Argomento 1" e il vettore per "arance" nella matrice del termine del documento, dovrebbe essere 0,85361.
Ho pensato che fosse una grande spiegazione, e ho provato a ricrearlo da solo, ma ho qualche problema. Le correlazioni sono vicine ma non esatte. Hai qualche idea del perché questo potrebbe essere il caso? Se fosse di aiuto, potrei provare a fornire un esempio con il file "Aircraft Incidents.jmp".
Qualsiasi aiuto è apprezzato!
Grazie,
-Jeff Swartzel
Ri: Interpretazione del punteggio dell'argomentoGrazie. Ho una domanda di follow-up per quanto riguarda la documentazione. Attualmente, afferma che nell'ambito dell'analisi degli argomenti, i valori negativi indicano una forza di repulsione e si verificheranno con una frequenza inferiore rispetto ai valori positivi.
file: /// C: /Program%20Files/SAS/JMPEA/14/Help/index.html#page/jmp%2FBA_Text_Explorer_19.html%23ww428969
Ri: Interpretazione del punteggio dell'argomentoGrazie, è molto utile.
Scott
Ri: Interpretazione del punteggio dell'argomentoCiao Scott - Il modo migliore per comprendere i risultati basati su SVD in Text Explorer (TE) comprendendo che (1) I risultati SVD sono identici a un PCA della matrice del termine del documento (DTM) e (2) L'analisi degli argomenti è una Rotazione VARIMAX dei risultati SVD, il che significa che l'analisi degli argomenti è matematicamente identica a un'analisi fattoriale del DTM.
Ciò significa che tutti gli strumenti interpretativi e le regole empiriche che è possibile trarre da un testo sull'analisi dei fattori si applicano all'analisi degli argomenti. Ciò comprende
(1) Il segno dei punteggi non ha significato. Gli strumenti numerici JMP lo rendono in modo che il carico maggiore per ogni dimensione (caricamenti non ruotati) sia positivo. Questa convenzione è stata adottata per rendere i risultati riproducibili e unici (altrimenti richiedere 5 dimensioni e quindi 10 dimensioni può portare a risultati che differiscono di un fattore -1). La convenzione per i caricamenti deve essere attuata e applicata ai punteggi.
(2) L'analisi degli argomenti basata sull'SVD centrato e scalato ha le stesse regole per un limite superiore del numero di fattori dell'analisi fattoriale tradizionale. Ad esempio, se ci sono solo 10 valori singolari che sono maggiori di 1,0, non si chiederebbero mai più di 10 argomenti.
Laura Castro-Schilo, esperta residente di JMP R & S nell'analisi multivariata, ha scritto due eccellenti blog sulla comprensione e sull'utilizzo della corrispondenza tra Text Explorer e i classici metodi statistici multivariati.
Cavo JMPer: Il nuovo look di Text Explorer
Cavo JMPer: Analisi del testo nelle scienze sociali: un nuovo spettro di possibilità
@reese_sj ha scritto:
Stiamo lavorando sull'approccio Explorer testo e stiamo cercando di comunicare l'interpretazione dei punteggi degli argomenti. Ad esempio, un valore negativo rispetto a un valore positivo per un termine all'interno di un argomento. Puoi dirci a qualcuno che può aiutare con alcuni esempi? Il menu di aiuto suggerisce che un termine con valore negativo si verificherebbe meno frequentemente rispetto a un valore positivo, ma quando esaminiamo i set di dati effettivi, ciò non sembra essere in corso.
Quindi sembra che sia una scala lineare in cui ciascuna estremità è positiva e un'estremità è negativa. Quanto più una parola è verso un'estremità della scala indicherebbe un uso positivo o negativo. Ogni prospettiva è apprezzata.
