113195_it-IT

liliconcom

I risultati del clustering cambiano ogni volta che eseguo l'analisi della classe latente (LCA) sui miei dati di testo

Ciao,

 

Ho usato LCA del modulo di esplorazione del testo per raggruppare i miei dati di testo, ma ogni volta che lo eseguo. mi dà risultati diversi. Qualcuno sa perché succede?

 

Inoltre, qual è la differenza tra questi due metodi di cluster sulla piattaforma di esplorazione del testo, analisi della classe latente (LCA) e Raggruppamento di documenti nell'analisi semantica latente ?

Ri: Il risultato del clustering cambia ogni volta che eseguo l'analisi della classe latente (LCA) sui miei dati di testo

Puoi anche trovare molte risposte nella documentazione di JMP.

 

Vedi Aiuto> Libri> Analisi di base> Text Explorer.

 

Vedi Aiuto> Libri> Metodi multivariati> Analisi della classe latente.

Ri: Il risultato del clustering cambia ogni volta che eseguo l'analisi della classe latente (LCA) sui miei dati di testo

Bene, entrambi i metodi usano semi casuali per i cluster iniziali, quindi c'è una differenza da un punto all'altro.

 

Il metodo LCA dedicato nel TE può gestire matrici molto più grandi. I valori numerici potrebbero comportare una differenza, a parte l'aspetto del seme casuale.

 

L'hai provato? È possibile salvare il DTM con ponderazione da TE e quindi analizzarlo con la piattaforma LCA separata da TE.

 

Per favore non quello identità dei cluster è casuale ma la composizione di ciascun cluster dovrebbe essere stabile, sebbene non necessariamente identica. Cioè, il cluster 1 in una corsa potrebbe diventare il cluster 10 in un'altra corsa o in un'altra piattaforma, ma i costituenti dovrebbero essere essenzialmente gli stessi. Se tra i documenti non c'è molta somiglianza, allora potrebbero esserci grandi cambiamenti nei cluster da run-to-run o da piattaforma a piattaforma. La scelta del numero di cluster può anche influire sulla stabilità della composizione del cluster.

Ri: Il risultato del clustering cambia ogni volta che eseguo l'analisi della classe latente (LCA) sui miei dati di testo

Ho anche notato che LSA può raggruppare documenti, ha risultati diversi rispetto ai cluster in LCA?

Ri: Il risultato del clustering cambia ogni volta che eseguo l'analisi della classe latente (LCA) sui miei dati di testo

Non ho risposto a una delle tue domande originali sulla differenza tra analisi di classi latenti e analisi semantica latente. Entrambi questi metodi producono cluster. Entrambi i metodi sono basati sull'espressione di variabili latenti. LCA raggruppa i documenti in base alla matrice del documento-termine ponderata, quindi la domanda riguarda documenti simili. I termini dei cluster LSA, anche in base al DTM ponderato, quindi la domanda riguarda i termini. I cluster di LSA possono identificare argomenti latenti.

Ri: Il risultato del clustering cambia ogni volta che eseguo l'analisi della classe latente (LCA) sui miei dati di testo

La piattaforma LCA e la LCA disponibili nella piattaforma Text Explorer svolgono lo stesso compito. La piattaforma LCA è uno strumento generale per qualsiasi set di dati multivariato. La LCA incorporata in TE, tuttavia, è stata personalizzata per l'analisi del testo. In primo luogo, i risultati del raggruppamento sono presentati nel contesto della ricerca di documenti simili nel corpus. In secondo luogo, la matrice dei termini-documento sparsa richiede una nuova soluzione per la decomposizione del valore singolare.

Ri: Il risultato del clustering cambia ogni volta che eseguo l'analisi della classe latente (LCA) sui miei dati di testo

Grazie! Funziona!

 

Inoltre, sono curioso di sapere se la differenza tra LCA nel testo esplora la piattaforma e i documenti del cluster in Latent Semantic Analysis, qualche idea?

Ri: Il risultato del clustering cambia ogni volta che eseguo l'analisi della classe latente (LCA) sui miei dati di testo

LCA utilizza semi casuali per iniziare il processo di clustering. Penso che tu possa impostare i semi casuali prima di ogni corsa LCA e riprodurre l'adattamento precedente.

Ri: Il risultato del clustering cambia ogni volta che eseguo l'analisi della classe latente (LCA) sui miei dati di testo

Ho pensato di pubblicare una risposta che ho ricevuto dal supporto tecnico di JMP sull'impostazione del seed casuale.

 

"Per generare risultati riproducibili da Latent Class Analysis in Text Explorer, è necessario impostare i seed casuali prima di ognuno utilizzando la funzione JSL Random Reset ().

 

Ecco un esempio che utilizza i dati campione dell'indagine dell'animale domestico che si adatta al LCA per cinque volte, con il ripristino del seme casuale prima di ciascuno.  Tutti i 5 risultati LCA dovrebbero essere identici. "

 

 

dt = Aperto ( "$ SAMPLE_DATA / Pet Survey.jmp" );

te = Text Explorer (

   Colonne di testo (: Risposta al sondaggio),

    Imposta Regex (Libreria ( "Parole" )),

    Linguaggio( "Inglese" ),

   );

 

per (I = 1 , io <= 5 , io ++, // esegue LCA cinque volte

RandomReset ( 123 ); // imposta i semi casuali prima di ciascuno

lca = te << Analisi della classe latente (

        Numero di cluster ( 5 ),

        Numero massimo di termini ( 143 ),

        Frequenza a termine minimo ( 2 )

   ));