Strategie per la rimozione di termini non importanti in Text Explorer AnalysisSono curioso del tipo di strategie che le persone stanno usando per decidere come rimuovere termini non importanti da un'analisi di Text Explorer.
Sto lavorando con un cliente e vogliono ridurre il numero di termini a qualcosa di più gestibile, e qualcosa che spiega più della variazione percentuale quando l'analisi sematic latente fa (la percentuale di Cum riportata sotto il valore singluar).
Interativamente eseguono l'analisi LSA, quindi l'analisi ruotata topica per l'x% superiore della Percentuale Cumum del Valore Singolare (vogliono arrivare al 70%), quindi rimuovono i termini.
Come rimuoviamo i termini in modo intelligente?
Ho suggerito di usare il valore assoluto di ciascun termine per ogni argomento e scegliere i punteggi più bassi (perché quelle parole non contribuiscono a QUALSIASI argomento).
Stavano anche usando il Gen Reg per modellare gli argomenti rispetto a una variabile di risultato per trovare argomenti non importanti per quel risultato e rimuovere i termini principali da argomenti a zero (con LASSO). Sono meno sicuro di questo approccio.
Qualche altro pensiero o idea là fuori? Dovrei postare questo alla comunità pubblica?
Ri: Strategie per la rimozione di termini non importanti in Text Explorer Analysisprova a eliminare le parole da tutti i termini che hanno più occorrenze di quanti siano i documenti. Quando l'ho fatto per i progetti dei libri di Gutenberg, ha reso le lingue meglio separate perché il testo inglese non era più disponibile. Almeno è così che ho interpretato i risultati.
Ri: Strategie per la rimozione di termini non importanti in Text Explorer AnalysisCi sono molti principi guida e regole ma ci sono molte eccezioni. Le regole ti portano solo lontano. Un'analisi significativa richiede che un esperto del dominio impieghi molto tempo nell'esaminare la lista dei termini (e in seguito l'elenco delle frasi) per scoprire termini insignificanti e fermarli (ala Craige). Sì, intendo curare la lista un termine alla volta.
Quindi questa analisi non è un processo completamente automatizzato. I tokenizzazione, i termini e i parametri di fraseggio aiutano ma sono uno sledghammer, non un bisturi. Tutti gli esperti a cui ho parlato durante la stesura del corso per JMP mi hanno detto che l'analista deve passare questo tempo sulla lista. Stavano usando SAS Text Miner, un sistema di analisi molto più potente di JMP, e comunque non poteva evitare questo lavoro.
Text Explorer offre meravigliosi strumenti per l'analista. Strumenti, non una soluzione.
Devo aggiungere che aiuta davvero a definire le domande a cui rispondere l'analisi. Questo insieme di domande ti sarà utile quando chiedi "Dovrei mantenere questo termine?" o "Come utilizzerei questo termine?"
Ri: Strategie per la rimozione di termini non importanti in Text Explorer AnalysisAggiunta del supporto a @markbailey . Oltre ad abbandonare le parole di collegamento comuni, ecc. come @Craige_Hales suggerisce, questo è un processo estremamente manuale. Un buon libro per ottenere i tratti più ampi che Mark menziona è Miner's Practical Text Mining - ma è un sacco di tentativi ed errori in qualsiasi modo lo si affetta.
MRi: Strategie per la rimozione di termini non importanti in Text Explorer AnalysisGrandi suggerimenti! Sto cercando specificatamente qualcosa dopo aver fatto tutti i termini e la cura della frase - qualcosa che è una tecnica analitica oltre "Penso che questa parola potrebbe essere importante". Adoro il suggerimento di Craige!
Disponiamo di tecniche ANALITICHE per trovare i termini migliori, quindi per quanto riguarda i termini di fondo?
Ri: Strategie per la rimozione di termini non importanti in Text Explorer AnalysisCiao Laura,
Una delle cose che ho ricordato da tempo era il suggerimento di generare la matrice SVD Scatterplot e di usare quella trama come strumento per aiutare a trovare le parole di stop sia dalla lista termini che da quella pharse. Seleziona alcune frasi e evidenzierà anche i termini. Puoi quindi "Mostra testo" per vedere se vuoi o meno mantenere i termini / frasi o aggiungerli come parole chiave.
Migliore,
Conto
Ri: Strategie per la rimozione di termini non importanti in Text Explorer AnalysisSe l'obiettivo è eliminare i termini importatnt rilevanti per una variabile di risultato, è possibile eseguire GenReg per la selezione delle variabili direttamente con le colonne DTM. Dal momento che si tratta di una grande regressione, ci vorrà un po 'di tempo per finire. Per l'esempio dei dati di Toronto Casino, ho eseguito il Lasso con 1.177 colonne DTM binarie. Ci sono voluti circa 20 minuti per completare. Ho trovato 483 termini (non zero) attivi di loro 203 sono statisticamente significativi (valore p <0,05).
Un approccio più visuale consiste nell'utilizzare l'opzione Coloring / By Column Value nel Word Cloud. Colorare le parole in base alla variabile del risultato ti consente di vedere quali parole sono associate ai risultati. Quelli con colori misti non sono o meno associati al risultato.
