Text Explorer: trova documenti simili a partire da un determinato documentoQuindi, ho un corpus con migliaia di documenti che contengono i dettagli dei problemi che sono stati risolti in passato. È un vasto mucchio di conoscenze. Ogni documento contiene anche metadati (qualità dubbia+omissioni). I documenti contengono oltre 100 token che raccontano la storia di ciò che è stato fatto.
Immagina questo caso d'uso: attraverso filtri e metadati, ho trovato un documento (ID#5678) che è abbastanza vicino al problema che sto cercando di risolvere ora. Come posso trovare facilmente tutti i documenti simili a #5678?
Con la mia attuale conoscenza della piattaforma Text Explorer, potrei fare un'analisi degli argomenti, quindi cercare a quale argomento #5678 appartiene (diciamo #10), quindi guardare tutti i documenti in cui Argomento=10.
Esiste un modo migliore per farlo?
Grazie in anticipo dalla tempestosa Kuala Lumpur, Malesia!
Modellazione statistica avanzataEsplorazione e visualizzazione dei datiRe: Text Explorer: trova documenti simili a partire da un determinato documentoEhi, @markschahl !
L'analisi dell'argomento è a senso unico, sono anche un fan degli stessi grafici SVD (esempio nell'immagine sotto anche JMP Docs 1 e JMP Docs 2 ). I viticci che si allontanano dal centro della trama tendono ad avere temi simili. I grafici SVD del documento e SVD del termine forniscono visualizzazioni dei dati leggermente diverse. Ti consigliamo di dare un'occhiata a entrambi. Con un po' di fortuna, il tuo documento di interesse si posizionerà su un viticcio che dovrebbe darti dei buoni candidati.
Dato che disponi di metadati e token, potresti anche provare il componente aggiuntivo Torch. Ha alcuni modelli linguistici che potrebbero funzionare.
Re: Text Explorer: trova documenti simili a partire da un determinato documentoOltre al suggerimento di @MikeD_Anderson , potresti anche ottenere buoni risultati utilizzando l'analisi discriminante e delle corrispondenze. Ecco un post sul blog che descrive in dettaglio il processo.
Re: Text Explorer: trova documenti simili a partire da un determinato documentoPenso che tu voglia escludere i token che descrivono la soluzione perché stai cercando problemi simili che avevano soluzioni diverse.
Re: Text Explorer: trova documenti simili a partire da un determinato documentoJed:
Grazie. Ci ho provato. Invece di Autori avevo il tipo di piattaforma di produzione (pensa al tipo di unità di elaborazione in una raffineria o in un impianto chimico). Possiamo prevedere la piattaforma di produzione dalle parole nel testo della descrizione? Il tasso complessivo di errori di classificazione è stato del 60%. Osservando il riepilogo della classificazione, il tasso previsto più alto era di ~0,6. Pertanto, è lecito concludere che i problemi di una piattaforma non sono esclusivi di quella piattaforma, il che ha senso poiché esistono molte apparecchiature/processi comuni a tutte le piattaforme. La mia ipotesi secondo cui dovremmo cercare soluzioni attraverso le piattaforme sembra ragionevole...
Re: Text Explorer: trova documenti simili a partire da un determinato documentoMike:
Ciò che è interessante è confrontare l'analisi tematica con SVD. SVD mostra che circa il 56% parla delle stesse cose.
Sto ripensando a quanti argomenti/cluster dovrei chiedere. Qualche guida? Esiste un equivalente in scree-plot per questo?
Re: Text Explorer: trova documenti simili a partire da un determinato documentoCraige:
Ho molti metadati su quali strumenti/tecniche sono stati utilizzati per risolvere il problema. Ho effettuato un controllo incrociato con la storia in formato testo libero: ad esempio, posso fidarmi dei metadati o della storia come la vera verità. Proverò il tuo suggerimento: JMP è un token ad alta frequenza nel corpus...
Spero che la pensione ti stia trattando bene!
