Posso utilizzare JMP per analizzare gli articoli di giornale full-text in colonne separate per metodi, risultati e discussioni?Ciao a tutti,
Sono interessato a fare alcune analisi testuali su come le parole chiave/frasi variano tra le sezioni tematiche degli articoli di riviste scientifiche. Mi chiedo se sia possibile iniziare con un pdf e quindi generare colonne separate per i blocchi di testo contenuti in ciascuna delle sezioni identificabili della struttura dell'articolo. Ad esempio, potrei creare 8 colonne diverse con frammenti di testo dalle sezioni titolo, abstract, parole chiave, introduzione, metodi, risultati, discussione e letteratura?
Il mio punto di partenza per questo potrebbe: a) una cartella di pdf o b) una tabella jmp in cui ogni riga è un articolo e c'è una colonna che contiene tutto il testo di ogni articolo che ho già creato in JMP. Eventuali suggerimenti? Nota: ho solo JMP, non JMP Pro, quindi devo capire come farlo con questo vincolo.
Grazie a chiunque possa fornire spunti di riflessione.
Ri: Posso usare JMP per analizzare gli articoli di giornale full-text in colonne separate per metodi, risultati, discussioni? ALLEGATA TABELLA JMPNon credo che elaborare manualmente così tanti documenti sia fattibile!
Non mollare così presto. La Community ama le sfide!
Ri: Posso usare JMP per analizzare gli articoli di giornale full-text in colonne separate per metodi, risultati, discussioni? ALLEGATA TABELLA JMPGrazie, @Mark_Bailey . Penso che tu abbia ragione. Probabilmente sarebbe un progetto difficile anche con un sacco di esperienza nel dominio, che non ho. Nel mio caso, ho circa 5.700 pdf. Scimmiarmi attraverso questi in modo brutale, per lo più manuale, è probabilmente l'alternativa più fattibile per me in questo momento. Grazie per aver dedicato del tempo per rispondere.
Ri: Posso usare JMP per analizzare gli articoli di giornale full-text in colonne separate per metodi, risultati, discussioni? ALLEGATA TABELLA JMPPenso che questo progetto non sarà facile. Potrebbe non essere appropriato per una discussione qui a causa della lunghezza e della complessità del problema. Ma vediamo cosa possiamo fare.
La mia esperienza con l'analisi del testo è sempre stata con un corpus di una singola popolazione. Ad esempio, due anni fa ho usato le narrazioni sull'ammissione dei pazienti ai reparti di emergenza in 100 ospedali per scrivere un corso basato sulla FDE. Quel caso presentava una miriade di sfide, ma almeno c'era una coerenza sufficiente nei documenti per rendere possibile l'esecuzione dell'insieme di espressioni regolari gli obiettivi di tale analisi del testo. A questo punto non vuoi davvero l'analisi del testo (cioè, la matrice dei termini del documento). Vuoi analizzare i documenti nelle loro sezioni.
Penso che una soluzione richiederà una grande esperienza di dominio. Ho selezionato casualmente diversi documenti e non sono riuscito a trovare nulla in una manciata di documenti che potrei utilizzare come base per analizzare le sezioni desiderate. Sembra che ci siano molte convenzioni al lavoro e molti casi che non sembrano seguire alcuna convenzione.
Regex potrebbe non essere il giusto livello di elaborazione in questo caso. I modelli JMP sono molto potenti. Li capisco a livello di base ma non sono un esperto.Forse altri nella Comunità hanno l'esperienza necessaria per smontarlo.
Ri: Posso usare JMP per analizzare gli articoli di giornale full-text in colonne separate per metodi, risultati, discussioni? ALLEGATA TABELLA JMPCiao a tutti,
Ho allegato una tabella JMP a questo post che illustra dove sono bloccato a questo punto. Vorrei utilizzare il testo nella colonna "Testo minuscolo e spazio vuoto compresso" per creare i blocchi di testo nelle colonne vuote.
Capisco che questo processo sarà probabilmente impegnativo e dovrò occuparmi di molti casi speciali (ad es. documenti in cui i titoli delle sezioni differiscono, ad es. "introduzione" rispetto a "background").Ho iniziato a guardare le formule dei personaggi e dei modelli dei personaggi, che sembrano piuttosto promettenti, e sono stato sopraffatto abbastanza rapidamente. Il mio background riguarda solo l'analisi dei numeri, non del testo, quindi sto ancora recuperando. Se qualcuno potesse indicarmi alcune formule di carattere che potrebbero essere particolarmente utili qui, gli sarei grato.
Ri: Posso usare JMP per analizzare gli articoli di giornale full-text in colonne separate per metodi, risultati, discussioni?Ciao @Mark_Bailey e grazie per la risposta. Ho capito parte della tua risposta, ma forse non tutta. Ecco cosa so già fare: 1) importare un mucchio di pdf in una tabella jmp in modo che ogni articolo sia una riga e tutto il testo dell'articolo sia in una singola colonna; 2) esplorare questo Corpus utilizzando le funzioni standard di Esplora testo (aggiungere frasi a elenchi di termini, creare nuvole di parole, creare matrici di termini di documenti, ecc.).
Quello che non so fare è separare il testo di ogni documento da questa colonna in più colonne, chiamate, ad esempio, Introduzione (con solo il testo dell'introduzione di un articolo), Riassunto (con solo il testo dell'abstract degli articoli ), e così via. Stavo solo sperimentando un modo potenziale per farlo usando Text to Columns, dove trovo e sostituisco la parola "Introduzione") con "Introduzione (seguita qui da un personaggio stravagante che non si trova da nessuna parte nel corpus)". Quindi, ho diviso il testo in colonne usando il personaggio stravagante. Ciò funzionerebbe benissimo se la parola "introduzione" o "risultato" ricorresse solo una volta in ogni documento. Quando si verifica più di una volta, ottengo colonne disallineate tra gli articoli. L'unico modo in cui posso pensare di risolvere questo problema è valutare ogni caso della parola "Introduzione" durante l'operazione di ricerca e sostituzione, inserendo il carattere delimitatore solo quando la parola Introduzione viene utilizzata come una vera interruzione di sezione. Dato che sono un ecologista e abbastanza nuovo nell'analisi del testo, questo è abbastanza tipico del tipo di approcci inefficienti che ho manipolato con giuria per problemi come questo.
Ti dispiacerebbe fornire un esempio di come si potrebbe utilizzare qualsiasi altro comando di tabella o regex per analizzare la singola colonna con tutto il testo in più colonne con testo per sezioni di contenuto diverse? Nota: sono un vero principiante con regex, quindi presumo di non avere quasi nessuna conoscenza su questo argomento e inizierò a leggere.
Grazie ancora. Casey
Ri: Posso usare JMP per analizzare gli articoli di giornale full-text in colonne separate per metodi, risultati, discussioni?Sì, con il comando di importazione di file multipli e Esplora testo.
La formazione dell'elenco dei termini si basa su Parole Base (facili ma semplici) o Espressioni Regolari (più difficili ma più specifiche). Il metodo regex sarebbe migliore per trovare informazioni specifiche dal documento. È possibile personalizzare la regex applicata ai documenti. È possibile selezionare frasi e aggiungerle all'elenco dei termini. È quindi possibile salvare le colonne dell'indicatore o della frequenza nella tabella di dati originale.
Questa tabella di dati può anche essere creata con comandi di tabella e formule di colonna che utilizzano espressioni regolari, modelli di testo JMP e altre funzioni di stringhe di caratteri.
