¿Puedo usar JMP para analizar artículos de revistas de texto completo en columnas separadas para métodos, resultados, discusión?Hola a todos,
Estoy interesado en hacer algunos análisis de texto sobre cómo las palabras clave/frases varían entre secciones temáticas en artículos de revistas científicas. Me pregunto si es posible comenzar con un pdf y luego generar columnas separadas para los fragmentos de texto contenidos en cada una de las secciones identificables de la estructura del artículo. Por ejemplo, ¿podría crear 8 columnas diferentes con fragmentos de texto de las secciones de título, resumen, palabras clave, introducción, métodos, resultados, discusión y literatura citada?
Mi punto de partida para esto podría ser: a) una carpeta de archivos PDF ob) una tabla jmp donde cada fila es un artículo y hay una columna que contiene todo el texto de cada artículo que ya he creado en JMP. ¿Alguna sugerencia? Nota: solo tengo JMP, no JMP Pro, por lo que necesito descubrir cómo hacer esto con esta restricción.
Gracias a cualquiera que pueda proporcionar información.
Re: ¿Puedo usar JMP para analizar artículos de revistas de texto completo en columnas separadas para métodos, resultados, discusión? TABLA JMP ADJUNTA¡No creo que procesar manualmente tantos documentos sea factible!
No te rindas tan pronto. ¡A la comunidad le encantan los desafíos!
Re: ¿Puedo usar JMP para analizar artículos de revistas de texto completo en columnas separadas para métodos, resultados, discusión? TABLA JMP ADJUNTAGracias, @Mark_Bailey . Creo que tienes razón. Probablemente sería un proyecto difícil incluso con un montón de experiencia en el dominio, que no tengo. En mi caso, tengo unos 5.700 pdf. Abriéndome camino a través de estos con fuerza bruta, en su mayoría de forma manual, es probablemente la alternativa más factible para mí en este momento. Gracias por tomarte el tiempo de responder.
Re: ¿Puedo usar JMP para analizar artículos de revistas de texto completo en columnas separadas para métodos, resultados, discusión? TABLA JMP ADJUNTACreo que este proyecto no va a ser fácil. Puede que no sea apropiado para una discusión aquí debido a la longitud y complejidad del problema. Pero veamos qué podemos hacer.
Mi experiencia con el análisis de textos siempre ha sido con un corpus de una sola población. Por ejemplo, hace dos años usé narrativas sobre la admisión de pacientes a los departamentos de emergencia en 100 hospitales para escribir un curso basado en FDE. Ese caso presentó una miríada de desafíos, pero al menos hubo suficiente consistencia en los documentos para hacer posible lograr el conjunto de expresiones regulares. los objetivos de ese análisis de texto. Realmente no desea realizar un análisis de texto (es decir, una matriz de términos del documento) en este momento. Desea analizar los documentos en sus secciones.
Creo que una solución requerirá una gran cantidad de experiencia en el dominio. Elegí varios documentos al azar y no pude encontrar nada en un puñado de documentos que pudiera usar como base para analizar las secciones que desea. Parece haber muchas convenciones en el trabajo y muchos casos que no parecen seguir ninguna convención en absoluto.
Regex podría no ser el nivel correcto de procesamiento en este caso. Los patrones JMP son muy poderosos. Los entiendo a un nivel básico pero no soy un experto.Quizás otros en la Comunidad tengan la experiencia necesaria para desarmarlo.
Re: ¿Puedo usar JMP para analizar artículos de revistas de texto completo en columnas separadas para métodos, resultados, discusión? TABLA JMP ADJUNTAHola a todos,
Adjunté una tabla JMP a esta publicación que ilustra dónde estoy atascado en este punto. Me gustaría usar el texto en la columna "Texto en minúsculas y espacios en blanco colapsados" para crear los fragmentos de texto en las columnas vacías.
Entiendo que este proceso probablemente será desafiante y tendré que lidiar con muchos casos especiales (p. ej., artículos en los que los títulos de las secciones difieren, p. ej., "introducción" versus "antecedentes").Empecé a buscar fórmulas de personajes y patrones de personajes, lo que parece bastante prometedor, y me abrumé bastante rápido. Mi experiencia es solo con el análisis de números, no de texto, por lo que todavía me estoy poniendo al día. Si alguien pudiera señalarme algunas fórmulas de caracteres que podrían ser particularmente útiles aquí, estaría agradecido.
Re: ¿Puedo usar JMP para analizar artículos de revistas de texto completo en columnas separadas para métodos, resultados, discusión?Hola @Mark_Bailey Y gracias por la respuesta. Entendí parte de tu respuesta, pero tal vez no toda. Esto es lo que ya sé hacer: 1) importar un montón de archivos PDF en una tabla jmp para que cada artículo sea una fila y todo el texto del artículo esté en una sola columna; 2) explorar este Corpus utilizando las funciones estándar de Text Explorer (agregar frases a listas de términos, crear nubes de palabras, crear matrices de términos de documentos, etcétera).
Lo que no sé cómo hacer es separar el texto de cada documento de esta columna en varias columnas, llamadas, por ejemplo, Introducción (con solo el texto de la introducción de un artículo), Resumen (con solo el texto del resumen de los artículos ), y así. Solo estaba experimentando con una forma potencial de hacer esto usando Texto en columnas, donde encuentro y reemplazo la palabra "Introducción") con "Introducción (seguida aquí por un carácter extravagante que no aparece en ninguna parte del corpus)". Luego, divido el texto en columnas usando el carácter loco. Esto funcionaría muy bien si la palabra "introducción" o "resultado" solo apareciera una vez en cada documento. Cuando ocurre más de una vez, obtengo columnas desalineadas en los artículos. La única forma que se me ocurre de arreglar esto es evaluar cada caso de la palabra "Introducción" durante la operación de buscar y reemplazar, solo insertando el carácter delimitador cuando la palabra Introducción se usa como un verdadero salto de sección. Dado que soy un ecologista y bastante nuevo en el análisis de texto, esto es bastante típico de los tipos de enfoques ineficientes que he estado manipulando para problemas como este.
¿Le importaría dar un ejemplo de cómo se podría usar cualquier otro comando de tabla o expresión regular para analizar la única columna con todo el texto en varias columnas con texto para diferentes secciones de contenido? Nota: soy un verdadero principiante con expresiones regulares, así que suponga que casi no tengo conocimiento sobre este tema y comenzaré a leer.
Gracias de nuevo. Casey
Re: ¿Puedo usar JMP para analizar artículos de revistas de texto completo en columnas separadas para métodos, resultados, discusión?Sí, con el comando Importación de archivos múltiples y el Explorador de texto.
La formación de la lista de términos se basa en Palabras Básicas (fáciles pero simples) o Expresiones Regulares (más difíciles pero más específicas). El método regex sería mejor para encontrar información específica del documento. Puede personalizar la expresión regular que se aplica a los documentos. Puede seleccionar frases y agregarlas a la lista de términos. A continuación, puede volver a guardar las columnas de indicador o frecuencia en la tabla de datos original.
Esta tabla de datos también se puede crear con comandos de tabla y fórmulas de columna que usan expresiones regulares, patrones de texto JMP y otras funciones de cadenas de caracteres.
