Ampliando algunas de las frases que encuentra Text ExplorerHola,
Estoy usando Text Explorer para encontrar frases en un corpus limpio que conozco bastante bien, texto de oráculo de cartas de Magic: The Gathering. Está haciendo un gran trabajo, pero hay algo que me gustaría mejorar. Encuentra la frase común "destruir hasta un objetivo", pero no encuentra las frases "destruir hasta una criatura objetivo" o "destruir hasta un encantamiento objetivo". Me gustaría poder encontrar estas. Son lo suficientemente comunes como para que probablemente debería encontrarlas. He aumentado el número máximo de palabras por frase de 10 a 100 a 1000 para ver si esto afectaría el comportamiento del algoritmo y no lo hizo. He desactivado todas las palabras vacías y no estoy usando lematización. Tengo el parámetro de número máximo de frases a encontrar en 50 000 y solo encontró unas 30 000, así que no creo que ese sea el problema.
Además de estos ajustes básicos, ¿hay algo que pueda hacer para "entrenar" el algoritmo de búsqueda de frases para que encuentre estas frases extendidas? No entiendo de expresiones regulares, pero tal vez se pueda hacer algo al respecto. Este tipo de truncamiento indeseado (al menos para los fines de mi investigación) ocurre en todo mi corpus, así que busco una solución que corrija este problema de forma sistemática, en lugar de una solución puntual, como añadir la frase específica con la que estoy trabajando. Creo que encontraría muchas de las frases que busco si se le pudiera enseñar a extender todas las frases existentes una palabra más. Imagino que hay alguna regla que le hace pensar que ha encontrado el punto de parada óptimo para cada frase a medida que añade una palabra a la vez, pero para este corpus, a menudo se detiene demasiado pronto. Por supuesto, está encontrando todo tipo de frases sin sentido de 10 palabras que no busco.
¿Alguien tiene alguna idea de cómo lograr que simplemente extienda cada una de las frases que encuentra con una palabra más?
No he notado que cambiar ninguna configuración marque la diferencia. ¿Alguien tiene alguna sugerencia?
Análisis y modelado de datos básicosInvestigación de mercado y del consumidorExploración y visualización de datosRe: Ampliación de algunas de las frases encontradas por Text ExplorerHola @caseylott ,
Buena idea: me pregunto si el LLM Prompt Runner del mercado podría ser un buen punto de partida; dejar que un LLM haga parte del trabajo duro de identificar frases clave o limpiar las entradas originales para simplificar la búsqueda de datos. El texto oracular de MTG tiene una gramática de dominio muy regular (verbo + "objetivo" + cuantificador opcional + tipo de objeto), por lo que una indicación de LLM que le pida que extraiga el objeto completo de cada cláusula de objetivo produciría de manera confiable "criatura objetivo", "encantamiento objetivo", "criatura o planeswalker objetivo", etc. como salida estructurada.
Otra opción sería cambiar la frase "destruir hasta un objetivo" por una sola frase: "destruir_hasta_un_objetivo". Actualmente, el explorador de texto divide las palabras individuales y, dado que ninguno de los términos finales predomina (es decir, no hay muchas veces "criatura objetivo"), se colocan como entradas individuales. Si la conviertes a "destruir_hasta_un_objetivo", aparecerá "destruir_hasta_un_objetivo criatura//encantamiento" o similar. Puedes usar Columna > Recodificar > Reemplazar cadena y hacer algo similar a la captura de pantalla que se muestra a continuación:
Re: Ampliación de algunas de las frases encontradas por Text ExplorerGracias, Ben. Probaré el truco de la recodificación manual. No estoy seguro de qué es la opción LLM en Marketplace, pero si es un complemento de pago, no la compraré.
Casey
“Los modelos erróneos también pueden ser peligrosos”.Re: Ampliación de algunas de las frases encontradas por Text ExplorerHola Ben,
Solo quería felicitarte y contarte que la recodificación manual funcionó de maravilla. Cada vez que encontraba una frase a la que parecía faltarle una palabra al final, simplemente la recodificaba como una sola palabra con guiones bajos y volvía a ejecutar el análisis con la misma configuración. En cada ocasión, aparecía la frase que buscaba. Por ejemplo, después de que "Al comienzo de cada oponente" se recodificara como "Al_comienzo_de_cada_oponente" y se añadiera a la lista de términos, la siguiente vez que ejecuté el explorador de texto, encontró "Al comienzo del mantenimiento de cada oponente", que era lo que buscaba desde el principio. Mi corpus y las frases que busco son lo suficientemente pequeños como para que probablemente pueda realizar este tipo de recodificaciones manuales en unos 20 o 30 lugares y encontrar todos los términos que busco. Para análisis más pequeños como este, siento que me han dado un truco infalible que usaré una y otra vez. Estoy muy agradecido.
Casey
Re: Ampliación de algunas de las frases encontradas por Text ExplorerHola @caseylott ,
LLM Prompt Runner (y todas las extensiones del marketplace) es gratuito. Se puede usar para enviar múltiples entradas de filas a un LLM y obtener su respuesta. Por ejemplo, si tengo todas las descripciones de las filas de una tarjeta, en lugar de solicitar manualmente a un LLM que proporcione un análisis (por ejemplo, "¿esta tarjeta es demasiado poderosa? Indíqueme un sí o un no"), lo enviará automáticamente a los LLM para cada entrada y recopilará la respuesta. Es muy útil para procesar datos, especialmente con texto semántico, donde diferentes descriptores pueden referirse esencialmente a lo mismo (o viceversa).
Si tienes pensado publicarlo en algún sitio público, ¡sería genial verlo!
Gracias,
Ben
