960862_fr-FR

liliconcom

Extension de certaines phrases trouvées par Text Explorer

Salut,

J'utilise Text Explorer pour rechercher des expressions dans un corpus propre que je connais bien : le texte des cartes Magic: The Gathering. Il fonctionne très bien, mais j'aimerais l'améliorer. Il trouve l'expression courante « détruire jusqu'à une cible », mais pas les expressions « détruire jusqu'à une créature ciblée » ni « détruire jusqu'à un enchantement ciblé ». J'aimerais qu'il les trouve. Elles sont suffisamment fréquentes pour qu'elles soient détectées. J'ai augmenté le nombre maximal de mots par expression de 10 à 100 puis à 1 000 pour voir si cela influençait le comportement de l'algorithme, sans succès. J'ai désactivé la suppression des mots vides et je n'utilise pas la racinisation. J'ai fixé le nombre maximal d'expressions à rechercher à 50 000 et il n'en a trouvé qu'environ 30 000 ; je ne pense donc pas que le problème vienne de là.

Outre ces paramètres de base, existe-t-il un moyen d'« entraîner » l'algorithme de recherche d'expressions à trouver ces expressions étendues ? Je ne maîtrise pas les expressions régulières, mais peut-être y a-t-il une piste à explorer ? Ce type de troncature (du moins pour les besoins de ma recherche) est fréquent dans mon corpus. Je cherche donc une solution systémique, plutôt qu'une correction ponctuelle comme l'ajout de l'expression spécifique recherchée. Je pense que je trouverais la plupart des expressions recherchées si l'algorithme pouvait être entraîné à étendre toutes les expressions existantes d'un mot. J'imagine qu'une règle lui permet de déterminer le point d'arrêt optimal pour chaque expression en ajoutant un mot à la fois, mais pour ce corpus, il s'arrête souvent un peu trop tôt. Bien sûr, il trouve aussi des expressions de dix mots sans queue ni tête que je ne recherche pas.

Quelqu'un aurait-il une idée de comment faire pour qu'il allonge d'un seul mot chacune des phrases qu'il trouve ?

Je n'ai constaté aucune différence en modifiant les paramètres. Quelqu'un aurait-il une suggestion ?

Analyse et modélisation de données de baseÉtudes de marché et de consommationExploration et visualisation des donnéesRe : Extension de certaines phrases trouvées par l’explorateur de texte

Salut @caseylott ,

Excellente idée ! Je me demande si LLM Prompt Runner, disponible sur la marketplace, pourrait être un bon point de départ : laisser un LLM se charger d'identifier les expressions clés et de nettoyer les entrées originales pour simplifier la recherche de données. Le texte oracle de MTG possède une grammaire de domaine très régulière (verbe + « cible » + quantificateur optionnel + type d'objet). Ainsi, une requête LLM lui demandant d'extraire l'objet complet de chaque clause de ciblage produirait de manière fiable « créature cible », « enchantement cible », « créature ou planeswalker cible », etc., sous forme de sortie structurée.

Une autre option serait de remplacer l'expression « détruire jusqu'à une cible » par une seule phrase : « détruire_jusqu'à_une_cible ». Actuellement, l'explorateur de texte sépare les mots, et comme aucun des termes finaux n'est prédominant (par exemple, « créature cible » est peu présent), ils sont affichés comme des entrées individuelles. Si vous convertissez en « détruire_jusqu'à_une_cible », cela donnera « détruire_jusqu'à_une_cible créature//enchantement » ou une formulation similaire. Vous pouvez utiliser Colonne > Recoder > Remplacer la chaîne et procéder comme indiqué dans la capture d'écran ci-dessous :

Re : Extension de certaines phrases trouvées par l’explorateur de texteMerci Ben. Je vais essayer la méthode de recodage manuel. Je ne sais pas exactement ce qu'est l'option LLM sur Marketplace, mais si c'est un module complémentaire payant, je préfère m'abstenir.

Casey

« Les mauvais modèles peuvent aussi être dangereux. »Re : Extension de certaines phrases trouvées par l’explorateur de texte

Salut Ben,

Je tenais à vous féliciter et à vous informer que le recodage manuel a parfaitement fonctionné. Chaque fois qu'une expression semblait incomplète, je la recodais simplement en un seul mot avec des tirets bas et relançais l'analyse avec les mêmes paramètres. À chaque fois, l'expression recherchée apparaissait. Par exemple, après avoir recodé « At the beginning of each opponents » en « At_ the_beginning_of_each_opponents » et l'avoir ajouté à la liste des termes, l'explorateur de texte a trouvé « At beginning of each opponents upkeep », soit l'expression que je cherchais initialement. Mon corpus et les expressions recherchées étant suffisamment restreints, je peux probablement effectuer ce type de recodage manuel à une vingtaine ou une trentaine d'endroits et ainsi trouver tous les termes nécessaires. Pour des analyses de cette envergure, c'est une véritable astuce que je réutiliserai sans aucun doute. Je vous en suis très reconnaissant.

Casey

Re : Extension de certaines phrases trouvées par l’explorateur de texte

Salut @caseylott ,

LLM Prompt Runner (et toutes ses extensions disponibles sur la marketplace) est gratuit. Il permet d'envoyer plusieurs entrées de ligne à un LLM et d'obtenir sa réponse. Par exemple, si je dispose de toutes les descriptions de ligne d'une carte, au lieu de demander manuellement à un LLM de les analyser (par exemple : « Cette carte est-elle surpuissante ? Répondez par oui ou non »), il les transmet automatiquement aux LLM pour chaque entrée et collecte la réponse. C'est très utile pour le traitement de données, notamment avec du texte sémantique où différents descripteurs peuvent désigner la même chose (et inversement).

Si vous comptez publier ceci quelque part publiquement, ce serait super de voir ça !

Merci,

Ben