Estensione di alcune delle frasi trovate da Text ExplorerCiao,
Sto usando Text Explorer per trovare frasi in un corpus pulito che conosco abbastanza bene, ovvero il testo oracolo delle carte di Magic: The Gathering. Sta facendo un ottimo lavoro, ma c'è qualcosa che vorrei migliorare. Trova la frase comune "distruggi fino a un bersaglio", ma non trova le frasi "distruggi fino a una creatura bersaglio" o "distruggi fino a un incantesimo bersaglio". Vorrei riuscire a trovarle. Sono abbastanza comuni da poter essere trovate. Ho aumentato il numero massimo di parole per frase da 10 a 100 a 1000 per vedere se questo influenzava il comportamento dell'algoritmo, ma non è cambiato nulla. Ho disattivato tutte le stop word e non sto usando lo stemming. Ho impostato il parametro per il numero massimo di frasi da trovare a 50.000 e ne ha trovate solo circa 30.000, quindi non credo che il problema sia quello.
A parte queste impostazioni di base, c'è qualcosa che posso fare per "addestrare" l'algoritmo di ricerca delle frasi a trovare queste frasi estese? Non capisco le espressioni regolari (Regex), ma forse si potrebbe fare qualcosa in quel senso? Questo tipo di troncamento indesiderato (almeno per gli scopi della mia ricerca) si verifica in tutto il mio corpus, quindi sto cercando una soluzione che risolva il problema in modo sistematico, piuttosto che una soluzione temporanea, come aggiungere la frase specifica che sto cercando. Penso che troverei molte delle frasi che cerco se l'algoritmo potesse semplicemente essere addestrato ad estendere tutte le frasi esistenti di una parola. Immagino che ci sia una regola che gli faccia pensare di aver trovato il punto di arresto ottimale per ogni frase mentre aggiunge una parola alla volta, ma per questo corpus, spesso si ferma un po' troppo presto. Ovviamente, in questo modo trova ogni sorta di frasi senza senso di 10 parole che non sto cercando.
Qualcuno ha un'idea su come fare in modo che il programma estenda di una sola parola ciascuna delle frasi che trova?
Non ho notato alcuna differenza modificando le impostazioni. Qualcuno ha qualche suggerimento?
Analisi e modellazione di base dei datiRicerca sui consumatori e sul mercatoEsplorazione e visualizzazione dei datiOggetto: Estensione di alcune delle frasi trovate da Text ExplorerCiao @caseylott ,
Ottima idea! Mi chiedo se LLM Prompt Runner, disponibile sul marketplace, potrebbe essere un buon punto di partenza: lasciare che un LLM si occupi di parte del lavoro più complesso, come identificare le frasi chiave o ripulire le voci originali per semplificare la ricerca dei dati. Il testo oracolare di MTG ha una grammatica di dominio molto regolare (verbo + "bersaglio" + quantificatore opzionale + tipo di oggetto), quindi un prompt LLM che gli chieda di estrarre l'oggetto completo di ogni clausola di bersaglio produrrebbe in modo affidabile un output strutturato del tipo "creatura bersaglio", "incantesimo bersaglio", "creatura o planeswalker bersaglio", ecc.
Un'altra opzione sarebbe quella di trasformare la frase "distruggi fino a un bersaglio" in un'unica frase "distruggi_fino_a_un_bersaglio". Attualmente, l'esploratore di testo separa le singole parole e, poiché nessuno dei termini finali è dominante (ovvero non ci sono molte occorrenze di "creatura bersaglio"), vengono inseriti come voci singole. Se converti in "distruggi_fino_a_un_bersaglio", verrà visualizzato "distruggi_fino_a_un_bersaglio creatura//incantesimo" o qualcosa di simile. Puoi usare Colonna > Ricodifica > Sostituisci stringa e fare qualcosa di simile allo screenshot qui sotto:
Oggetto: Estensione di alcune delle frasi trovate da Text ExplorerGrazie, Ben. Proverò il trucco della ricodifica manuale. Non sono sicuro di cosa sia l'opzione LLM sul Marketplace, ma se si tratta di un componente aggiuntivo a pagamento, lascerò perdere.
Casey
“Anche i modelli sbagliati possono essere pericolosi”Oggetto: Estensione di alcune delle frasi trovate da Text ExplorerCiao Ben,
Volevo solo farti i complimenti e farti sapere che la ricodifica manuale ha funzionato benissimo. Ogni volta che trovavo una frase a cui sembrava mancare una parola alla fine, la ricodificavo semplicemente come un'unica parola con dei trattini bassi e rieseguivo l'analisi con le stesse impostazioni. Ogni volta, la frase che cercavo compariva. Ad esempio, dopo aver ricodificato "At the beginning of each opponents" in "At_ the_beginning_of_each_opponents" e averla spostata nell'elenco dei termini, la volta successiva che ho eseguito Text Explorer ha trovato "At the beginning of each opponents upkeep", che era proprio quello che cercavo. Il mio corpus e le frasi che sto cercando sono abbastanza piccole da permettermi di effettuare questo tipo di ricodifica manuale in circa 20-30 punti e trovare efficacemente tutti i termini che mi interessano. Per analisi di piccole dimensioni come questa, mi sembra di aver ricevuto un "trucco" che userò ripetutamente. Sono grato.
Casey
Oggetto: Estensione di alcune delle frasi trovate da Text ExplorerCiao @caseylott ,
LLM Prompt Runner (e tutte le estensioni disponibili sul marketplace) è gratuito: può essere utilizzato per inviare più voci di riga a un LLM e riceverne la risposta. Ad esempio, se ho tutte le descrizioni di riga di una carta, invece di chiedere manualmente a un LLM di fornire un'analisi (ad esempio "questa carta è troppo potente? Dammi un sì/no"), il sistema invierà automaticamente la richiesta agli LLM per ogni voce e raccoglierà la risposta. È molto utile per l'elaborazione dei dati, soprattutto con testi semantici in cui diversi descrittori possono essere utilizzati per indicare essenzialmente la stessa cosa (o viceversa).
Se hai intenzione di pubblicarlo da qualche parte, mi farebbe piacere vederlo!
Grazie,
Ben
