Analisi basate sul testoC'è qualche riferimento materale all'analisi basata sul testo? Costruire specificamente un modello su un paio di campi basati su testo in un set di dati?
Ri: analisi basata sul testoGrazie mille! questo sicuramente mi metterà sulla pista di scrittura con questo. Apprezzo molto l'assistenza!Ri: analisi basata sul testoEsegui il seguente script per simulare il tuo set di dati:
Names Default to Here( 1 );
// simulate data set with client responses
dt = New Table( "Loans",
Add Rows( 25 ),
New Column( "Loan Description", "Character", "Unstructured Text" ),
New Column( "Key Term", "Character", "Nominal" ),
New Column( "Purpose of the Loan", "Character", "Nominal" ),
New Column( "Modified Purpose of Loan", "Character", "Nominal" )
);
// make a list of some target terms
target term = List(
"credit card balance ",
"home improvement ",
"new car "
);
For Each Row(
// make unstructured text
embedded term = target term[Random Integer( 1, N Items( target term ) )];
description =
Repeat( "blah ", Random Integer( 2, 5 ) ) ||
embedded term ||
Repeat( "blah ", Random Integer( 2, 5 ) );
Column( dt, 1 )[] = description;
// make structured response
purpose = If( Random Uniform() < 0.25,
"Other",
embedded term
);
Column( dt, 3 )[] = purpose;
);
dt << Suppress Formula Eval;( 1 );
// now show one solution
Column( dt, 2 ) << Set Formula(
Regex(
:Loan Description,
" credit card balance | home improvement | new car "
)
);
Column( dt, 4 ) << Set Formula(
If( :Purpose of the Loan == "Other",
:Key Term,
:Purpose of the Loan
)
);
dt << Suppress Formula Eval( 0 ) << Run Formulas;
Ignora lo script e ora concentrati sull'esempio della tabella di dati:
Presumo che il tuo set di dati reale abbia una colonna come la prima e la terza colonna di dati nel mio esempio sopra.
Ora puoi utilizzare le formule che ho creato nella seconda e terza colonna di dati per iniziare la tua soluzione.
Ri: analisi basata sul testoPenso che funzionerebbe. Quale sarebbe il modo migliore per iniziare?
Ri: analisi basata sul testoQuindi, potresti essere in grado di creare una nuova risposta (ad es. Lo scopo modificato) sostituendo il livello "altro" con una sottostringa che ottieni dal testo non strutturato per quelle osservazioni?
Ri: analisi basata sul testoPotrei usare un'altra colonna chiamata Scopo del prestito (il set di dati è dati di prestito). Ha definito le ragioni del perché qualcuno sta richiedendo un prestito. Tuttavia, il bucket di "Altro" è il punto in cui voglio visualizzare la Load_Description (questo è il campo modulo libero con un motivo). Voglio estrarre quelle parole chiave. Quindi, ad esempio, qualcuno avrebbe potuto scegliere Altro come uno scopo, ma nella descrizione, hanno spiegato che il prestito è per una ristrutturazione casa. La possibilità di definire ulteriormente le righe con Altro contribuirà a migliorare la previsione generale.
Ri: analisi basata sul testoComprendo che il testo originale è costituito da dati non strutturati in una colonna di dati carattere. Si desidera estrarre termini specifici dal testo in nuove colonne di dati (variabili strutturate) da utilizzare come predittori in alcuni modelli. Presumibilmente hai una risposta conosciuta per l'apprendimento supervisionato oppure utilizzerai le nuove colonne in modo esplorativo, magari con altre covariate nel set di dati?
Ri: analisi basata sul testoNominale. Penso che la forma fosse un testo libero.
Ri: analisi basata sul testoBene, i due modi in cui ti ho mostrato producono un singolo predittore con livelli della sottostringa corrispondente (o mancante) o più predittori come indicatori per la presenza di una sottostringa specifica. La scelta di uno di questi approcci non farà la differenza in un modello di regressione o in un modello di partizione, ma potrebbe fare la differenza in un modello di rete neurale. Qual è la variabile di risposta?
Ri: analisi basata sul testoCredo di si. Ho una lista di parole chiave da cui vorrei sviluppare il modello. Sarebbe più semplice creare una colonna fittizia con una formula per indicare dove sono state trovate le parole chiave nella riga? Sto pensando che potrebbe essere un modo più semplice per identificare ciò che è nel testo. Alcune di queste risposte sono paragraghs interi, proprio come nell'esempio che ho postato.
Ri: analisi basata sul testoPenso che potrebbe essere più facile creare variabili predittive (colonne di dati) che fungono da indicatori per un modello. Sembra che la maggior parte del testo non sia informativo per il tuo scopo.
La tua colonna potrebbe usare qualcosa come:
Regex( :text, " balance | credit card " )
se vuoi una colonna di un singolo carattere per mostrare il risultato della stessa riga in una colonna chiamata testo. Potresti usare qualcosa come questo:
Contains( :text, " balance " ) > 0
se si desidera una colonna indicatore separata per ogni stringa di destinazione, come il saldo sopra.
Uno di questi suggerimenti sta andando nella direzione corretta?
Ri: analisi basata sul testoSicuro. I suoi dati non strutturati. Quello che sto cercando di fare è costruire un modello dove cercherà frasi specifiche; Home Improvement, Debito Consolidamento, Mutuo, ecc. Quindi, se i dati nel mio campo contenessero questo:
Diversi anni fa mia moglie ha fondato un'azienda grafica e, poiché era ancora al college, ha deciso di utilizzare un credito carta per aiutare a finanziare l'avvio. Ora diversi anni dopo ha ancora il equilibrio da quelle spese e la società da allora si è dissolta (ha scelto di prendere una posizione salariale una volta che abbiamo avuto il nostro primo di due figli). Perché il equilibrio è così alto che inviamo un grande pagamento mensile, che a sua volta, mangia i nostri soldi per il mese e il risultato, è dover utilizzare lo stesso carta di credito. L'equilibrio non si è davvero mosso da più di 2 anni e non vedo la fine in vista. Per favore aiuto. Avere un pagamento fisso e un prestito a termine ci darà la certezza che questo andrà meglio e possiamo iniziare a investire nel futuro del nostro bambino. Grazie in anticipo.
Voglio estrarre le parole che sono in grassetto sopra. È possibile?
Ri: analisi basata sul testoPotresti descrivere la natura dei campi di testo e del modello? Ad esempio, i dati non strutturati del testo? Sono le risposte alle domande del sondaggio?
