Análisis basado en texto¿Hay algún buen material de referencia en el análisis basado en texto? ¿Construir específicamente un modelo en un par de campos basados en texto en un conjunto de datos?
Re: análisis basado en textoMuchas gracias! Esto definitivamente me pondrá en la pista de escritura con esto. ¡Aprecio mucho la ayuda!Re: análisis basado en textoEjecute el siguiente script para simular su conjunto de datos:
Names Default to Here( 1 );
// simulate data set with client responses
dt = New Table( "Loans",
Add Rows( 25 ),
New Column( "Loan Description", "Character", "Unstructured Text" ),
New Column( "Key Term", "Character", "Nominal" ),
New Column( "Purpose of the Loan", "Character", "Nominal" ),
New Column( "Modified Purpose of Loan", "Character", "Nominal" )
);
// make a list of some target terms
target term = List(
"credit card balance ",
"home improvement ",
"new car "
);
For Each Row(
// make unstructured text
embedded term = target term[Random Integer( 1, N Items( target term ) )];
description =
Repeat( "blah ", Random Integer( 2, 5 ) ) ||
embedded term ||
Repeat( "blah ", Random Integer( 2, 5 ) );
Column( dt, 1 )[] = description;
// make structured response
purpose = If( Random Uniform() < 0.25,
"Other",
embedded term
);
Column( dt, 3 )[] = purpose;
);
dt << Suppress Formula Eval;( 1 );
// now show one solution
Column( dt, 2 ) << Set Formula(
Regex(
:Loan Description,
" credit card balance | home improvement | new car "
)
);
Column( dt, 4 ) << Set Formula(
If( :Purpose of the Loan == "Other",
:Key Term,
:Purpose of the Loan
)
);
dt << Suppress Formula Eval( 0 ) << Run Formulas;
Ignore el script y ahora concéntrese en el ejemplo de la tabla de datos:
Supongo que su conjunto de datos real tiene una columna como la primera y la tercera columnas de datos en mi ejemplo anterior.
Ahora puede usar las fórmulas que hice en la segunda y tercera columnas de datos para comenzar su solución.
Re: análisis basado en textoCreo que eso funcionaría. ¿Cuál sería la mejor manera de empezar?
Re: análisis basado en textoEntonces, ¿podría ser capaz de crear una nueva respuesta (es decir, un propósito modificado) sustituyendo el nivel "otro" con una subcadena que obtiene del texto no estructurado para esas observaciones?
Re: análisis basado en textoPodría usar otra columna llamada Propósito del préstamo (el conjunto de datos es información del préstamo). Ha definido razones de por qué alguien está solicitando un préstamo. Sin embargo, el grupo de "Otros" es donde quiero mirar a través de la descripción de la carga (este es el campo de formulario libre con una razón) Quiero sacar esas palabras clave. Entonces, por ejemplo, alguien podría haber elegido Otro como un propósito, pero en la descripción, explicaron que el préstamo es para una remodelación de una casa. La capacidad de definir mejor las filas con Otro ayudará a mejorar la predicción general.
Re: análisis basado en textoEntiendo que el texto original son datos no estructurados en una columna de datos de caracteres. Desea extraer términos específicos del texto en nuevas columnas de datos (variables estructuradas) para usarlos como predictores en algún modelo. Es de suponer que tiene una respuesta conocida para el aprendizaje supervisado o si no va a utilizar las nuevas columnas de forma exploratoria, ¿quizás con otras covariables en el conjunto de datos?
Re: análisis basado en textoNominal. Creo que la forma era texto libre.
Re: análisis basado en textoBueno, las dos formas en que te mostré producen un predictor único con niveles de la subcadena coincidente (o falta) o múltiples predictores como indicadores de la presencia de una subcadena específica. La elección de uno de estos enfoques no hará una diferencia en un modelo de regresión o en un modelo de partición, pero podría hacer una diferencia en un modelo de red neuronal. ¿Cuál es la variable de respuesta?
Re: análisis basado en textoCreo que sí. Tengo una lista de palabras clave de las que me gustaría desarrollar el modelo. ¿Sería más fácil crear una columna ficticia con una fórmula para indicar dónde se encontró cada una de las palabras clave en la fila? Estoy pensando que podría ser una manera más fácil de identificar lo que está en el texto. Algunas de estas respuestas son parábolas completas, como el ejemplo que publiqué.
Re: análisis basado en textoCreo que podría ser más fácil crear variables de predicción (columnas de datos) que actúen como indicadores para un modelo. Parece que la mayor parte del texto no es informativo para su propósito.
Tu columna podría usar algo como:
Regex( :text, " balance | credit card " )
si desea que una columna de un solo carácter muestre el resultado de la misma fila en una columna llamada texto. Podrías usar algo como esto:
Contains( :text, " balance " ) > 0
si desea una columna de indicador separada para cada cadena de destino, como el saldo de arriba.
¿Alguna de estas sugerencias va en la dirección correcta?
Re: análisis basado en textoPor supuesto. Sus datos no estructurados. Lo que estoy tratando de hacer es construir un modelo donde busque frases específicas; Mejoras para el hogar, consolidación de débito, hipoteca, etc. Entonces, si los datos en mi campo contienen esto:
Hace varios años, mi esposa comenzó una empresa de diseño gráfico y, como todavía estaba en la universidad, decidió usar una crédito tarjeta Para ayudar a financiar la puesta en marcha. Ahora, varios años después, todavía tiene la equilibrar de esos gastos y la compañía se ha disuelto desde entonces (ella eligió tomar una posición asalariada una vez que tuvimos el primero de nuestros dos hijos). Porque el equilibrar es tan alto que enviamos un gran pago mensual, que a su vez, consume el dinero que gastamos durante el mes y el resultado es tener que usar el mismo tarjeta de crédito. El balance Realmente no se ha movido en más de 2 años y no veo un final a la vista. Por favor ayuda. Tener un pago fijo y un préstamo a plazo nos dará la seguridad de que esto mejorará y podemos comenzar a invertir en el futuro de nuestros hijos. Gracias de antemano.
Quiero sacar las palabras que están en negrita arriba. es posible?
Re: análisis basado en texto¿Podrías describir la naturaleza de los campos de texto y el modelo? Por ejemplo, ¿el texto está desestructurado? ¿Son las respuestas a las preguntas de la encuesta?
