59972_fr-FR

liliconcom

Analyse textuelle

Existe-t-il de bonnes références sur l’analyse textuelle? Construire spécifiquement un modèle sur deux champs de texte dans un jeu de données?

Re: analyse basée sur le texteMerci beaucoup! cela va certainement me mettre sur la piste d'écriture avec cela. J'apprécie beaucoup l'aide!Re: analyse basée sur le texte

Exécutez le script suivant pour simuler votre jeu de données:

Names Default to Here( 1 );

// simulate data set with client responses
dt = New Table( "Loans",
 Add Rows( 25 ),
 New Column( "Loan Description", "Character", "Unstructured Text" ),
 New Column( "Key Term", "Character", "Nominal" ),
 New Column( "Purpose of the Loan", "Character", "Nominal" ),
 New Column( "Modified Purpose of Loan", "Character", "Nominal" )
);

// make a list of some target terms
target term = List(
 "credit card balance ",
 "home improvement ",
 "new car "
);

For Each Row(
 // make unstructured text
 embedded term = target term[Random Integer( 1, N Items( target term ) )];
 description =
  Repeat( "blah ", Random Integer( 2, 5 ) ) ||
  embedded term ||
  Repeat( "blah ", Random Integer( 2, 5 ) );
 Column( dt, 1 )[] = description;
 // make structured response
 purpose = If( Random Uniform() < 0.25,
  "Other",
  embedded term
 );
 Column( dt, 3 )[] = purpose;
);

dt << Suppress Formula Eval;( 1 );

// now show one solution
Column( dt, 2 ) << Set Formula(
 Regex(
  :Loan Description,
  " credit card balance | home improvement | new car "
 )
);

Column( dt, 4 ) << Set Formula(
 If( :Purpose of the Loan == "Other",
  :Key Term,
  :Purpose of the Loan
 )
);

dt << Suppress Formula Eval( 0 ) << Run Formulas;

 

Ignorez le script et concentrez-vous maintenant sur l'exemple de la table de données:

Je suppose que votre jeu de données réel a une colonne comme les première et troisième colonnes de données de mon exemple ci-dessus.

Vous pouvez maintenant utiliser les formules que j'ai créées dans les deuxième et troisième colonnes de données pour commencer votre solution.

Re: analyse basée sur le texte

Je pense que cela fonctionnerait. Quelle serait la meilleure façon de commencer?

Re: analyse basée sur le texte

Ainsi, vous pourrez peut-être créer une nouvelle réponse (c.-à-d. Un objectif modifié) en remplaçant le niveau «autre» par une sous-chaîne obtenue à partir du texte non structuré pour ces observations?

Re: analyse basée sur le texte

Je pourrais utiliser une autre colonne appelée Objectif du prêt (le jeu de données est constitué des données du prêt). Il a défini les raisons pour lesquelles une personne demande un prêt. Cependant, le seau de "Autre" est l'endroit où je veux regarder dans la Load_Description (c'est le champ de formulaire libre avec une raison). Je veux extraire ces mots-clés. Ainsi, par exemple, quelqu'un aurait pu choisir Autre comme objectif, mais dans la description, ils expliquaient que le prêt était destiné à la rénovation d'une maison. La possibilité de définir plus précisément les lignes avec Autre contribuera à améliorer la prévision globale. 

Re: analyse basée sur le texte

Je comprends que le texte original contient des données non structurées dans une colonne de données de caractères. Vous souhaitez extraire des termes spécifiques du texte dans de nouvelles colonnes de données (variables structurées) à utiliser comme prédicteurs dans un modèle. Vous avez probablement une réponse connue pour l’apprentissage supervisé ou bien vous allez utiliser les nouvelles colonnes de manière exploratoire, peut-être avec d’autres covariables dans l’ensemble de données?

Re: analyse basée sur le texte

Nominal. Je pense que la forme était un texte de forme libre. 

Re: analyse basée sur le texte

Eh bien, les deux manières que je vous ai montrées produisent un prédicteur unique avec des niveaux de la sous-chaîne correspondante (ou manquante) ou de plusieurs prédicteurs comme indicateurs de la présence d'une sous-chaîne spécifique. Le choix de l'une de ces approches ne fera aucune différence dans un modèle de régression ou un modèle de partition, mais pourrait faire la différence dans un modèle de réseau neuronal. Quelle est la variable de réponse?

Re: analyse basée sur le texte

Je le pense. J'ai une liste de mots clés dont j'aimerais développer le modèle. Serait-il plus facile de créer une colonne factice avec la formule pour indiquer où chacun des mots clés a été trouvé dans la ligne? Je pense que cela pourrait être un moyen plus facile d’identifier le contenu du texte. Certaines de ces réponses sont des paragraphes entiers, un peu comme l'exemple que j'ai posté. 

Re: analyse basée sur le texte

Je pense qu'il serait peut-être plus facile de créer des variables prédictives (colonnes de données) qui servent d'indicateurs pour un modèle. Il semble que la majeure partie du texte n’informe pas pour vous.

Votre colonne pourrait utiliser quelque chose comme:

Regex( :text, " balance | credit card " )

si vous souhaitez qu'une colonne à caractère unique affiche le résultat de la même ligne dans une colonne appelée texte. Vous pouvez utiliser quelque chose comme ceci:

 

Contains( :text, " balance " ) > 0

 

si vous souhaitez une colonne d'indicateur distincte pour chaque chaîne cible, telle que le solde ci-dessus.

Est-ce que l'une ou l'autre de ces suggestions va dans la bonne direction?

Re: analyse basée sur le texte

Sûr. Ses données non structurées. Ce que j'essaie de faire, c'est de construire un modèle dans lequel on cherchera des phrases spécifiques. Amélioration de l'habitat, consolidation de débit, hypothèque, etc. Donc, si les données de mon champ contenaient ceci:

Il y a plusieurs années, ma femme a créé une entreprise de graphisme et, comme elle était encore à l'université, elle a décidé crédit carte pour aider à financer la startup. Plusieurs années plus tard, elle a toujours le équilibre l'entreprise a ensuite été dissoute (elle a choisi d'occuper un poste salarié une fois que nous avons eu notre premier de deux enfants). Parce que le équilibre est si élevé que nous envoyons un gros paiement mensuel, ce qui, à son tour, consomme notre argent de poche pour le mois et le résultat, doit utiliser le même carte de crédit. L'équilibre n’a vraiment pas bougé depuis plus de 2 ans et je ne vois pas de fin en vue. S'il vous plaît aider. Avoir un paiement fixe et un emprunt à terme nous donnera l’assurance que cela ira en s'améliorant et que nous pourrons commencer à investir dans l’avenir de notre enfant.   Merci d'avance.

Je veux extraire les mots en gras ci-dessus. Est-ce possible?

Re: analyse basée sur le texte

Pourriez-vous décrire la nature des champs de texte et du modèle? Par exemple, le texte contient-il des données non structurées? S'agit-il de réponses aux questions du sondage?