Textbasierte AnalyseGibt es eine gute Referenz für die textbasierte Analyse? Ein Modell speziell für ein paar textbasierte Felder in einem Datensatz erstellen?
Re: Textbasierte AnalyseIch danke dir sehr! Dies wird mich definitiv auf die Schreibspur bringen. Ich schätze die Hilfe sehr!Re: Textbasierte AnalyseFühren Sie das folgende Skript aus, um Ihren Datensatz zu simulieren:
Names Default to Here( 1 );
// simulate data set with client responses
dt = New Table( "Loans",
Add Rows( 25 ),
New Column( "Loan Description", "Character", "Unstructured Text" ),
New Column( "Key Term", "Character", "Nominal" ),
New Column( "Purpose of the Loan", "Character", "Nominal" ),
New Column( "Modified Purpose of Loan", "Character", "Nominal" )
);
// make a list of some target terms
target term = List(
"credit card balance ",
"home improvement ",
"new car "
);
For Each Row(
// make unstructured text
embedded term = target term[Random Integer( 1, N Items( target term ) )];
description =
Repeat( "blah ", Random Integer( 2, 5 ) ) ||
embedded term ||
Repeat( "blah ", Random Integer( 2, 5 ) );
Column( dt, 1 )[] = description;
// make structured response
purpose = If( Random Uniform() < 0.25,
"Other",
embedded term
);
Column( dt, 3 )[] = purpose;
);
dt << Suppress Formula Eval;( 1 );
// now show one solution
Column( dt, 2 ) << Set Formula(
Regex(
:Loan Description,
" credit card balance | home improvement | new car "
)
);
Column( dt, 4 ) << Set Formula(
If( :Purpose of the Loan == "Other",
:Key Term,
:Purpose of the Loan
)
);
dt << Suppress Formula Eval( 0 ) << Run Formulas;
Ignorieren Sie das Skript und konzentrieren Sie sich jetzt auf das Beispiel für die Datentabelle:
Ich gehe davon aus, dass Ihr echter Datensatz eine Spalte wie die erste und die dritte Datenspalte in meinem obigen Beispiel enthält.
Sie können nun die in der zweiten und dritten Datenspalte erstellten Formeln verwenden, um Ihre Lösung zu beginnen.
Re: Textbasierte AnalyseIch denke das würde funktionieren. Was wäre der beste Einstieg?
Re: Textbasierte AnalyseSie können also möglicherweise eine neue Antwort (dh einen geänderten Zweck) erstellen, indem Sie die andere Ebene durch eine Teilzeichenfolge ersetzen, die Sie aus dem unstrukturierten Text für diese Beobachtungen erhalten.
Re: Textbasierte AnalyseIch könnte eine andere Spalte mit dem Namen Zweck des Darlehens verwenden (Datensatz ist Darlehensdaten). Es hat Gründe dafür festgelegt, warum jemand einen Kredit beantragt. Im Bucket von "Other" möchte ich jedoch die Load_Description durchsehen (dies ist das freie Formularfeld mit einem Grund). Ich möchte diese Schlüsselwörter herausziehen. So hätte zum Beispiel jemand andere als einen Zweck wählen können, aber in der Beschreibung wurde erklärt, dass der Kredit für einen Wohnungsumbau gilt. Die Möglichkeit, die Zeilen mit Other weiter zu definieren, verbessert die Gesamtvorhersage.
Re: Textbasierte AnalyseIch verstehe, dass der Originaltext unstrukturierte Daten in einer Zeichendatenspalte ist. Sie möchten bestimmte Begriffe aus dem Text in neuen Datenspalten (strukturierte Variablen) extrahieren, um sie in einem Modell als Prädiktoren zu verwenden. Sie haben vermutlich eine bekannte Antwort für beaufsichtigtes Lernen, oder Sie werden die neuen Spalten explorativ verwenden, vielleicht mit anderen Kovariaten im Datensatz.
Re: Textbasierte AnalyseNominal Ich denke, das Formular war Freiformtext.
Re: Textbasierte AnalyseNun, die zwei Möglichkeiten, die ich Ihnen gezeigt habe, erzeugen entweder einen einzelnen Prädiktor mit Ebenen der übereinstimmenden (oder fehlenden) Unterzeichenfolge oder mehrere Prädiktoren als Indikatoren für das Vorhandensein einer bestimmten Unterzeichenfolge. Die Wahl eines dieser Ansätze hat keinen Einfluss auf ein Regressionsmodell oder ein Partitionsmodell, aber möglicherweise auf ein neuronales Netzwerkmodell. Was ist die Antwortvariable?
Re: Textbasierte AnalyseIch glaube schon. Ich habe eine Liste mit Schlüsselwörtern, von denen ich das Modell entwickeln möchte. Wäre es einfacher, eine Dummy-Spalte mit einer Formel zu erstellen, um anzugeben, wo die einzelnen Schlüsselwörter in der Zeile gefunden wurden? Ich denke, das könnte eine einfachere Möglichkeit sein, um herauszufinden, was im Text steht. Einige dieser Antworten sind ganze Paragraghs - ähnlich wie das von mir veröffentlichte Beispiel.
Re: Textbasierte AnalyseIch denke, es könnte einfacher sein, Prädiktorvariablen (Datenspalten) zu erstellen, die als Indikatoren für ein Modell dienen. Es scheint, als sei der größte Teil des Textes für Ihre Zwecke nicht informativ.
Ihre Kolumne könnte so etwas verwenden:
Regex( :text, " balance | credit card " )
Wenn Sie möchten, dass eine einzelne Zeichenspalte das Ergebnis aus derselben Zeile in einer Spalte namens Text anzeigt. Sie könnten so etwas verwenden:
Contains( :text, " balance " ) > 0
wenn Sie für jede Zielzeichenfolge eine separate Indikatorspalte wünschen, z.
Geht einer dieser Vorschläge in die richtige Richtung?
Re: Textbasierte AnalyseSicher. Ihre unstrukturierten Daten. Ich versuche, ein Modell zu erstellen, in dem nach bestimmten Sätzen gesucht wird. Home Improvement, Debit-Konsolidierung, Hypothek usw. Wenn die Daten in meinem Feld Folgendes enthielten:
Vor einigen Jahren gründete meine Frau eine Grafikdesignfirma, und weil sie noch in der Schule war, entschied sie sich für eine Kredit Karte um das Startup zu finanzieren. Jetzt hat sie einige Jahre später noch die Balance von diesen Ausgaben und die Firma hat sich seitdem aufgelöst (sie entschied sich für eine angestellte Position, sobald wir unser erstes von zwei Kindern hatten). Weil der Balance ist so hoch, dass wir monatlich eine große Zahlung einsenden, was wiederum unser Ausgabengeld für den Monat auffrisst und das Ergebnis gleich ist Kreditkarte. Die Balance hat sich wirklich seit über 2 Jahren nicht bewegt und ich sehe kein Ende in Sicht. Bitte helfen Durch eine feste Zahlung und ein langfristiges Darlehen haben wir die Sicherheit, dass sich dies verbessern wird, und wir können in die Zukunft unseres Kindes investieren. Danke im Voraus.
Ich möchte Wörter hervorheben, die oben fett gedruckt sind. Ist das möglich?
Re: Textbasierte AnalyseWürden Sie bitte die Art der Textfelder und des Modells beschreiben? Sind zum Beispiel der Text unstrukturierte Daten? Gibt es Antworten auf Umfragen?
