テキストベースの分析テキストベースの分析に関する良い参考資料はありますか？具体的には、データセット内のいくつかのテキストベースのフィールドでモデルを構築しますか？
テキストベースの分析どうもありがとうございます！これは間違いなくこれで私を書き込みトラックに入れるでしょう。私は非常に援助に感謝します！テキストベースの分析次のスクリプトを実行してデータセットをシミュレートします。
Names Default to Here( 1 );
// simulate data set with client responses
dt = New Table( "Loans",
Add Rows( 25 ),
New Column( "Loan Description", "Character", "Unstructured Text" ),
New Column( "Key Term", "Character", "Nominal" ),
New Column( "Purpose of the Loan", "Character", "Nominal" ),
New Column( "Modified Purpose of Loan", "Character", "Nominal" )
);
// make a list of some target terms
target term = List(
"credit card balance ",
"home improvement ",
"new car "
);
For Each Row(
// make unstructured text
embedded term = target term[Random Integer( 1, N Items( target term ) )];
description =
Repeat( "blah ", Random Integer( 2, 5 ) ) ||
embedded term ||
Repeat( "blah ", Random Integer( 2, 5 ) );
Column( dt, 1 )[] = description;
// make structured response
purpose = If( Random Uniform() < 0.25,
"Other",
embedded term
);
Column( dt, 3 )[] = purpose;
);
dt << Suppress Formula Eval;( 1 );
// now show one solution
Column( dt, 2 ) << Set Formula(
Regex(
:Loan Description,
" credit card balance | home improvement | new car "
)
);
Column( dt, 4 ) << Set Formula(
If( :Purpose of the Loan == "Other",
:Key Term,
:Purpose of the Loan
)
);
dt << Suppress Formula Eval( 0 ) << Run Formulas;
スクリプトを無視して、データテーブルの例に注目してください。
上の例では、実際のデータセットに1列目と3列目のデータ列があるとします。
これで、2番目と3番目のデータ列で作成した式を使用して解決策を始めることができます。
テキストベースの分析私はそれがうまくいくと思います。始めるための最良の方法は何でしょうか。
テキストベースの分析それで、あなたはそれらのオブザベーションのためにあなたが非構造化テキストから得たサブストリングで 'other'レベルを置き換えることによって新しい応答（すなわち変更された目的）を作成することができるかもしれません？
テキストベースの分析Purpose of the Loanという別の列を使用できます（データセットはローンデータです）。それは誰かがローンを要求している理由の理由を定義しました。しかし、"Other"のバケットはLoad_Descriptionを見てみたいところです（これは理由のあるフリーフォームのフィールドです）。私はそれらのキーワードを抜粋したいのです。したがって、例えば、誰かが目的としてその他を選択した可能性がありますが、説明では、彼らはローンが住宅改造のためであると説明しました。Otherを使用して行をさらに定義する機能は、全体的な予測を改善するのに役立ちます。
テキストベースの分析元のテキストは文字データ列の非構造化データであることがわかりました。あるモデルで予測子として使用するために、新しいデータ列（構造化変数）のテキストから特定の用語を抽出したいとします。教師付き学習に対して既知の回答があると考えられますか、それとも他のデータセットの他の共変量と新しい列を探索的に使用するつもりですか。
テキストベースの分析公称 フォームはフリーフォームテキストだったと思います。
テキストベースの分析私が示した2つの方法は、一致した部分文字列のレベルを持つ（または欠けている）単一の予測子、または特定の部分文字列の存在を示す指標としての複数の予測子のいずれかを生成します。これらのアプローチのいずれかを選択しても、回帰モデルやパーティションモデルには影響しませんが、ニューラルネットワークモデルには影響が出る可能性があります。応答変数は何ですか？
テキストベースの分析私はそう思う。モデルを開発したいキーワードのリストがあります。それぞれのキーワードが行のどこにあるかを示すために、a式を使用してダミー列を作成する方が簡単ですか。私はそれがテキストの内容を識別するためのもっと簡単な方法かもしれないと思っています。これらの回答の中には、パラグラフ全体のものもあります - 私が投稿した例とよく似ています。
テキストベースの分析モデルの指標として機能する予測子変数（データ列）を作成するほうが簡単だと思います。テキストの大部分はあなたの目的にとって有益ではないようです。
あなたのコラムは以下のようなものを使うことができます：
Regex( :text, " balance | credit card " )
textという名前の列に、同じ文字列の結果を1文字の列で表示する場合。あなたはこのようなものを使うことができます：
Contains( :text, " balance " ) > 0
上記の残高など、各ターゲット文字列に個別のインジケータ列が必要な場合。
これらの提案のどちらかが正しい方向に向かっていますか？
テキストベースの分析もちろんです。その非構造化データ 私がやろうとしているのは、それが特定のフレーズを探すようなモデルを構築することです。住宅改修、借方整理、住宅ローンなど だから、私のフィールドのデータがこれを含んでいたら：
数年前、私の妻はグラフィックデザイン会社を始めました、そして、彼女がまだ大学にいたので、彼女は彼女を使うことに決めましたクレジットカードスタートアップの資金を援助するために。今から数年後、彼女はまだバランスそれらの経費から、そして会社はその後解散しました（私たちが2人の子供のうちの最初の人を持っていたら彼女は給料の位置を取ることを選びました）。なぜならバランス非常に高いので、毎月大きな支払いを送るので、その月の支出が増え、結果的に、同じ支払いをしなければならなくなります。クレジットカード。バランス 2年以上経っても本当に動いていないし、私は目に見える終わりを見ていない。助けてください。固定された支払いとタームローンを持つことは、これがより良くなるという保証を私たちに与えて、私たちは私たちの子供の将来に投資し始めることができます。 前もって感謝します。
上記の太字の単語を抜き出したい。これは可能ですか？
テキストベースの分析テキストフィールドの性質とモデルについて教えてください。たとえば、テキストは非構造化データですか？それは調査質問に対する回答ですか？
