基于文本的分析基于文本的分析是否有任何良好的参考资料?专门在数据集中的几个基于文本的字段上构建模型?
回复:基于文本的分析非常感谢!这肯定会让我在写作轨道上。我非常感谢你的帮助!回复:基于文本的分析运行以下脚本来模拟您的数据集:
Names Default to Here( 1 );
// simulate data set with client responses
dt = New Table( "Loans",
Add Rows( 25 ),
New Column( "Loan Description", "Character", "Unstructured Text" ),
New Column( "Key Term", "Character", "Nominal" ),
New Column( "Purpose of the Loan", "Character", "Nominal" ),
New Column( "Modified Purpose of Loan", "Character", "Nominal" )
);
// make a list of some target terms
target term = List(
"credit card balance ",
"home improvement ",
"new car "
);
For Each Row(
// make unstructured text
embedded term = target term[Random Integer( 1, N Items( target term ) )];
description =
Repeat( "blah ", Random Integer( 2, 5 ) ) ||
embedded term ||
Repeat( "blah ", Random Integer( 2, 5 ) );
Column( dt, 1 )[] = description;
// make structured response
purpose = If( Random Uniform() < 0.25,
"Other",
embedded term
);
Column( dt, 3 )[] = purpose;
);
dt << Suppress Formula Eval;( 1 );
// now show one solution
Column( dt, 2 ) << Set Formula(
Regex(
:Loan Description,
" credit card balance | home improvement | new car "
)
);
Column( dt, 4 ) << Set Formula(
If( :Purpose of the Loan == "Other",
:Key Term,
:Purpose of the Loan
)
);
dt << Suppress Formula Eval( 0 ) << Run Formulas;
忽略脚本,现在关注数据表示例:

我假设您的真实数据集有一个列,如上例中的第一个和第三个数据列。
您现在可以使用我在第二和第三个数据列中创建的公式来开始您的解决方案。
回复:基于文本的分析我认为那会有用。什么是最好的入门方式?
回复:基于文本的分析那么,您可以通过使用从非结构化文本中获取的子字符串替换“其他”级别来创建新响应(即修改后的目的)?
回复:基于文本的分析我可以使用另一个名为贷款目的的列(数据集是贷款数据)。它定义了为什么有人要求贷款的原因。但是,“其他”的存储桶是我想要查看Load_Description的地方(这是有原因的自由格式字段)我想将这些关键字拉出来。因此,例如,有人可能选择其他作为目的,但在描述中,他们解释说贷款是用于家庭改造。使用Other进一步定义行的能力将有助于改进整体预测。
回复:基于文本的分析据我所知,原始文本是字符数据列中的非结构化数据。您希望从新数据列(结构化变量)中的文本中提取特定术语,以在某些模型中用作预测变量。您可能对监督学习有一个已知的响应,否则您将以探索的方式使用新列,也许与数据集中的其他协变量一起使用?
回复:基于文本的分析标称。我认为表格是自由格式文本。
回复:基于文本的分析好吧,我向您展示的两种方式是生成具有匹配子串(或缺失)级别的单个预测变量,或者生成特定子串的指示符的多个预测变量。选择其中一种方法不会对回归模型或分区模型产生影响,但它可能会对神经网络模型产生影响。什么是响应变量?
回复:基于文本的分析我认同。我有一个关键词列表,我想从中开发模型。使用公式创建一个虚拟列是否更容易指示在行中找到每个关键字的位置?我认为这可能是一种更容易识别文本内容的方法。其中一些回答是完整的段落 - 就像我发布的例子一样。
回复:基于文本的分析我认为创建作为模型指标的预测变量(数据列)可能更容易。似乎大多数文本都没有为您的目的提供信息。
您的专栏可能会使用以下内容:
Regex( :text, " balance | credit card " )
如果希望单个字符列显示名为text的列中同一行的结果。你可以使用这样的东西:
Contains( :text, " balance " ) > 0
如果您想为每个目标字符串指定一个单独的指标列,例如上面的余额。
这些建议中的任何一个都朝着正确的方向发展吗?
回复:基于文本的分析当然。它的非结构化数据。我要做的是建立一个模型,寻找特定的短语;家居装修,借记合并,抵押等 因此,如果我的字段中的数据包含:
几年前,我的妻子开办了一家平面设计公司,因为她还在上大学,所以她决定使用信用卡帮助资助创业公司。几年后,她仍然拥有平衡从那些费用中,公司已经解散了(一旦我们有了两个孩子中的第一个,她选择了担任薪水的职位)。因为平衡是如此之高,我们每月发送一笔大额付款,这反过来会占用我们这个月的支出和结果,必须使用相同的信用卡。余额在两年多的时间里,我真的没有动过,我看不到结局。请帮忙。有固定的支付和定期贷款将使我们确信这将变得更好,我们可以开始投资我们的孩子的未来。 先感谢您。
我想拉出上面粗体的单词。这可能吗?
回复:基于文本的分析您能描述一下文本字段和模型的性质吗?例如,文本是非结构化数据吗?它是对调查问题的回答吗?