텍스트 기반 분석텍스트 기반 분석에 대한 좋은 참고 자료가 있습니까? 특히 데이터 세트의 몇 가지 텍스트 기반 필드에 모델을 구축 하시겠습니까?
다시 : 텍스트 기반 분석정말 고맙습니다! 이것은 분명히 이것을 쓰면 좋을 것입니다. 나는 대단히 도움을 주셔서 감사합니다!다시 : 텍스트 기반 분석다음 스크립트를 실행하여 데이터 세트를 시뮬레이션하십시오.
Names Default to Here( 1 );
// simulate data set with client responses
dt = New Table( "Loans",
Add Rows( 25 ),
New Column( "Loan Description", "Character", "Unstructured Text" ),
New Column( "Key Term", "Character", "Nominal" ),
New Column( "Purpose of the Loan", "Character", "Nominal" ),
New Column( "Modified Purpose of Loan", "Character", "Nominal" )
);
// make a list of some target terms
target term = List(
"credit card balance ",
"home improvement ",
"new car "
);
For Each Row(
// make unstructured text
embedded term = target term[Random Integer( 1, N Items( target term ) )];
description =
Repeat( "blah ", Random Integer( 2, 5 ) ) ||
embedded term ||
Repeat( "blah ", Random Integer( 2, 5 ) );
Column( dt, 1 )[] = description;
// make structured response
purpose = If( Random Uniform() < 0.25,
"Other",
embedded term
);
Column( dt, 3 )[] = purpose;
);
dt << Suppress Formula Eval;( 1 );
// now show one solution
Column( dt, 2 ) << Set Formula(
Regex(
:Loan Description,
" credit card balance | home improvement | new car "
)
);
Column( dt, 4 ) << Set Formula(
If( :Purpose of the Loan == "Other",
:Key Term,
:Purpose of the Loan
)
);
dt << Suppress Formula Eval( 0 ) << Run Formulas;
스크립트를 무시하고 이제 데이터 테이블 예제에 중점을 둡니다.
실제 데이터 세트에는 위의 예에서 첫 번째와 세 번째 데이터 열과 같은 열이 있다고 가정합니다.
이제 두 번째 및 세 번째 데이터 열에서 만든 수식을 사용하여 솔루션을 시작할 수 있습니다.
다시 : 텍스트 기반 분석나는 그것이 효과가있을 것이라고 생각한다. 시작하는 가장 좋은 방법은 무엇입니까?
다시 : 텍스트 기반 분석따라서 '다른'수준을 비정형 텍스트에서 얻은 하위 문자열로 대체하여 새로운 응답 (예 : 수정 된 목적)을 만들 수 있습니다.
다시 : 텍스트 기반 분석Purpose of the Loan이라는 다른 컬럼을 사용할 수 있습니다 (데이터 세트는 대출 데이터입니다). 왜 누군가가 대출을 요청하는지에 대한 이유를 정의했습니다. 그러나 "기타"버킷은 Load_Description (이유가있는 자유 형식 필드)을 살펴보고 싶습니다. 이러한 키워드를 빼내고 싶습니다. 예를 들어 누군가 다른 목적을 목적으로 선택할 수는 있지만, 설명에서 그들은 주택 개조를위한 대출을 설명했습니다. 기타를 사용하여 행을 더 자세히 정의 할 수 있으므로 전체 예측이 향상됩니다.
다시 : 텍스트 기반 분석원본 텍스트는 문자 데이터 열의 구조화되지 않은 데이터라는 것을 알고 있습니다. 일부 모델에서 새 데이터 열 (구조화 된 변수)의 텍스트에서 특정 용어를 추출하여 예측 자로 사용하려고합니다. 당신은 아마도 감독 학습에 대한 알려진 응답을 가지고있을 것입니다. 그렇지 않으면 데이터 세트의 다른 공변량과 함께 탐색 열에 새 열을 사용할 것입니까?
다시 : 텍스트 기반 분석명사 같은. 양식이 자유 형식 텍스트라고 생각합니다.
다시 : 텍스트 기반 분석음, 내가 보여준 두 가지 방법은 일치하는 하위 문자열 (또는 누락) 수준의 단일 예측 자 또는 특정 하위 문자열의 존재 여부에 대한 지표로서의 여러 예측자를 생성합니다. 이러한 접근법 중 하나를 선택해도 회귀 모델이나 파티션 모델에는 차이가 없지만 신경망 모델에는 차이가있을 수 있습니다. 응답 변수는 무엇입니까?
다시 : 텍스트 기반 분석나도 그렇게 생각해. 나는 모델을 개발하고자하는 키워드 목록을 가지고있다. 행에서 각 키워드가 어디에 있는지를 나타내는 수식을 사용하여 더미 열을 만드는 것이 더 쉬울까요? 나는 그것이 텍스트에있는 것을 식별하는 더 쉬운 방법일지도 모른다고 생각하고 있습니다. 이러한 응답 중 일부는 전체 패러 그래프입니다. 예를 들어 게시 한 것과 같습니다.
다시 : 텍스트 기반 분석모델의 지표 역할을하는 예측 변수 (데이터 열)를 만드는 것이 더 쉽다고 생각합니다. 대부분의 텍스트가 귀하의 목적에 유익하지 않은 것처럼 보입니다.
귀하의 칼럼은 다음과 같은 것을 사용할 수 있습니다 :
Regex( :text, " balance | credit card " )
단일 문자 열이 텍스트라는 열의 동일한 행에서 결과를 표시하도록하려는 경우 다음과 같은 것을 사용할 수 있습니다 :
Contains( :text, " balance " ) > 0
위의 균형과 같이 각 대상 문자열에 대해 별도의 표시기 열을 원할 경우
이러한 제안 중 하나가 올바른 방향으로 가고 있습니까?
다시 : 텍스트 기반 분석확실한. 그것의 구조화되지 않은 데이터. 제가하려는 것은 특정한 구절을 찾을 모델을 만드는 것입니다. 주택 개량, 차변 정리, 담보 대출 등 내 필드의 데이터에 다음이 포함되어있는 경우
몇 년 전 아내는 그래픽 디자인 회사를 시작했고 대학에 남아 있기 때문에 신용 카드 시작 자금 조달에 도움이됩니다. 몇 년 후 그녀는 여전히 균형 그 비용에서 회사는 그 후 해산했습니다 (그녀는 우리가 두 아이를 갖게되었을 때 샐러리 포지션을 택했습니다). 왜냐하면 균형 월급이 너무 많아 월별로 많은 돈을 보내고, 그 다음 달에는 돈을 먹고 그 결과는 똑같이 사용해야합니다. 신용 카드. 저울 2 년 넘게 움직이지 않았고 끝이 보이지 않습니다. 도와주세요. 고정 지불 및 용어 대출을하면 우리에게 이것이 더 나아질 것이라는 확신을 주며 우리는 우리의 미래에 투자 할 수있게됩니다. 미리 감사드립니다.
나는 위에 굵은 글씨를 뽑아 내고 싶다. 이것이 가능한가?
다시 : 텍스트 기반 분석텍스트 필드와 모델의 본질을 설명 해주시겠습니까? 예를 들어 텍스트가 비정형 데이터입니까? 설문 조사 질문에 대한 답변입니까?
