JMP 외부의 특이값 분해안녕하세요- 저는 JMP의 오랜 사용자(3.2!)이자 R의 아주 재능이 없는 초보자입니다. 텍스트 분석은 생태학자인 저에게 생소하지만 Text Explorer 플랫폼을 사용하는 것은 정말 즐거웠습니다. JMP에서 ~100개 벡터에 대한 특이값의 조밀한 행렬에 대한 추가 분석을 수행하기 위해 특이값 분해의 대상이 되는 희소 문서 용어 행렬을 생성했습니다. 나는 JMP Pro가 없기 때문에 약간의 벽에 부딪쳤습니다. 이것은 내가 희소 문서 용어 행렬을 R로 읽고, 일종의 svd 함수를 실행한 다음, 내 새로운 조밀한 행렬을 다시 JMP로 읽어야 한다는 것을 의미한다고 생각합니다. 이것은 텍스트 분석에 더 익숙하고 R에 능숙한 사람에게는 쉬운 작업일 것 같습니다. 나는 이것을 하기 위해 어떤 R 패키지를 사용할지 알아내려고 애썼다(많은 것 같다). 다른 패키지에 대한 문서를 보았을 때 이 작업을 수행하기 위해 사용해야 하는 함수와 인수를 파악하는 데 어려움을 겪었습니다. 이제 R을 배워야 할 때입니다. JMP는 수년 동안 이러한 불가피한 상황에서 저를 보호해 주었습니다. R 조언이나 더 나은 코드를 공유할 수 있는 사람이 있다면 희소 행렬에서 .csv로 읽고 R에서 조밀한 특이값 행렬을 만든 다음 이 행렬을 새 .csv로 작성합니다. , 나는 매우 감사하게 될 것입니다. 고맙습니다!Re: JMP 외부의 특이값 분해고맙습니다, @G_M . 귀하의 회신을 제 문제에 대한 "해결책"이라고 부르겠습니다. JMP 외부에서 텍스트 분석을 수행하는 것이 유일한 해결책이라고 확신하기 때문입니다. 귀하의 게시물은 JMP에서 R로 호출하는 것이 얼마나 쉬운지 보여주는 데 도움이 되었습니다. 이것은 아마도 내가 2가지 도구를 통합하는 방법을 배우는데 필요한 노력일 것입니다.
Re: JMP 외부의 특이값 분해@caseylott R 및 JMP 사용을 시작하는 좋은 방법은 JMP에서 익숙한 R 결과를 복제하는 것입니다.
당신과 마찬가지로 나는 여러 가지 이유로 R보다 JMP를 선호합니다. 사실 저는 2009년에 경영진에게 결과를 발표할 때 R을 사용하고 있었습니다.
항상 그렇듯이 임원은 추가 질문을 했고(예상하지 못했는데 더 나아졌습니다)
R에서 새로운 분석을 실시간으로 생성합니다.나는 가서 분석을 수행하고 결과를 가져오도록 25분을 요청했습니다... 나는 그들의 주의를 잃었습니다.그날 밤
나는 집에 가서 앞으로 어떻게 이것을 피할 수 있을지 생각해 보았다..1) 추가 분석을 더 잘 예측하고, 2) 더 민첩한 소프트웨어를 식별합니다.
JMP는 제 인생에 다시 들어왔고(몇 년 전에 동료가 JMP를 소개했습니다) 그 이후로 제가 선택한 소프트웨어가 되었습니다.
즉, 다음은 시작할 수 있는 JMP에서 R로의 구문입니다.
이것은 너무 기초적일 수 있지만 도움이 되기를 바랍니다.나는 R을 사용하여 비선형 혼합 효과 모델, 다원 IRT 모델을 추정하고 최근에 추정을 시작했습니다.
JMP를 통해 R과 JAGS를 모두 사용하는 베이지안 모델.
Names Default To Here( 1 );
//Open Big Class in JMP
df = Open( "$SAMPLE_DATA/Big Class.jmp" );
//execute bivariate regression of weight on height in JMP
df << Bivariate( Y( :weight ), X( :height ), Fit Line( {Line Color( {213, 72, 87} )} ) );
//make sure that you have embedded log open in your JSL Scripting window.
//Initiate R
R Init();
//send data frame to R
R Send( df );
//submit R Code for bivariate regression of weight on height
R Submit(
"\[
fit1 <- lm(weight~height, data = df)
summary(fit1)
]\"
);//close R Submit
//Look into the log and see the R Results
Re: JMP 외부의 특이값 분해확인, 내가 이해한다면 @Mark_Bailey 올바르게, SVD는 "게임 체인저"입니다. 그러나 JMP로 이 게임을 플레이하려면 JMP Pro가 필요합니다. 이 올바른지?
좀 더 생각해보면 JMP(비프로 버전)는 동영상에서 보거나 블로그에서 읽은 텍스트 분석 기능을 허용하지 않는 것 같습니다. 잠재 클래스 분석, 잠재 의미 분석, 주제 분석, 판별 분석, 문서 클러스터링 또는 용어 클러스터링. JMP를 사용할 수 있지만 JMP Pro는 사용할 수 없는 오랜 JMP 사용자로서, 저는 여전히 더 효율적인 다음 단계를 알아 내려고 노력하고 있습니다.
예를 들어, 특이값 행렬(예: R의 JMP 외부)을 생성하고 이 행렬을 JMP로 다시 가져올 수 있다면 이러한 분석은 적어도 직접적으로는 사용할 수 없는 것처럼 보입니다. 이러한 분석 플랫폼에 대한 메뉴 항목(텍스트 탐색기 핫스팟을 통해)도 없습니다. 표준 주요 구성 요소 또는 클러스터링 플랫폼을 사용하여 JMP에서 이러한 유형의 텍스트 분석을 복제하려고 시도하는 것이 좋은 생각인지 이해할 수 있는 통계적 세부 사항에 대해 충분히 알지 못합니다. 예를 들어, 나는 방금 게시물을 보았습니다. @LauraCS 그녀가 말한 곳 " 잠재 의미 분석(LSA)은 단순히 텍스트 용어의 상관 행렬에서 수행되는 PCA입니다(그러나 회전은 포함되지 않음)." 이 말이 얼마나 문자 그대로인지 궁금합니다. 이것은 만약 내가 JMP에 특이값 행렬을 가져올 수 있다면 JMP의 PCA 도구를 사용하여 잠재적 의미 분석 및 잠재 클래스 분석과 본질적으로 동일한 분석을 수행할 수 있다는 것을 의미합니까? 통계적 세부 사항에 대한 더 나은 이해 없이 이 작업을 수행하는 것은 다소 위험해 보입니다.
그래서... 이 주제에 대해 며칠 동안 집착한 후 JMP(문서 용어 매트릭스 및 시각화 큐레이션용)와 R(분석용) 사이를 오가는 방법을 알아내는 것이 최선의 선택인 것 같습니다. 내가 에서 본 것처럼 @herush 그리고 @andrewtkarl "JMP 및 R의 텍스트 마이닝"이라는 비디오. R 친구 중 한 명과 점심을 먹고 콜라보레이션을 발표하기에 좋은 시간이 될 것 같습니다.
내 자리에 JMP 사용자가 몇 명인지 알 수 없습니다(예: JMP Pro로 이동할 가능성이 낮음). 아마도 나는 일반적인 JMP 사용자가 이해하지 못하는 것을 밀어붙이는 것일 수도 있습니다. 그러나 저와 같은 다른 사람들이 있다면 JMP와 R 사이의 시너지 효과를 설명하는 추가 "도움" 또는 "교육" 리소스(예: 블로그, 자습서, 타사 비디오)를 찾을 수 있다면 정말 좋을 것입니다. 작업을 완료하는 데 2개의 도구(JMP 및 R)가 필요한 현재 상황과 같은 상황을 처리하기 위해.
내가 전에 말했듯이. 저는 JMP를 절대적으로 사랑하고 제 경력 내내 JMP를 사용해 왔습니다. 이건 바뀌지 않겠지만, 무릎을 꿇고 R을 배워야 할 때인 것 같다. 시간을 할애할 가치가 있다고 들었지만 저는 JMP의 대화형 메뉴 중심 워크플로를 정말 선호합니다.
Re: JMP 외부의 특이값 분해텍스트 탐색기의 새로운 SVD 루틴은 진정한 게임 체인저이며 추가 텍스트 분석에 필요한 것입니다.
그게 제가 드릴 수 있는 전부입니다. 다른 사람들이 DMT의 크기를 줄이는 것 외에 몇 가지 유용한 제안을 해주기를 바랍니다.
Re: JMP 외부의 특이값 분해고마워, 마크. JMP(JMP Pro 아님) 플랫폼에서 잠재 시맨틱 클래스 분석을 사용할 수 있도록 문서 용어 행렬을 얼마나 축소해야 하는지 테스트하지 않았습니다. 아마도 이 작업을 수행할 수 있고 시도할 것입니다. 하지만 더 큰 문서 세트가 있는 경우는 어떻습니까? 나는 내가 이 문제에 다시 부딪힐 것이라고 예측한다.
내 원래 평가가 여전히 정확할 수 있다고 생각합니다. 추가 다변수 분석을 위해 조밀한 행렬을 JMP로 다시 읽을 수 있도록 희소 문서 용어 행렬(JMP에서 생성)을 조밀한 행렬(R의 특이값 분해를 통해)로 변환하는 방법이 여전히 필요한 것 같습니다.
다시 말해, JMP Pro 없이는 JMP에서 단일 값의 조밀한 행렬을 생성할 수 없다는 것이 JMP에서 텍스트 분석을 수행하는 능력을 정말 제한한다고 생각합니다.
누군가 JMP 또는 일부 R 기반 솔루션에서 이 문제를 처리하는 방법에 대한 다른 제안이 있으면 듣고 싶습니다.
Re: JMP 외부의 특이값 분해먼저 말을 잘못했습니다. JMP의 각 버전에 어떤 기능이 있는지, JMP와 JMP Pro의 모든 차이점을 기억하기 어렵습니다. 맞습니다. JMP에서는 PCA 및 잠재 클래스 분석만 사용할 수 있습니다.
둘째, Text Explorer 플랫폼 외부의 JMP에는 크고 희소한 DTM이 너무 많을까 두려웠습니다. 용어 목록을 다듬어 보십시오. 일반적으로 용어 및 구 목록을 선별하면 기본 매개변수에 의존하는 것보다 훨씬 더 의미 있는 분석을 이끌어낼 수 있습니다. 이것은 DTM의 크기를 줄이는 한 가지 방법입니다. DTM을 저장할 때 최대 항 수를 줄이거나 최소 항 빈도를 늘릴 수도 있습니다.
마지막으로 64비트 JMP를 사용하고 있습니까?
Re: JMP 외부의 특이값 분해알겠습니다. 제안해 주셔서 감사합니다. 나는 지금까지 작동하지 않는 몇 가지를 시도했습니다. 아마도 내가 잘못하고 있는 것 같습니다. 가중 문서 용어 행렬을 저장한 다음 1) 주요 구성 요소 플랫폼 및 2) 잠재 클래스 분석 플랫폼에 대한 y 변수로 입력했습니다. 비 Pro 버전의 JMP에는 잠재 의미론적 분석에 대한 옵션이 표시되지 않습니다. 이것들은 어디에 위치할까요?
기본 구성 요소 플랫폼에서 가중 문서 용어 매트릭스를 실행하려고 하면 JMP가 회전하고 불가피하게 충돌합니다.
문서 용어 행렬을 잠재 클래스 분석 플랫폼에서 Y 역할에 넣으려고 하면 지원되지 않는 데이터 유형을 사용하고 있다는 메시지가 나타납니다.
어떤 제안?
Re: JMP 외부의 특이값 분해JMP와 함께 R을 사용할 수 있지만 그렇게 할 필요는 없다고 생각합니다. 텍스트 탐색기에서 가중 문서 용어 행렬을 저장한 다음 다변수 그룹의 플랫폼을 포함하여 JMP의 모든 플랫폼에서 새 데이터 열을 분석할 수 있습니다. 여기에는 JMP Pro를 사용하지 않는 주성분 분석, 잠재 클래스 분석 및 잠재 의미 분석이 포함됩니다.
TE의 버전은 DTM과 같은 희소 행렬에 최적화되어 있지만 최소한 독립 실행형 플랫폼을 사용해야 합니다.
