부분 최소제곱모두들 안녕,
JMP의 데이터세트에 대해 다변량 부분최소제곱을 수행하려고 합니다. 이 데이터 세트는 10개의 행과 59,740개의 열로 구성됩니다(연속 곡선을 생성하기 위해 수천 개의 "이산" 측정값이 있는 FT-IR 데이터). PLS를 실행하려고 하면 59738개의 열을 X 요인으로 설정하고 두 개의 열을 Y 응답으로 설정하려고 할 때 다음 오류가 발생합니다.
이 데이터 세트는 발트해 샘플 데이터 세트와 동일한 방식으로 구성되어 있지만 측정값이 더 많습니다.
이 문제를 해결하는 방법을 아는 사람이 있나요? 59738개 모두가 아닌 소수의 X 응답만 선택하면 작동합니다. JMP가 처리할 수 있는 데이터 용량을 초과했나요?
감사합니다
답: 부분 최소 제곱이제 PLS를 실행한 다음 VIP를 사용하여 모델을 만들면 이 작업을 수행할 수 있다는 것을 깨달았습니다. 그러나 X-reduced 데이터세트에서 이 작업을 수행하면 몇 가지 이상한 결과가 나타납니다. PRESS를 최소화하는 요소의 개수를 0으로 판단하여 의미 있는 정보를 추출할 수 없습니다. 이는 7가지 요인을 결정하고 X(97.7%)와 Y(99.9%)에 대해 합리적으로 강한 예측력을 갖는 초기 PLS와는 정반대입니다. 중요하지 않은 X 요소를 제거하면 모델이 더 나빠지는 것 같습니다. 이는 제게는 이해가 되지 않는 것 같습니다. 아마도 내가 이 결과를 오해하고 있는 것은 아닐까?답: 부분 최소 제곱좋습니다...0은 실제 숫자 데이터입니다. 50,000개가 넘는 예측 변수의 긴 목록 어딘가에 전체 누락된 값이 포함된 열이 있는 경우 오류 메시지를 기반으로 궁금합니다. 오류 메시지를 올바르게 해석하는 경우 누락된 값의 평균을 계산하는 것이 누락된 값을 선택하는 방법입니다. 실제로 이것이 오류의 근본 원인인지 확인하기 위해 결측값 탐색 플랫폼을 실행해 보셨나요? 완전한 결측값 열이 있는 경우 평균을 생성할 수 없습니다. 누락된 값이 문제가 아니라면...저는 당황해서 다음과 같이 생각합니다. @ian_jmp 그리고 @Bill_Worley JMP 기술 지원팀에 문의하는 것이 최선의 방법일 수 있습니다.
저는 (JMP 시스템 엔지니어로 재직하는 동안) 유사한 '오류' 유형 메시지를 접한 고객이 있었는데, 근본 원인은 데이터 테이블 전체에 흩어져 있는 값이 누락되어 사용하려고 했던 분석 플랫폼의 실행이 불가능했기 때문이었습니다. .
답: 부분 최소 제곱이를 강조해 주셔서 감사합니다. 이는 실제 숫자 0 값이며 누락된 데이터 포인트가 아닙니다.답: 부분 최소 제곱안녕하세요 이안님, 답변 감사드립니다. JMP 지원팀에 이메일을 보내겠습니다. 나는 데이터를 플롯했는데 모든 지역이 응답을 구별하는 것은 아닙니다. 응답하지 않는 X 요소를 수동으로 제거하여 PLS를 실행할 수 있습니다. 이로 인해 실제로 고려해야 할 열 수가 약 59,738개에서 거의 8,000개로 줄어듭니다. 그러나 이것은 이상적이지 않으며 직접 수행하는 것보다 반응하지 않는 X 요인을 제거하기 위한 체계적/계산된 방법을 찾는 것이 훨씬 낫습니다(정의상 과적합이 발생하기 쉽고 일부 스펙트럼 노이즈를 모델링할 수 있음). ).
어떻게든, 유용한 파수 범위((기준, 예: 계수 >= 최대의 5%?)를 결정하기 위해 스케일링되고 중심화된 모델 계수를 사용하고 싶습니다. 나는 이것을 어떻게 해야할지 모르겠습니다. 어떤 아이디어라도 있으시면 대단히 감사하겠습니다.답: 부분 최소 제곱또 다른 질문입니다. '0' 응답이 실제로 수치적으로 0인가요, 아니면 단지 '결측값'에 대한 자리 표시자인가요? 각 열의 다른 값과 관련하여 0은 이상하게 보입니다. JMP는 이 값이 실제로 0인지(지금까지의 분석에서는 이렇게 처리되는 것으로 보임), 누락된 경우 '누락'을 어떻게 처리하고 싶은지 알아야 합니다.
답: 부분 최소 제곱지원팀에 문의하는 것에 대해서는 Ian의 의견에 동의합니다. 하지만 그 과정에서 시도해 볼 수 있는 몇 가지 다른 옵션이 있습니다.
JMP Pro를 사용하고 있는 것 같습니다.일반화 회귀를 사용해 보셨나요?Elastic Net과 같은 페널티 회귀 접근 방식을 사용하여 중요한 강도의 수를 제한할 수 있습니다.
또한 스펙트럼 데이터를 보는 좋은 방법은 행을 함수로 사용하는 Functional Data Explorer를 사용하는 것입니다.이민 및 아민 농도의 출력을 "Z 보충"으로 사용하면 기능적 DOE 기능(JMP Pro 15)을 사용하여 데이터의 일반화 회귀 모델을 얻을 수 있습니다.개별 곡선에 맞게 샘플 ID 열을 넣고 모델에 맞게 P-Spline을 사용하십시오.59,740개의 열을 사용하면 약간의 시간이 걸릴 수 있지만 시도해 볼 가치가 있다고 생각합니다.
HTH
청구서
답: 부분 최소 제곱이메일로 보내는 것이 가장 좋을 것 같습니다. support@jmp.com 이 스레드를 참조합니다.
방법론적인 관점에서 데이터를 구성했습니까? 파장/주파수의 모든 영역이 응답을 구별할 것으로 예상하십니까?
