사람들은 DOE의 입력으로 중요한 변수를 찾기 위해 변수 선택을 위해 과거 데이터에 PLS를 사용한 적이 있나요?저는 Bootstrap forest를 사용하여 VIP 변수를 찾고, 그 다음에 Elastic net이나 Stepwise 회귀를 사용하여 미래 DOE에 중요할 수 있는 용어를 더욱 줄이는 JMP 웨비나를 여러 번 봤습니다.
누군가가 프로세스에서 PLS 회귀를 사용하는지 궁금합니다. 아마도 Bootstrap forest 이후에 Elastic Net 등을 사용하기 전에 중요하거나 상관 관계가 있는 변수를 추가로 식별하기 위해 사용하는 것일 수도 있고, Elastic Net이 상관 관계가 있는 변수 세트를 유지하거나 제거한다는 사실이 이러한 작업의 필요성을 무효화하는 것일 수도 있습니다.
혹시 이걸 프로세스에 사용하는 분 계신가요? PLS를 사용해서 생물학적 프로세스 데이터를 마이닝하는 웨비나를 몇 개 봤는데, 어떤가요?
예측 모델링 및 머신 러닝Re: 사람들이 DOE의 입력으로 중요한 변수를 찾기 위해 변수 선택을 위해 과거 데이터에 PLS를 사용한 적이 있나요?안녕하세요 @mjz5448 ,
모든 통계적 접근 방식과 마찬가지로 가장 간단한 답은 '상황에 따라 다르다'입니다. Elastic Net이 이미 변수 선택을 효율적으로 수행하므로 PLS를 추가로 적용할 필요가 없거나 원하지 않을 수 있다는 점은 맞습니다. 또 다른 장점은 EN의 모델 계수를 직접 해석할 수 있으므로 예측 변수를 반응 변수와 직접 연관시킬 수 있다는 것입니다. 또한 PLS의 목적을 고려해야 합니다. PLS는 주로 설명 모델이 아닌 예측 모델을 생성하는 데 사용됩니다(물론 모든 요인의 로딩 및 선형 결합으로 인해 복잡성이 증가하지만 예측 모델을 생성할 수도 있습니다). DOE 요인을 선택하는 경우 설명 모델링과 예측 모델링에 더 적합한 접근 방식을 시도해야 합니다.
도움이 되길 바랍니다. 다른 사람들도 가치 있는 토론을 추가할 수 있을 거라고 확신합니다.
감사해요,
벤
Re: 사람들이 DOE의 입력으로 중요한 변수를 찾기 위해 변수 선택을 위해 과거 데이터에 PLS를 사용한 적이 있나요?몇 년 전, 저는 기판(사진 필름과 종이)에 재료를 코팅하는 데 매우 능숙한 대형 화학 회사에서 일했습니다. 그때 우리는 다음과 같은 이유로 항상 PLS를 사용하여 설계된 실험에 대한 정보를 제공했습니다.
1. 많은 입력 요소를 사용하는 제조 공정에서 실행 횟수가 매우 적습니다. 광범위하고 짧은 데이터 세트를 고려하세요. PLS에 맞춰 제작되었습니다.
2. 요인 간에 다중공선성이 많습니다.
3. 진정한 프로세스에 대한 이해는 세월 속에 사라졌습니다. 우리가 수십 년 동안 만들어 온 제품 중 일부는 제조업에서 흔히 말하는 '그냥 지난번처럼 만들면 된다'는 것입니다. 왜냐하면 우리는 모든 것이 어떻게 돌아가는지 정말로 모르기 때문입니다.
4. 페널티 회귀/트리 기반 변수 선택 방법은 아직 소프트웨어에서 널리 사용되지 않았습니다.
5. 그리고 이 모든 노력의 원동력은 바로 "어젯밤에 (빈칸 채우기)를 만들려고 했을 때, 물리, 화학, 생물학의 마법이 제대로 작동하지 않았습니다. 그리고 근본 원인도 전혀 알 수 없습니다."라는 생각입니다.
그래서 저희는 PLS를 사용하여 핵심 요인을 파악한 다음, 파일럿/소규모 시설에서 설계된 실험을 수행하여 프로세스에 대한 이해를 높이고 시스템 장애 모드의 근본 원인을 파악했습니다. 제가 함께 일했던 두 엔지니어는 (이러한 문제 해결 팀의 통계 담당자로서) 저에게 공감되는 말을 했습니다. "때로는 '아는 것'과 '아닌 것'이 '아는 것'만큼 가치 있는 법입니다." 그리고 다른 한 사람은 "장애 모드를 켜고 끌 수 있기 전까지는... 근본 원인을 알 수 없습니다."였습니다.
간단히 말해서, PLS와 DOE의 조합 덕분에 우리가 원하는 것을 얻을 수 있었습니다. 도움이 되셨으면 좋겠습니다.
Re: 사람들이 DOE의 입력으로 중요한 변수를 찾기 위해 변수 선택을 위해 과거 데이터에 PLS를 사용한 적이 있나요?안녕하세요 @mjz5448 ,
저는 @P_바텔 의 PLS 사용에 전적으로 동의합니다. 특히 입력 변수의 수가 실험 횟수보다 많은 입력과 출력 변수 간의 공선성/상관관계가 있는 상황에서 PLS를 사용하는 것이 좋습니다. 부분 최소 제곱법은 Y와 X 사이의 상관관계를 이용하여 모델을 개발하는 데 사용됩니다.
PLS는 일반적으로 화학계량학에서 스펙트럼 데이터 분석을 위해 자주 사용되는 모델입니다. 상관관계가 있는 X(예: 각 파장의 세기)의 수가 매우 많고, 일부 반응을 예측할 수 있는 관측치/실험이 적기 때문입니다. 이 경우, PLS(적절한 검증 및 테스트 방법론 포함)를 사용하여 X 간의 상관관계를 활용하여 좋은 예측 모델을 얻을 수 있습니다. 이 모델 유형은 설명/해석이 가능하며, 화학계량학의 맥락에서 변수 중요도 플롯 및 기타 그래프를 사용하여 특정 화학 기능/그룹/분자와 관련된 중요한 파장 대역/면적을 식별할 수 있습니다. 이 플랫폼에서 제공되는 Profiler를 사용하면 변수의 중요성을 대화형으로 시각화할 수 있으며, Profiler의 " 변수 중요도 평가 " 옵션을 통해 Sobol 민감도 지수를 계산할 수도 있습니다.
모든 모델링 방법을 사용할 때는 사전 지식 수준, 목표, 실험 맥락에 맞춰야 합니다.
사전 지식이 부족하고 실험 횟수가 적은 매우 초기 선별 단계에서는 효과 추정치의 정확도와 관계없이 중요한 효과를 식별하는 것이 목표인 경우가 많습니다(효과는 DoE를 통해 유익한 데이터를 수집하여 확인하고 정밀화할 수 있습니다). 이러한 상황에서는 페널티 회귀 (라소, 릿지, 탄성 네트, 단치히 선택기)가 중요한 효과를 식별하는 데 유용한 경우가 많지만, 효과 추정치의 편향이 증가한다는 단점이 있습니다. 효과 희소성에 대한 가정에 따라 다양한 페널티 방법을 사용하는 것이 다릅니다. 라소는 상관관계가 있는 변수에 대해 0에서 추정치를 강제로 적용하여 변수를 선택하는데, 이는 많은 후보 중 중요한 예측 변수의 수가 적을 것으로 예상되는 경우에 유용할 수 있습니다. 덜 "공격적인" 접근법으로는 릿지 추정(중요도가 유사한 여러 상관관계 예측 변수가 있는 경우 0에서 추정치를 작성하지 않고 상관관계가 있는 효과의 크기를 줄이는 방법)이나 라소와 릿지 페널티를 결합한 탄성 네트 추정이 있습니다.
관찰/실험이 더 많다면, 편향/페널티에 의존하지 않는 랜덤 포레스트 와 같은 다른 피처 선택 방법을 시도해 볼 수 있습니다. 또는 피처 중요도(열 기여도)를 사용하여 가장 중요하고 활성적인 피처를 식별하는 예측자 스크리닝 옵션으로 랜덤 포레스트를 사용할 수도 있습니다. 또한, 보루타 피처 선택 방법과 랜덤 포레스트를 사용하는 업그레이드된 버전의 예측자 스크리닝을 기반으로 변수를 선택하는 데 도움이 되는 예측자 선택 지원 추가 기능을 사용해 볼 수도 있습니다.
다음 주제의 관련 대화도 확인할 수 있습니다.
상관 변수가 있는 다중 회귀 분석
기능 선택을 위한 최고의 JMP 플랫폼은 무엇입니까?
JMP에서 범주형 변수에 대한 다중공선성과 동일한 것이 있습니까?
제가 추천하는 방법은 위에서 언급한 다양한 모델링 방식(그리고 그 외 여러 방식)을 테스트, 비교, 그리고 (궁극적으로는) 결합하는 것입니다. 그리고 도출된 모델들을 비교하여 어떤 용어가 포함되었는지, 그리고 모델들이 얼마나 유사하거나 다른지 확인하는 것입니다. 이렇게 하면 무엇이 가장 중요한지 이해하는 데 큰 도움이 될 수 있습니다.
이 답변이 도움이 되기를 바랍니다.
Re: 사람들이 DOE의 입력 변수로 중요한 변수를 찾기 위해 변수 선택을 위해 과거 데이터에 PLS를 사용한 적이 있나요?모든 사람에게 통찰력을 제공하는 올바른 도구나 올바른 도구 순서는 없습니다. 우리 각자는 주어진 상황에서 어떤 도구가 가장 효과적이고 효율적인지에 대한 편견을 가지고 있을 것입니다. 그럼에도 불구하고, 답은 도구에 있는 것이 아닙니다. 핵심은 반복을 필요로 하는 비판적 사고입니다.
과학이나 공학 기반 가설(예: 열역학, 엔트로피)부터 시작해 볼 수 있습니다. 가설이 없다면 "데이터 마이닝"이 유용할 수도 있습니다. 저는 데이터 마이닝을 아주 자유롭게 활용합니다. 기본적으로 데이터를 분석하여 패턴을 (혹은 패턴이 없는지) 파악하는 것입니다. 물론, 이는 그래픽을 활용하는 것이 가장 좋습니다.
관계를 정량화하려는 다양한 형태의 회귀 분석 (예: OLS, 단계적 회귀, PCR, 능선 회귀, PCA, PLS 등)이 있습니다. 연구자에게 결과에 대한 설명을 요구하는 경우, 이는 매우 유용할 수 있습니다(예: 이 요인이 왜 유의미해 보이는가, 또는 왜 유의미하지 않은가). 이는 가설을 수립하는 과정이며, (아마도 설계된 실험에서 평가될) 것입니다.
역사적 또는 관찰 데이터를 사용할 때 주의해야 할 몇 가지 사항이 있습니다.
1. 과거 어느 시점에 (어떤 방식으로든) 중요하다고 여겨 졌던 요인이 있다면, 그 요인에 대한 통제가 그 요인의 변동을 크게 허용하지 않을 수 있습니다. 해당 요인을 분석하면 회귀 분석에서 유의하지 않은 것으로 나타날 수 있습니다(변동폭이 크지 않았기 때문입니다).
2. 숨겨진 교란 요인이 존재할 수 있습니다(데이터 집합에서 식별되거나 레이블이 지정되지 않은 x).
3. 무슨 일이 일어났는지 모델링할 수 있는 능력이 있다고 해서 무슨 일이 일어날 지 예측할 수 있다는 것은 아닙니다.
4. 수집된 x의 범위를 벗어나 이해 없이 모델을 외삽하는 것은 다음과 같습니다.위험한.
5. 과거 데이터와 함께 사용되는 회귀 분석은 데이터가 수집된 맥락을 고려하지 않습니다(예: 측정 불확도를 알고 있습니까?)
6. "잘못된" 데이터 포인트의 영향을 쉽게 받을 수 있습니다.
