기존 모델 평가안녕하세요 여러분,
나는 예측 모델을 만들었고 최근 QC의 동료들은 제품 배치를 계속하기 위해 모델의 많은 변수 중 하나인 성분 중 하나를 변경해야 했습니다. 아직 데이터가 부족하고, 바꾸면 정확도가 떨어지기 때문에 기존 모델을 미세 조정하기보다는 평가하고 싶습니다. 그들은 모델 예측을 비교하는 데 사용할 수 있는 새로운 성분을 사용하여 새로운 측정된 응답을 갖습니다. 이것이 내 모델을 평가하는 한 가지 방법입니다. 하지만 JMP에 이를 수행하고 더 깊이 파고드는 데 사용할 수 있는 도구가 이미 있는지 궁금합니다. 무엇이든 통계적 공정 관리(SPC) 차트 ?!
어떤 제안이라도 높이 평가됩니다.
Re: 기존 모델의 평가@statman 링크와 책, 그리고 시간을 내주셔서 다시 한 번 감사드립니다.
1. 선별요인과 기여요인 항목에서 유의미한 것으로 나타났습니다. 새로운 성분은 다른 공급업체에서 온 것입니다. 동일한 유형에 대해서는 여전히 ASTM 제한 내에 있습니다. 네, 실험해 볼 수 있어요. 나는 가까운 장래에 그렇게 할 것입니다.
1. 네, 알고 있습니다. Boosted Tree는 아마도 조정된 R2를 제공하지 않을 것입니다.
2. 네, 당연히 델타의 경우입니다. 나는 어떤 델타를 사용할 것인지를 의미했습니다. 하지만 그것은 내 결정에 따른 것 같습니다... 다시 한 번 감사드립니다.
Re: 기존 모델의 평가참조하세요 일변량 동등성 이 테스트에 대한 자세한 내용은 배포판을 참조하세요. 보다 단방향 동등성 Oneway의 정보를 확인하세요.
Re: 기존 모델의 평가후속 토론:
1. 이전 모델의 기존 화학물질은 얼마나 중요한가요? 새로운 화학물질은 어떻게 다른가요? 이 변수를 실험하여 그 효과를 확인할 수 있습니까?
1. R^2는 모델의 정확도와 아무런 관련이 없습니다. R^2는 모델에 의해 설명되는 데이터 세트의 변동량입니다. R^2는 자체적으로 평가되어서는 안 됩니다. R^2를 조정된 R^2와 비교해야 합니다. 모델의 자유도가 증가하면 R^2는 항상 증가하지만(모델에 DF가 많이 있음) 요점은 모델에 중요한 변수만 포함한다는 것입니다. 조정된 R^2는 모델에서 중요하지 않은 항을 설명하므로 조정된 R^2와 R^2 사이의 델타를 최소화하려고 합니다.
2. 이전 모델(열 1)과 새 모델(열 2) 사이의 델타 열을 생성하려면 2개의 열을 빼는 수식을 사용하여 열을 생성하면 됩니다.
관리도 사용에 대한 통찰력을 얻으려면 다음을 읽어야 합니다.
Wheeler, Donald 및 Chambers, David (1992) “ 통계적 공정 관리 이해 ” SPC 프레스 (ISBN 0-945320-13-2)
배포판의 경우: https://www.jmp.com/support/help/en/15.1/?os=mac&source=application&utm_source=helpmenu&utm_medium=application#page/jmp/compare-distributions.shtml
Re: 기존 모델의 평가@마크_베일리 답변해 주셔서 감사합니다. JMP에서 이를 실행하는 방법과 예를 볼 수 있는 페이지가 있습니까? 매우 감사.
Re: 기존 모델의 평가감사해요 @statman 그리고 @마크_베일리 . 계속해서 귀하의 질문에 답변해 드리며 최종적으로 최선의 생각/해결책을 얻으실 수 있기를 바랍니다. 시간을 내어 친절하게 도와주셔서 다시 한번 감사드립니다.
1. 현재 모델(Boosted Tree)이 잘 작동하고 있다고 생각합니다. R2는 92%이고 새로 측정된 응답으로 예측을 확인했는데 QC는 매우 만족했습니다. 제가 말씀드리는 반응은 같은 30가지 재료를 사용한 작품에서 나온 반응입니다. 수입할 수 없고 대체 성분을 사용하고 있기 때문에 최근에 한 가지 성분만 변경되었습니다.
2. 1번에서 대답한 것 같아요. 그래서 제가 만든 유일한 모델은 우리가 수년 동안 작업해온 30개의 변수를 사용합니다. 그 중 하나는 최근에 바뀌었는데, 비슷한 유형이지만 화학적 조성이 약간 다릅니다.
3. 아 미안해요. 모델에서 아무것도 제거되지 않았습니다. 내가 만든 유일한 모델이 여전히 응답을 수용 가능한 수준으로 예측하는지 확인하고 싶습니다.
4. 이전 모델과 같은 정확도를 갖고 싶습니다. 92% R2는 훈련, 검증, 테스트 세트용이었습니다. 훌륭한 모델입니다. 29개의 이전 변수와 새 성분(총 30개)을 사용하여 새 모델을 생성하려는 경우 좋은 모델을 교육하기에 충분한 데이터 세트가 없습니다. 그래서 충분한 데이터가 나오려면 최소한 1년은 기다려야 한다.델타와 관련하여 동일한 정확도가 유지되는지 확인하기 위해 계산하는 방법은 무엇입니까? 메뉴에서 모델 비교를 사용할 수 있나요?
그래서 마지막 단락이 매우 흥미롭다고 생각합니다. 해당 차트에 예측 공식을 적용하는 방법에 대한 예가 있습니까?
저는 이 차트의 초보자입니다. 또한 분포 요약이란 무엇을 의미합니까? 죄송합니다. 조금 혼란스러워요.
Re: 기존 모델의 평가다음에 추가 @statman , 당신은 시연하고 싶어 등가 현재 모델을 검증하기 위해 성분을 변경한 후에도 여전히 정확합니다. 그 목적은 귀무가설과 대립가설을 뒤집는 것입니다. Distribution 또는 Oneway 플랫폼을 사용하여 동등성 테스트를 수행할 수 있습니다. 결과가 실질적으로 동일하다고 간주되는 간격을 명시해야 합니다.
Re: 기존 모델의 평가몇 가지 생각과 질문:
1. 방법 잘 성분이 변경되기 전에 예측 모델이 작동했습니까?
2. 현재 모델은 완전히 다른 성분을 사용합니까, 아니면 과학적 이론적 관점에서 "관련"되어 있습니까?
3. 모델을 "미세 조정"한다는 것이 무슨 뜻인지 잘 모르겠습니다. 모형에서 변수를 제거한 경우 모형에 있는 다른 항의 베타 계수 측면에서 모형이 완전히 다를 수 있습니다. 해당 항이 모델에서 제거되면 과거 데이터에 대한 모델의 정밀도는 어떻게 되나요?
4. 현재 예측 값(공식의)이 포함된 열, 측정된 응답 변수의 열 및 2의 델타인 열을 갖는 것이 간단한 비교 방법이 될 것이라고 생각합니다. 얼마나 많은 차이가 당신에게 중요할까요?
관리도는 진단입니다. 이는 다양한 변형 소스를 비교하고 가장 큰 영향력이 있는 위치를 결정하기 위한 것입니다. 그들은 먼저 비교 기준의 안정성을 평가함으로써 이를 수행합니다(범위 차트 - 해당 빈도에서 변하는 변수의 함수로서 부분군 내 변동 원인의 안정성을 평가함). 그런 다음 해당 소스가 연구의 다른 소스에 대한 반응의 변동성에 미치는 영향을 비교합니다(x 막대 차트 - 부분군 내 변동(관리 한계)과 부분군 간 변동 원인을 비교합니다.
이제 성분이 변경되기 전에 작동했던 프로세스의 샘플링을 수행할 수 있습니다(단순히 살펴보고 진단을 찾지 않는 경우 시계열 데이터의 MR, X 차트를 사용할 수 있음). 성분을 변경한 후 반응에 눈에 띄는 변화가 있는지 확인합니다. 또한 분포 요약을 보고 그래픽 모양을 얻을 수도 있습니다.
