모델 비교에 대한 도움말: DOE vs ANN 강화좋은 아침입니다 여러분!
1) 나는 실험에서 가장 최적화된 모델을 선택하기 위해 각각의 Rsquared(가장 큰), RASE(가장 작은) 및 AAE(가장 작은)를 비교하고 싶은 DOE와 부스트된 신경망 모델을 가지고 있습니다.
첨부된 이미지와 같이 "모델 비교" 도구에서 실험 스프레드시트에 저장된 예측 공식을 통해 모델 위의 기준에 따라 선택할 수 있음을 확인했습니다. 하지만 이 생성된 테이블에 Rsquared, RASE 및 AAE와 함께 내 DOE를 포함하고 싶습니다. 누구든지 그것을 수행하는 방법에 대한 조언을 얻을 수 있습니까?
2) 또 다른 질문: 모델 출시 시 "투어 횟수" 필드가 에포크 횟수가 될까요? 이 필드를 늘리는 것은 어떻게 작동합니까? 값 테스트에 대한 제안이 있는 사람이 있습니까?
*** 추가하다
물어보는 걸 깜빡했어요:
3) 27개의 실험(8개 실험의 3중 반복 + 완전 요인 DOE로 인한 3개의 중심점)만 있고 재료 부족으로 더 이상 수행할 수 없습니다. 결국 부스팅을 사용하여 ANN 모델을 테스트하기로 결정했습니다. 여러 개의 작은 모델을 조합하면 예측 능력이 더 뛰어난 모델을 만들 수 있다고 믿었기 때문입니다. 이것이 최선의 선택일까요? 이 시나리오에 대해 다른 ANN 구성을 추천할 사람이 있습니까? 네트워크 최적화, Rsquared 증가, RASE 및 AAE 감소에 대한 아이디어가 있습니까? 저는 실제로 ANN부터 시작하고 있습니다. 어떤 기여라도 매우 관련성이 있을 것입니다!
* 첨부된 JMP 파일은 다음과 같습니다.
실험 설계예측 모델링 및 기계 학습윈도우답: 모델 비교에 대한 도움말: DOE와 ANN이 향상되었습니다.안녕 @ivanpicchi ,
이 계획에서 귀하의 목표가 무엇인지 잘 모르기 때문에 혼란스럽고 귀하의 질문에 직접 대답하지 못할 수도 있습니다. H/W와 FN MED가 두 가지 응답입니까?
또한 귀하의 목표는 무엇입니까?
- 귀하의 요인을 기반으로 시스템을 설명하시겠습니까?
- 중요한 요소를 선별합니까?
- 예측 모델을 만드시겠습니까?
시스템에 대한 귀하의 지식은 무엇입니까? 그리고 다른 많은 질문들... 여기에 몇 가지 첫 번째 생각이 있지만 논의할 내용이 훨씬 더 많습니다(그러나 포럼에 글을 작성하는 데 시간이 너무 오래 걸릴 수 있습니다).
모델 기반 DoE에 신경망을 사용하는 것은 각 요인에 대해 3개의 수준만 있고 복잡한 기능을 근사화할 수 있는 매우 유연한 모델을 사용하기 때문에 나에게는 완전히 맞지 않는 것 같습니다. 파리를 죽이기 위해 바주카포를 사용하는 것처럼 보입니다. 지나치게 복잡하고 부적절한 접근 방식입니다. 따라서 이 단계에서는 하나 또는 여러 개의 NN이 완전히 시기상조입니다. 시도해 볼 수 있는 다른 (더 간단한) 알고리즘이 있습니다: 의사결정 트리/랜덤 포레스트, 지원 벡터 머신, ...
또한 (반복을 통한) 실험이 훈련, 검증 및/또는 테스트 세트 모두에 포함될 수 있으므로 기계 학습에 대한 검증 열이 적절하게 설정되지 않습니다. 이로 인해 모델이 과적합되고 예측 결과에 대한 과신이 발생합니다. 소규모 데이터세트에 대한 예측 모델의 검증을 위해서는 데이터 유출과 모델의 과적합을 방지하기 위해 동일한 세트에 동일한 처리를 유지해야 합니다. K-fold 및 Leave-One-Out과 같은 교차 검증 접근 방식을 고려하는 것이 흥미로울 수 있습니다(반복실험 사용과 동일한 예방 조치 포함).
어쨌든 일반적인 조언은 모델링하기 전에 데이터를 시각화하고 모델링할 때 Occam 면도기 원리를 사용하는 것입니다. 간단한 모델로 모델링을 시작한 다음 반복하고 복잡성을 추가합니다(필요한 경우!). 새 모델을 이전 모델과 비교하고 얼마나 개선되었는지(및 복잡성이 얼마나 증가했는지) 평가하십시오. 간단하게 시작하여 먼저 회귀 모델을 사용하고 모델의 장점과 단점을 적절하게 평가하는 것이 좋습니다.
어떤 종류의 회귀 모델과 포함된 용어가 있는지는 모르겠지만 응답 H/W는 Fit Least Squares 모델(스크립트 "Fit Group" 참조)을 통해 상당히 잘 모델링될 수 있습니다. 응답 FN의 경우 측정에 노이즈가 많은 것 같으므로 범위, 실험 프로토콜, 요인(불편한 요소 제어 및/또는 차단 사용 등...), 측정 장치 및 어쩌면 결과를 개선하기 위해 선험적 모델을 고려할 수도 있습니다.
이 응답에 복잡한 모델을 맞추는 것은 도움이 되지 않습니다. 최상의 NN(R² = 0,772 - RASE = 0,174(과적합...))의 결과와 단순 회귀 모델(R² = 0,758 - R² 조정 = 0,715 - RMSE = 0,586).
또한 사용되는 모델링 접근 방식, 지표 및 디자인이 그에 따라 정의되어야 한다는 점을 고려하십시오. 예를 들어 , 실험 공간 내부에 초점을 맞춘 예측 목표에서 Space-Filling 설계는 예측의 정확성에 초점을 맞춘 RMSE/RASE/MSE와 같은 가능한 측정항목을 갖춘 기계 학습 알고리즘을 사용하는 데 적합합니다.
이 첫 번째 논의 사항이 도움이 되기를 바랍니다.
답: 모델 비교에 대한 도움말: DOE와 ANN이 향상되었습니다.안녕하세요 @ivanpicchi 님 ,
다시 말하지만, 적합할 수 있는 모델의 복잡성은 데이터 포인트의 수준 수, 품질 및 대표성과 연결됩니다. 최소, 중앙값, 최대 요인에 대한 3가지 수준만 있는 기존 회귀 방법은 2차 모델(상호작용 항 및 2차 항 포함)에만 적합할 수 있습니다. 더 복잡한 반응 표면을 기대한다면 실험 공간 내부에 공간 채우기 디자인 포인트를 사용하여 디자인을 강화하는 것이 좋습니다.
귀하의 질문에 대한 답변:
- 신경망 플랫폼에서는 검증 방법으로 "K-folds"를 선택할 수 있습니다. K = 행 수를 지정하면 Leave-One-Out 유효성 검사 방법이 수행됩니다. 결과를 크게 오도할 수 있으므로 데이터 테이블에 복제물이 없도록 주의하십시오(검증에 사용된 처리가 복제된 경우 훈련에도 존재할 수 있으므로).
신경망 플랫폼의 검증 방법에 대한 추가 정보: 신경망에 대한 검증 방법
Number of Tours(초기 질문 중 하나)에 대한 설명은 여기에서 찾을 수 있습니다. 신경 피팅 옵션
신경망을 미세 조정하는 데 도움이 되는 이 추가 기능을 사용하는 것이 좋습니다. https://community.jmp.com/t5/Discovery-Summit-Americas-2023/JMP-Pro-Neural-Network-Tuning-Add -2023년-US-30MP-1408/ta-p/651647
보다 일반적으로, 머신러닝은 "전통적인" 통계 모델링과 다른 사고방식입니다. 기계 학습은 가정이 거의 없는 최상의 보간 모델을 선택하고 최적화하여 예측 정확도를 강조하는 반면, 통계 모델링은 데이터 생성 프로세스에 대한 이해를 강조하여 적절한 모델을 선택하고 가정을 확인해야 하며 필요할 수 있습니다. 요인으로 인한 반응의 변동과 무작위 변동 또는 잡음을 구별하기 위해 반복실험을 사용합니다.
- 반응 FN과 관련하여: 반복은 동일한 실험 실행(측정 간 재설정이 없는 동일한 샘플)에서 여러 응답 측정을 수행하는 반면, 복제는 각 처리에 대해 여러 개의 독립적인 무작위 실험 실행(각 실행 간에 재설정이 있는 여러 샘플)을 수행하는 것입니다. 콤비네이션. 반복은 (반복 측정의 평균을 사용하여) 측정 시스템의 변동만 줄이는 반면, 복제는 순수 오류에 대한 추정치를 제공하고 예측 오류를 줄이기 위해 전체 실험 변동(프로세스 + 측정)을 줄입니다. 매개변수 추정). 평균 응답에 여전히 약간의 노이즈가 있는 경우 이는 대부분의 노이즈/불편함이 측정 자체가 아닌 프로세스에서 발생함을 의미할 수 있습니다. 차단을 통해 일부 방해 요인을 고려하거나 실험 프로토콜의 일부를 개선할 수 있습니다. 여러 작업자가 측정을 수행하고 있습니까?
- 어떤 이유로 인해 링크가 작동하지 않습니다. 이 글의 결론은 모르겠지만 결과를 보면 잔차를 그릴 때 예측 정확도 측면에서 사용되는 회귀 모델과 신경망 사이에 큰 차이가 없음을 분명히 알 수 있습니다.
데이터 테이블이 첨부된 결과와 모델링(회귀 + 신경망)이 완료된 결과를 볼 수 있습니다.
신경망 플랫폼을 사용하여 예측 목적으로는 매우 흥미롭지만(실행하기 전에 2개의 반복 실행을 숨기고 제외하고 패턴별 Y 응답 평균을 사용) 모델을 찾을 수 있습니다. 반복성/재현성이 있으므로 사용하기에 견고한 모델이 아닐 수 있습니다. 다시 말하지만, 목표에 따라 예측 정확성을 위해 뭔가를 잃을 수 있습니다. 신경망을 사용하면 해석 가능성이 떨어집니다(모든 요소가 결합되어 NN의 활성화 기능에 사용되므로 각각의 상대적인 개별 영향과 중요성을 평가할 수 없음). 요인) 예측 정확도에 유리합니다.
모델 결합에 관심이 있다면 동일한 유형의 모델을 결합하는 것보다 다양한 유형의 모델을 평균화하거나 앙상블하는 것이 더 흥미로울 수 있다고 생각합니다. 동일한 "이론적" 문제 및 가정(일반화 성능, 견고성, 예측 성능)으로 인해 어려움을 겪을 수 있기 때문입니다. , 과적합, ...). 다양한 유형의 모델을 결합하면 오류를 평균화하고 특정 모델의 단점을 다른 모델의 장점으로 보완하는 데 도움이 될 수 있으며 찾은 최적의 위치를 균질화하는 데 도움이 될 수 있습니다(회귀와 신경망 간에 상당히 다를 수 있음).
이보다 완전한 답변이 도움이 되길 바랍니다 
답: 모델 비교에 대한 도움말: DOE와 ANN이 향상되었습니다.자세한 답변을 보내주셔서 감사합니다!
실험은 실험적으로 정의된 공간 내에서 로봇 GMAW에 의해 10개의 중첩 용접이 있는 WAAM 벽을 예측하기 위해 수행되었으며, 각 실험은 실행된 벽에 해당합니다.
다음 두 가지 답을 예측해야 합니다. 1) H/W(높이/너비 비율)와 FN(벽면에 있는 페리토스코프로 측정한 평균 10개 지점에서 얻은 퇴적물의 페라이트 함량). Factorial DOE를 수행함으로써 학생들은 H/W 비율을 극대화하고 FN 콘텐츠를 목표로 하는 최적화된 인상을 제안할 수 있었습니다. 우리는 용접 매개변수화를 목표로 하는 DOE 및 ANN 여정을 시작하고 있습니다.
그러나 모델은 DOE 실행 외부의 일부 용접 실험을 예측하는 데는 만족스럽지 못하며 수행된 일부 측정은 모델에서 예측한 95% CI를 벗어났습니다. 따라서 이미 진행된 실험을 통해 예측력을 극대화하려는 시도이다. 샘플 공간 내에서 답을 예측해야 합니다. 샘플 공간 아래에서는 용접이 불가능하고 그 이상에서는 기계 구성 요소가 손상되기 때문입니다.
몇 권의 책과 기사를 보다가 답변에서 지적한 대로 데이터 양이 적어서 K-fold를 ANN에 적용하는 것을 고려했는데, JMP pro에서는 어디에서 선택해야 합니까? 동일한 검증 데이터 세트에 세 쌍을 넣는 방법에 대한 조언을 주셔서 감사합니다. 이것이 ANN 과적합에 영향을 미칠 것이라는 생각조차 하지 못했습니다.
예, 회귀 분석에 Fit Least Squares 모델을 적용했습니다. FN의 노이즈 레벨이 포인트의 평균이기 때문일까요? 그렇다면 위의 내용에 대한 조언이 있습니까?
훌륭한 답변과 질문에 다시 한번 감사드립니다!
답: 모델 비교에 대한 도움말: DOE와 ANN이 향상되었습니다.예: "Aureobasidium pullulans AKW에 의한 멜라닌의 최적화된 생산을 향한 반응 표면 방법론과 인공 신경망을 사용한 비교 연구"( https://doi.org/ ) 기사에서 가져온 이미지와 유사한 분석을 수행하고 싶습니다. 10.1038/s41598-023 -40549-z).
답: 모델 비교에 대한 도움말: DOE와 ANN이 향상되었습니다.우리는 신경망 검증을 위해 분할이 어떻게 수행되었는지 모르기 때문에(적어도 나는 모르기 때문에) 결과에 주의할 것입니다.
- 그들은 마지막 3개 라인이 반복이라는 점을 고려했으므로 신경망의 경우 3개의 다른 결과를 다른 세트로 분할하는 대신 이 처리에 대한 응답의 평균을 사용하는 것이 더 "공정"합니까?
- 또한 회귀의 모델링 부분에 대한 설명이 부족하여 모델링에 유지된 용어가 무엇인지, 어떤 기준으로 모델에서 삭제되었는지 알 수 없습니다. "기계 학습"에서 수행됩니까? "/예측 방법, 다양한 회귀 모델을 테스트하고 가장 좋은 검증 결과를 유지하는 모델? 아니면 통계적 유의성, 정보 기준, 가능성을 기반으로 합니까?
그러나 모델링이 어떻게 수행되었는지에 대한 정보가 부족하더라도(아마도 기사에 있지만 제공된 링크로 액세스할 수 없음) 결과를 비교할 때 편향-분산 트레이드오프가 실제로 작동하는 것을 보는 것은 흥미로울 것입니다. 실험적 검증을 통해 최적의 결과를 도출합니다.
회귀 모델은 신경망보다 더 높은 편향(실제 최적과 예측 최적의 가장 큰 평균 차이)을 가질 수 있지만 분산은 더 낮을 수 있습니다(회귀 모델에서 찾은 최적은 찾은 것보다 불확실성(SD ?)이 낮기 때문입니다) Neural Network와 함께) 더 강력한 선택이 될 수 있습니다.
