지원 벡터 시스템을 위한 SVEM 추가 기능Support Vector Machine으로 모델링하고 싶은 DOE 결과가 있습니다. (다항식 모델로는 추정할 수 없는 강력한 비선형 효과가 있습니다.) SVEM 추가 기능을 어떻게 설치합니까?
고급 통계 모델링실험 설계예측 모델링 및 기계 학습Re: 지원 벡터 시스템용 SVEM 추가 기능예, 부스팅 트리는 순차 트리 훈련을 통한 반복적인 예측 오류 수정으로 인해 "설계상" Random Forest보다 더 정확할 수 있습니다. 그러나 성능 향상을 위해 순차 트리를 학습하는 동안 수행된 복잡한 분할은 훈련 세트에서만 유효할 수 있으며 새로운 데이터 포인트에서 발생할 수 있는 상황을 반영하지 못할 수도 있습니다.
Random Forest는 하이퍼파라미터에 관한 강력한 알고리즘이므로 특정 값 이상으로 트리 수를 늘려도 성능 평가가 변경되지 않을 수 있습니다. LinkedIn 의 내 게시물 및/또는 " Tunability: Importance of Hyperparameters of Machine Learning Algorithms ": 1802.09596 기사를 참조하세요. (arxiv.org)
Re: 지원 벡터 시스템용 SVEM 추가 기능부스트 트리 R² = 0,85
Re: 지원 벡터 시스템용 SVEM 추가 기능랜덤 포레스트에 따르면 2000그루의 나무를 사용해도 R² = 0,63이 나쁩니다.
Re: 지원 벡터 시스템용 SVEM 추가 기능나는 완전히 동의하지 않습니다. 트리 기반 모델 사이에는 더 많은 뉘앙스가 있습니다.
- XGBoost 및 기타와 같은 Boosted Tree 방법은 순차적으로 훈련된 트리를 사용하여 예측을 점진적으로 개선하고 수정합니다. 훈련 세트 특성, 크기, 데이터 품질, 데이터 포인트의 재분배, 대표성 등에 의해 더 많은 영향을 받습니다. 반복적으로 최상의 예측을 얻으려고 노력하기 때문입니다(각 트리는 이전 트리의 가장 큰 예측 오류를 "수정"). 그들이 훈련받은 데이터 세트.
이는 일반적으로 낮은 편향 - 높은 분산으로 설명되는 알고리즘입니다. 예측은 매우 정확할 수 있지만 사용된 교육 데이터 세트에 따라 매우 민감하거나 영향을 받습니다.
- 랜덤 포레스트는 약간 다른 데이터 세트(부트스트랩 세트)에서 병렬로 훈련된 트리를 사용합니다. 이 알고리즘의 우수한 예측 성능은 개별 트리 예측의 평균화에서 비롯됩니다. " 군중 의 지혜 "라고 생각하시면 됩니다. 고래의 무게를 누군가에게 물어보면 매우 부정확하고 정확하지 않을 수도 있지만, 수백, 수천명의 사람들의 답변을 모아서 평균을 낸다면 , 평균 결과는 실제 값과 매우 유사할 수 있습니다.
일반적으로 중간/낮은 편향 - 낮은 분산으로 설명되는 알고리즘입니다. 예측은 정확할 수 있으며(개별 결과의 평균화 및 개별 트리의 복잡성/수에 따라 다름) 부트스트래핑 덕분에 훈련 데이터 세트에 매우 강력합니다. 프로세스 및 나무의 개별 훈련(다른 기능 포함).
다음은 다양한 트리 기반 모델 간의 짧은 시각적 표현입니다(Random Forest의 개별 트리가 동일한 구조를 갖는 방식은 마음에 들지 않지만 단순한 스키마입니다).
귀하의 질문에 대답하기 위해 DoE와 같은 작은 크기의 데이터 세트에서 부스팅 트리 방법을 통한 Random Forests를 시도하여 결과에 대한 신뢰도를 높이고 과적합 가능성이 덜한 알고리즘을 사용하며 더 나은 일반화 속성을 갖습니다.
Re: 지원 벡터 시스템용 SVEM 추가 기능Random Forest 및 XGboost와 같은 추측 트리 기반 모델에는 작은 세트에 SVEM을 사용할 수 없는 한 대규모 데이터 세트가 필요합니다. 맞습니까?
Re: 지원 벡터 머신용 SVEM 추가 기능안녕하세요 @frankderuyck 님 ,
알아두면 좋아요!:)
저는 가능한 마지막 모델링 옵션으로 신경망을 사용합니다. 똑같이 잘 수행되는(때로는 더 나은) 더 간단한 기존 모델과 ML 알고리즘이 많이 있습니다. 이러한 다른 옵션은 계산 속도도 더 빠르며, 미세 조정을 위해 확장된 지식, 테스트 및 검증이 필요하지 않습니다(레이어 수, 기능 유형, 부스팅 여부 등을 사용하여 아키텍처를 지정해야 하는 NN과 달리...). 또는 Neural Network Tuning AddIn 사용) 해석하기가 더 쉽습니다(응답 프로필 및 상대적 요인 중요성 측면에서).
표 형식 데이터에서 잘 수행할 수 있는 유일한 모델이 신경망이라면 데이터 품질, 대표성, 누락된 값/이상값, 반복성/재현성 등의 측면에서 다른 문제가 있을 가능성이 높습니다.
트리 기반 모델은 우수한 성능 벤치마크를 제공하며 종종 안전하고 신뢰할 수 있는 옵션입니다. " 왜 트리 기반 모델이 표 형식 데이터에서 딥 러닝보다 여전히 뛰어난 성능을 보이는 이유는 무엇입니까 ?" 기사를 참조하세요. (2022) https://arxiv.org/abs/2207.08815
스크린샷에서 Tuning 디자인으로 찾은 최적의 SVM 모델이 매우 흥미로운 것 같습니다.
- 10개의 서포트 벡터를 사용하므로 점의 절반 미만이 SVM 모델에서 사용되는 "경계"/벡터를 구축하는 데 사용됩니다. 이는 복잡성이 낮고 일반화 속성이 우수하다는 좋은 신호일 수 있습니다.
- 곡률 값(감마)이 매우 낮으므로 응답 프로파일과 경계가 지나치게 복잡하지 않고 곡선이 높지 않을 수 있습니다(따라서 복잡성이 낮고 일반화 특성이 좋음).
- 페널티(비용 값)는 상당히 높은 것처럼 보이지만, 작은 크기의 데이터 세트에서는 잘못 분류/잘못 예측된 포인트가 오분류율/RMSE를 크게 증가시키기 때문에 실제로 그런 경우가 많습니다. 25개 중 잘못 분류된 포인트 1개 = 오분류 4% 오분류된 포인트 하나가 오분류율 1% 미만을 나타내는 더 큰 데이터 세트 크기와 비교됩니다. 어떤 상황에서는 약간 더 큰 오류(RMSE/오분류율)가 있지만 지원 벡터가 훨씬 적은 모델을 선택하는 것이 흥미로울 수 있습니다. 새로운 데이터에 대해 더 나은 일반화를 할 수 있습니다.
성능 메트릭과 함께 튜닝 설계로 생성된 테이블을 사용하여 성능 메트릭(분류의 경우 오분류 비율, 회귀의 경우 RASE 및 R²)에 대한 두 하이퍼 매개변수의 상대적 중요성과 기여도를 더 잘 평가할 수 있습니다.
항상 그렇듯이 모델이 과적합되지 않도록 새로운 검증 포인트로 모델을 검증하는 것이 좋습니다.
Re: 지원 벡터 머신용 SVEM 추가 기능안녕하세요 Victor, 이 튜닝 설계는 훌륭하게 작동합니다. 저는 NIR 스펙트럼(FDA)의 3개 Y FPCA의 함수로 표준 응답 Y를 모델링하고 싶습니다. 신경망을 시도했지만 3개의 TanH 노드 프로파일러를 사용해도 내 의견으로는 곡률이 너무 높고 불규칙한 것으로 나타났습니다. 튜닝 후 SVE가 잘 작동하고 벡터 머신러닝을 지원합니다!
Re: 지원 벡터 시스템용 SVEM 추가 기능안녕하세요 @frankderuyck 님 ,
답변하기 전 몇 가지 질문:
- SVM에 SVEM을 사용하려는 이유는 무엇입니까? Support Vector Machines는 DoE와 같은 소규모 데이터 세트에 사용할 수 있는 강력한 ML 알고리즘입니다. LinkedIn에서 알고리즘의 견고성에 대한 추가 정보를 확인하세요.
검증 세트를 사용하지 않고 SVM에 대한 과적합을 평가하는 방법도 많습니다. 서포트 벡터 수를 확인하고, 튜닝 설계 로 SVM 하이퍼파라미터를 미세 조정한 경우 페널티(비용) 및 곡률(감마) 값을 확인합니다. .. 검증이 없는 경우(예를 들어 DoE 데이터 세트에서) 강력한 알고리즘(SVM, Random Forest)에 대한 과적합을 평가하고 방지하는 방법에 대한 블로그 게시물을 작성하려고 합니다.
- 다른 알고리즘도 고려해 보셨나요? SVM은 소규모 데이터 세트 분석을 위한 강력한 알고리즘이지만 Random Forest도 좋은 결과를 제공할 수 있으며 성능을 평가하고 비교하는 좋은 벤치마크가 될 수 있습니다. LinkedIn의 Random Forests에 대한 추가 정보.
- 귀하의 요인에 대한 수준은 몇 개입니까? ML 알고리즘은 매끄러운 보간을 가능하게 하는 각 요인에 대한 충분한 수준이 있는 경우에만 유용할 수 있습니다. 3개 이상의 레벨이 좋은 시작점이 될 수 있습니다.
SVEM 사용과 관련하여 다양한 방법으로 SVEM에 액세스할 수 있습니다.
그러나 교차 검증(K-폴드 또는 SVEM)은 검증 방법이 아니라 다양한 훈련 및 검증 세트에서 알고리즘 성능의 견고성을 평가하는 "디버깅" 방법에 가깝다는 점을 강조하고 싶습니다. 교차 검증 기술을 사용한 후 가장 어려운 점은 결과를 이해하는 방법과 다음 단계를 진행하는 방법입니다.
다양한 접기에 대해 훈련된 개별 모델의 평균을 계산합니까? 이 모델들로 앙상블을 만드시겠습니까? 최고의 모델을 학습된 상태로 유지하세요(이 옵션은 권장하지 않습니다)? 교차 검증을 통해 견고성을 확인한 후 전체 데이터세트에 대해 모델을 훈련시키시겠습니까? ... 이 질문에 대한 명확한 답은 없으며 이는 데이터 세트, 모델화 복잡성, 성능 개선, 사용자 관행 등과 관련이 있습니다.
교차 검증 주제에 관한 Cassie Kozyrkov의 에피소드에 대한 추가 정보: https://youtu.be/zqD0lQy_w40?si=41jfBs83Q0TIlusr
https://youtu.be/by59hsYO0Lg?si=XeZ33j2e4jKQPaRA
이 답변이 도움이 되길 바랍니다.
Re: 지원 벡터 시스템용 SVEM 추가 기능안녕하세요 Victor, 약간의 지연이 있지만... DOE 데이터 모델링을 위해 SVEM 대신 Random Forest를 선택하는 이유는 무엇입니까?
Re: 지원 벡터 시스템용 SVEM 추가 기능안녕하세요 @frankderuyck 님 ,
이는 두 가지 다른 고려 사항입니다.
- SVEM은 선형 회귀부터 신경망까지 모든 모델에 적용할 수 있는 검증 전략입니다.
- Random Forest는 기계 학습 모델입니다.
둘 다 모델링 시 과적합을 방지하는 방법을 공유합니다.
- Random Forest는 부트스트랩 샘플과 " Out-of-Bag " 샘플을 "내부" 모델 검증으로 사용합니다. "Out-of-Bag" 샘플은 훈련에 사용되지 않는 데이터의 일부입니다. 훈련 샘플은 원래 데이터 세트에서 교체를 통해 샘플링된 부트스트랩 샘플입니다. 이론적으로 원본 데이터를 대체하여 샘플링하면 데이터의 약 1/3이 샘플링되지 않을 것이라고 계산할 수 있습니다. 기계 학습 - Random Forests out-of-bag 샘플 크기 - 교차 검증(stackexchange.com)
이 샘플은 Random Forest의 훈련에 사용되지 않는 "Out-of-bag" 샘플을 구성하며 모델의 관련성과 정확성을 평가/검증할 수 있습니다.
- SVEM은 훈련 및 검증에 반상관 가중치를 사용합니다. 즉, 훈련에 대한 가중치가 높은 실험은 검증에 대한 가중치가 낮습니다. 이 검증 설정으로 모델을 맞춘 다음 가중치를 변경하고 학습 및 검증을 위해 모델을 새로운 가중치로 여러 번 다시 맞추면 분산을 줄이기 위해 앙상블/결합할 수 있는 약간 다른 모델이 생깁니다. 과적합 방지).
이제 내 개인적인 의견과 선택은 다음과 같습니다.
- 내가 자주 보는 것은 추가 고려나 이전 분석/모델링 없이 매우 복잡한 모델을 사용하여 DoE에 SVEM을 사용하는 사람들입니다. 예를 들어 비교적 간단한 디자인과 결과를 위해 신경망을 적용한 SVEM을 자주 볼 수 있습니다. 나에게는 " 바주카포를 사용하여 파리를 죽이는 것 "처럼 들립니다. 나는 (필요한 경우) 복잡성을 증가시키기 전에 가장 간단한 옵션/모델을 선택하는 경향이 있습니다: Ockham의 면도기 . 또한 기계 학습 모델은 모델을 보간하므로 점 사이의 패턴을 찾는 데 매우 효율적이므로 요인 및 기타 고려 사항(예: 차원)에 대해 얼마나 많은 수준이 있는지 고려해야 합니다. 따라서 요인에 대한 수준이 2~3개만 있는 경우 기계 학습을 사용하여 실제로 이점을 얻기에는 충분하지 않을 수 있습니다.
- 수준이 충분하고 비선형 관계로 인해 기존 선형 모델링이 적절하지 않은 경우 기계 학습 모델을 사용해 보는 것이 좋습니다.
- DoE가 포함된 규모는 작지만 고품질 교육 데이터 세트가 있으므로 간단하고(초매개변수 미세 조정이 쉽고) 강력하며(초매개변수 값 설정에 덜 민감함) ML 모델을 선택해야 합니다. DoE 데이터를 훈련 및 검증 세트로 분할할 수 없기 때문에 과적합되기 쉽습니다. Random Forest(내부 "Out-of-bag" 샘플 검증 포함)와 SVM(초매개변수 선택 및 지원 벡터 수를 통해 과적합 가능성을 평가할 수 있음)이 흥미로운 곳입니다.
또한 SVEM 전략이 포함된 복잡한 알고리즘 대신 강력한 ML 알고리즘을 사용하면 계산 시간이 단축되고 해석이 쉬워지는 등의 다른 이점도 있습니다.
이 답변이 귀하에게 도움이 되고 이해가 되기를 바랍니다.
제목: 서포트 벡터 머신용 SVEM 추가 기능안녕하세요 Victor, 혼합 결과에 이 방법을 사용해 봤는데, 좋은 모델을 얻었지만 프로파일러를 이용한 최적화가 제대로 되지 않았습니다. su 구성 요소의 합이 1이 되지 않고 거의 3이었기 때문입니다. 다른 머신러닝 모델, PLS, 심지어 일반화 회귀 모델에서도 같은 현상이 발생합니다.
제목: 서포트 벡터 머신용 SVEM 추가 기능안녕하세요, 프랑크.
혼합 인자의 열 속성이 올바른지 확인하셨습니까?
- 개별 요소 값이 낮고 높은 "혼합물"
- "디자인 역할"에서 역할 설정은 "혼합물"로 지정됨
- "요인 변경" 설정을 "쉬움"으로 지정하거나 (분할 플롯/제한된 무작위화 시나리오인 경우 다른 유형으로 지정)하십시오.
다음은 CuSO4 인자를 포함한 Donev 혼합물 데이터의 예입니다.
가우시안 프로세스(또는 다른 머신러닝 모델)에서 프로파일러를 실행할 때 혼합 제약 조건이 준수되고 적용됩니다(혼합 요소의 합은 항상 1입니다).
이 답변이 문제 해결에 도움이 되기를 바랍니다.
제목: 서포트 벡터 머신용 SVEM 추가 기능알았어 빅터, 고마워!
