공간 채우기 설계 + ML 알고리즘 - 적절한 실행 횟수를 추정하는 방법은 무엇입니까?안녕,
Danone과 함께한 JMP Inspire 세션에서 두 명의 사용자가 기계 학습 알고리즘과 함께 공간 채우기 디자인을 사용하는 방법에 대해 이야기해 달라고 요청했습니다. 그들은 최적의 실행 횟수를 결정하는 방법을 물었습니다.
이를 결정하기 위한 전략이나 경험적 접근 방식이 있습니까?
당신의 도움을 주셔서 감사합니다
Re: 공간 채우기 설계 + ML 알고리즘 - 적절한 실행 횟수를 추정하는 방법은 무엇입니까?자체 XGBoost 추가 기능 에 자체 공간 채우기 디자인을 적용하는 것이 귀하의 질문과 관련이 있는지 확실하지 않습니다.
"실행 횟수"가 추가 기능의 다음 두 항목(동그라미) 정도라면 이는 일종의 반응 표면 문제일 것입니다. 그리고 @malcolm_moore1 이 제안한 내용도 관련이 있습니다.
Re: 공간 채우기 설계 + ML 알고리즘 - 적절한 실행 횟수를 추정하는 방법은 무엇입니까?안녕하세요 스테판,
공간 채우기 설계는 일반적으로 결정론적 반응(무작위 오류가 없거나 동일한 요인 설정을 실행하는 경우 동일한 반응 값을 얻음)을 사용하는 컴퓨터 시뮬레이션 실험과 관련됩니다. 이 문서를 참조하세요.
아마도 일반적인 공간 채우기 설계 문제처럼 읽히지 않고 더 효율적인 대안이 있을 수 있으므로 실험 상황에 대해 더 자세히 알아볼 수 있습니다.
Re: 공간 채우기 설계 + ML 알고리즘 - 적절한 실행 횟수를 추정하는 방법은 무엇입니까?이전 답변에 +1하고 이것이 기계 학습의 초매개변수 조정과 관련이 있다고 가정하면 베이지안 최적화/적응 학습에 대한 @chris_gotwalt1 에게 피드백과 아이디어를 보낼 수 있는 기회가 될 수도 있습니다.
Re: 공간 채우기 설계 + ML 알고리즘 - 적절한 실행 횟수를 추정하는 방법은 무엇입니까?우리가 확률론적 세계로 이동하고 있다면 첨부된 논문은 관련성이 있을 가능성이 높으며 여전히 공개 질문입니다. 특히 실험 설계에 관한 섹션 4로 이동하면 다음과 같습니다.
n1 값에 대한 적절한 권장사항 n2;N 및 각각의 개별 입력에 대한 반복실험이 부족하며(Ankenman et al.(2010)에서 권장 사항은 임시적임) 1단계 실험의 경우 연구용으로 열려 있습니다. 위 프로세스의 2단계를 반복하여 3단계 디자인(또는 실제로 모든 다단계 디자인)을 구성할 수 있습니다.
내가 본 것은 초기 설계에서 (복잡도에 따라 상당한 양이 될 수 있음) "충분한" 지점으로 시작한 다음 개선이 보이지 않을 때까지 베이지안 최적화가 인계받는다는 것입니다. 항상 알지는 못해요.
확실히 일반적인 질문은 공간을 채우는 데 얼마나 많은 탐색을 해야 하는가입니다. 제가 첨부한 두 번째 논문에서 어떤 경우에는 실무자가 더 단순하고 고전적인 모델을 고수하는 것이 더 낫다는 결과가 나왔습니다.
Re: 공간 채우기 설계 + ML 알고리즘 - 적절한 실행 횟수를 추정하는 방법은 무엇입니까?@Steph_Georges 님, 안녕하세요. 고객이 ML 하이퍼 매개변수 최적화를 위해 공간 정리 설계를 어떻게 사용할 수 있는지 알아보는 데 관심이 있다면 아래에서 제 기록이 유용할 수 있습니다.
https://community.jmp.com/t5/JMP-in-the-Upstream/JMP-in-the-Upstream-7-Optimizing-your-Python-machine-learning/ba-p/467039
Re: 공간 채우기 설계 + ML 알고리즘 - 적절한 실행 횟수를 추정하는 방법은 무엇입니까?좋은 반응이지만 우리는 모두 사용자의 의도를 추측하고 있습니다. 공간 채우기 + 알고리즘(훈련, 조정, 테스트, 민감도 테스트 등)의 다양한 용도를 상상할 수 있습니다. 다음 질문은 무엇을 위한 최적의 실행 횟수입니까? 더 많은 정보가 없으면 질문에 답변할 수 없는 경우가 많습니다.
Re: 공간 채우기 설계 + ML 알고리즘 - 적절한 실행 횟수를 추정하는 방법은 무엇입니까?@peng_liu @russ_wolfinger 어쩔 수 없이 토끼굴로 내려갈 수는 없지만 이것은 내가 어떤 문헌도 알지 못하는 특히 흥미로운 문제입니다(하지만 알고 계시다면 제게 보내주세요). 내부 접기의 경우 후속 디자인의 내부 접기 중 하나에서 "승자"로 선택될 수 있는 경쟁 설정을 찾는 방식으로 디자인하려고 합니다. 그렇지 않으면 최종 앙상블에 영향을 주지 않는 하이퍼파라미터 설정에 리소스를 낭비하게 됩니다.
Re: 공간 채우기 설계 + ML 알고리즘 - 적절한 실행 횟수를 추정하는 방법은 무엇입니까?@Steph_Georges는 전생에 결정론적 실험에 대해 설명된 다른 공간 채우기 디자인을 사용했습니다. 우리는 모델에 Gaussian Process 또는 Neural Nets를 사용했습니다. 우리는 일반적으로 매우 비선형적인 결과를 다루는 데 훨씬 더 나은 모델의 유연성 때문에 신경망을 선호했습니다.
Gaussian Process는 데이터 포인트의 정확한 값을 찾고 있는 경우 모델링에 적합하지만 데이터 포인트 간에 진행되는 작업을 모델링하는 데 항상 좋은 것은 아닙니다. 결정론적 실험에는 노이즈가 없지만 편향이 있을 수 있으며 이 경우 GP가 NN보다 덜 효과적일 수 있습니다.
최적의 실행 횟수는 다른 동물입니다. 우리는 항상 10배의 요인 수 규칙을 사용했지만 이것이 최적의 숫자라는 의미는 아니며 우리의 요구에 맞는 것이었습니다.
HTH
청구서
Re: 공간 채우기 설계 + ML 알고리즘 - 적절한 실행 횟수를 추정하는 방법은 무엇입니까?좋은 저녁이에요,
죄송합니다. 제가 너무 명확하게 표현하지 않았으며 제 메시지가 다양한 해석의 여지가 있다는 점을 깨달았습니다.
Danone(예를 들어 L'Oréal과 같은 다른 회사)은 제형 개발의 일부로 차세대 알고리즘과 결합된 Mixture DoE 방법론을 사용하기를 원합니다.
이러한 경향은 L'Oréal의 Victor Guiller(프랑스 사용자 그룹 및 맨체스터 디스커버리 서밋에서)의 프레젠테이션에서 잘 설명되어 있습니다. 그는 Space Filling Design 및 SVM 알고리즘을 사용하여 알려지지 않은 선험 모델(모델- 불가지론적 접근 방식을 사용하면 모델 모양에 대한 사전 지식이 더 이상 필요하지 않습니다.): https://community.jmp.com/t5/Online-Abstracts/Synergy-Between-Design-of-Experiments-and-Machine-Learning-for/ec -p/708147#M2
Space Filling Design을 사용하면 조사할 영역을 정기적으로 포장할 수 있습니다. 이는 기계 학습 모델을 더 잘 안내하는 데 도움이 됩니다. (지점이 너무 멀리 떨어져 있으면 보간할 수 있는 자유가 너무 많아 비즈니스 전문 지식 지점에서 비정상적인 반응 표면이 발생하게 됩니다.) 보다).
Re: 공간 채우기 설계 + ML 알고리즘 - 적절한 실행 횟수를 추정하는 방법은 무엇입니까?두 번째는 @peng_liu 님의 댓글입니다. 공간 채우기 설계의 한 가지 용도는 더 나은 모델 적합성을 얻을 수 있도록 조정 매개변수를 최적화하는 것입니다.
그러나 질문이 실험을 위해 공간 채우기 디자인을 사용하는 것과 관련된 경우 현재 가장 좋은 방법은 다양한 수의 디자인 포인트로 공간 채우기 디자인을 만든 다음 디자인 비교를 사용하는 것입니다.
Re: 공간 채우기 설계 + ML 알고리즘 - 적절한 실행 횟수를 추정하는 방법은 무엇입니까?특히 혼합물 최적화 문제의 경우 SVEM에 사용하는 설계 유형에 주의해야 한다고 생각합니다. 최적화하려는 전체 혼합 공간에 대해 양호하고 균일한 간격의 적용 범위가 있는지 확인하고 싶습니다. 그리고 이는 실험 과정과 측정에서 예상되는 오류를 포함한 요인의 수에 따라 달라집니다.
특히 다양한 디자인을 비교할 때 디자인 평가가 도움이 될 수 있습니다.
