베이지안 최적화: MaxPro 기준 최대화안녕하세요, 커뮤니티 여러분과 JMP 전문가 여러분!
베이지안 최적화를 위한 배치 커스터마이저의 옵션 중 하나의 명칭이 헷갈립니다.그 옵션 중 하나는 다음과 같습니다.MaxPro 기준을 최대화합니다.베이지안 최적화 플랫폼의 해당 섹션 도움말에는 다음과 같이 설명되어 있습니다. " 이 옵션은 훈련 데이터와 현재 배치 모두에서 어떤 요인 설정도 중복되지 않도록 요인 공간을 모델 없이 탐색하는 방법입니다. 하나 이상의 모델이 잘 맞지 않을 때 배치 크기에 관계없이 이 옵션을 사용하십시오. "
빠르고 유연한 충전 설계 세부 사항 도움말 섹션에 있는 MaxPro 기준의 정의에 대해 설명하자면, " MaxPro 기준은 모든 요소를 고려하여 잠재적 설계 지점 간 거리의 곱을 최대화합니다. 이는 요소의 투영에 대해 우수한 공간 채움 특성을 제공하는 목표를 지원합니다 ." 또한 MaxPro 기준은 " 다음 기준을 최소화 하는 클러스터 내의 지점을 찾으려고 노력합니다 ."라고 언급되어 있습니다( 공식을 살펴보기 전에).
제곱 거리의 곱이 공식의 분모에 있기 때문에, 이 기준을 최소화하면 잠재적 설계점 사이의 거리가 최대화됩니다. 따라서 MaxPro 기준을 최대화하면 실제로 점들 사이의 거리가 더 작아져 실험 공간의 작은 부분 공간을 살펴볼 때 실험 결과가 밀집되거나 "겹쳐지는" 현상이 발생할 위험이 높아질 수 있습니다.베이지안 최적화 프로파일러를 살펴보면, 이 획득 함수에 사용된 공식은 분모에 (제곱된) 거리를 사용하는 것이 아니라 (원래 MaxPro 기준처럼) 분자에 사용하는 것으로 보입니다. 원래 설계점 사이의 거리를 포함하는 -X² 유형의 공식과 일치하는 오목한 선호도 프로파일을 볼 수 있기 때문입니다. MaxPro 획득 함수는 새로운 점과 원래 설계점 사이의 거리가 가장 큰 지점에서 최대값을 나타냅니다.
공간 채움 설계의 "MaxPro 기준 최소화"와 베이지안 최적화의 "MaxPro 기준 최대화" 사이의 혼란을 명확히 설명해 주실 수 있나요? 베이지안 최적화 플랫폼의 MaxPro 기준은 공간 채움 플랫폼의 기준과 동일한 공식을 사용하나요? MaxPro 공간 채움 기준 입력 기능에 표시되는 공식은 무엇인가요?
미리 감사드립니다!
고급 통계 모델링실험 설계제목: 베이지안 최적화: MaxPro 기준 최대화JMP 담당자나 숙련된 사용자분들께서 이 특정 질문/혼란에 대해 답변해 주실 수 있을까요?
JMP BayesOpt의 문서가 보완되기를 진심으로 바랍니다. 커널/연속 상관 관계 유형 공식 및 수치와 같은 기본적인 정보가 부족합니다. 커널 선택에 사용되는 함수 유형에 대한 문서는 이미 잘 되어 있습니다.
https://fr.mathworks.com/help/stats/kernel-covariance-function-options.html
https://www.comsol.fr/support/learning-center/course/surrogate-modeling-theory-271/more-on-covariance-functions-96531
https://indico.cern.ch/event/1407896/contributions/6068668/attachments/2947366/5179857/Lecture_2_vkain_BO.pdf
...
제목: 베이지안 최적화: MaxPro 기준 최대화안녕하세요 @Victor_G 님 ,
새로운 베이즈 연산 플랫폼에 대한 귀하의 평가와 질문에 전적으로 동의합니다. 올해 초 처음 알게 된 이후로 직장 동료들과 함께 사용해 보고 싶었지만, 시간과 자원을 투자할 만한 가치가 있는지 고민하고 있습니다. JMP가 베이즈 연산을 어떻게 구현하는지 기본적인 원리를 먼저 이해하지 못한 채 동료들을 섣불리 복잡한 작업에 몰아넣고 싶지는 않습니다. 이 부분이 가장 어려운 과제입니다.
개발 초기 단계와 JMP 19 Pro에 최근 추가된 기능에 대한 괜찮은 웹 튜토리얼이 몇 개 있습니다.
https://community.jmp.com/t5/Phil-Kay-s-Blog/Active-Learning-in-JMP-Chris-Gotwalt-ENBIS-Workshop/ba-p/835262
https://community.jmp.com/t5/Learn-JMP-Events/Developer-Tutorial-Bayesian-Optimization/ev-p/894910
그들은 작동 방식에 대한 개략적인 설명을 잘 제공합니다(특히 두 번째 영상의 20분 정도까지는 관리자에게 유용합니다). 하지만 저는 여전히 더 자세한 설명이나 특정 작업에 맞게 최적화 및 데이터 수집 기능의 알고리즘을 조정하는 방법에 대한 정보를 찾지 못했습니다.
튜토리얼에서는 지역 최대값에 갇힐 위험이 있음을 인정하면서도, 탐색 욕구와 최적화 욕구 사이의 균형을 맞추기 때문에 자신들의 방법이 이러한 문제를 해결할 수 있다고 주장합니다. 설명이 다소 모호하고, 모든 내부 작동 방식을 공개할 수는 없다는 점은 이해하지만, 좀 더 자세한 설명이 필요합니다. 특히 이 접근 방식의 가치를 인정하면서도, 블랙박스식 이해에만 머무르지 않고 예상치 못한 상황(대부분의 경우 그렇습니다)이 발생하더라도 적절히 대처하여 지금까지 얻은 정보에 지속적으로 가치를 더할 수 있도록 하고 싶은 업계 종사자들에게는 더욱 그렇습니다.
JMP의 최신 플랫폼에 대해 더 자세히 알아보고 나서 느낀 몇 가지 생각을 적어 보았습니다.
추가 링크와 자료 감사합니다!
DS
제목: 베이지안 최적화: MaxPro 기준 최대화안녕하세요, JMP Pro의 베이지안 최적화 기능에 관심을 가져주셔서 감사합니다. "MaxPro 최대화"라는 표현에 대해 혼란스러워하시는 것을 이해합니다. JMP는 실제로 MaxPro 기준값의 역수를 최대화합니다. 이는 모든 실행 획득 옵션을 최대화하는 방식으로 제시하여 일부는 최소화, 일부는 최대화로 나타나는 상황을 방지하기 위한 것이었습니다. 돌이켜보면 "공간 채움 기준 최대화"라고 표현하고, MaxPro 기준값의 역수를 최대화한다는 내용을 문서에 명시하는 것이 더 적절했을 것입니다.
제목: 베이지안 최적화: MaxPro 기준 최대화@chris_gotwalt1 님 감사합니다!
베이지안 최적화 프로파일러의 MaxPro 기준 획득 함수 형식과 공간 채움 설계 섹션의 방정식을 비교해 보니 뭔가 다르다는 것(어쩌면 반전되어 있다는 것)을 알았습니다. 명확하게 설명해 주셔서 감사합니다.
획득 기능을 극대화하는 간소화된 방법은 이해하지만, 이 기준에 대한 명칭이 공간 채움 설계와 동일해서 혼란스러웠습니다.
문서가 개정되고 보완되어 혼란을 방지하고 BayesOpt 플랫폼의 가능성에 대해 사용자에게 더 많은 정보를 제공할 수 있기를 바랍니다.
최상의,
제목: 베이지안 최적화: MaxPro 기준 최대화안녕하세요 @SDF1 님 ,
답변과 유용한 링크 감사합니다.
이 링크들은 BayesOpt를 실제로 시작하는 데 유용할 수 있지만, 커널, 획득 함수 형식(및 방정식) 등과 같은 일부 기술적 선택 사항에 대한 심층적인 내용은 제공하지 않습니다.
전역 최적해에 도달한다는 보장은 없습니다. 저는 이미 디스커버리 세미나에서 BO(백업 최적화)에 대한 사용 사례를 제시했는데, "자동" 모드만 사용하는 경우(플랫폼의 권장 사항을 맹목적으로 따라 다음 실행을 추가하는 경우)에는 초기 탐색을 강제하거나, 공간 채움 방식을 사용하여 초기 실행을 생성하는 것보다 최적해를 얻지 못하는 경우가 있었습니다.
그래서 저는 말씀하신 주장에 대해 약간 회의적입니다. BO 루프 중에 목표에 도달하면(국소 최적점이든 전역 최적점이든 상관없이) 플랫폼은 해당 지점을 복제하도록 권장하고 거기서 종료됩니다.
이번 JMP Discovery 세미나에서는 전역 최적값과 지역 최적값의 차이, 그리고 "모델의 예측값을 어떻게 활용하고 신뢰해야 하는가"에 대한 질문이 자주 나왔습니다. 저는 베이즈 최적화(BO) 루프에서 사용되는 가우시안 프로세스를 기반으로 특징 중요도/민감도 지수를 계산하는 것이 매우 오해의 소지가 있음을 보여드렸습니다. (관련 링크: https://www.linkedin.com/posts/victorguiller_bayesianoptimization-designofexperiments-activity-7475080705866174465-e3uV)
이러한 설명 가능성 분석 방법은 알고리즘이 따르는 경로에 대한 설명만 제공할 뿐, 요인들의 "실제" 중요성/민감도를 반드시 보여주는 것은 아닙니다.
토론과 링크 제공에 진심으로 감사드립니다!
최상의,
제목: 베이지안 최적화: MaxPro 기준 최대화안녕하세요 @Victor_G 님 ,
네, 알고리즘과 반복 과정이 설계 공간을 정확하게 탐색하여 전역 최대값(또는 여러 최대값이 밀집된 값)을 신속하게 찾는 데 얼마나 효과적인지에 대한 우려에 전적으로 동의합니다. 오해 없으시길 바라지만, 저는 알고리즘의 성능에 대해 어떤 주장도 하지 않았고, 단지 온라인 웨비나에서 나온 몇 가지 내용을 되풀이했을 뿐입니다. 제 원래 답변에서 언급했듯이, 웨비나는 시작하기에는 괜찮지만 방법론이나 알고리즘, 그리고 이를 조정하는 방법에 대해서는 깊이 있게 다루지 않습니다. JMP와 실험계획법(DOE)을 가볍게 사용하는 사용자들을 위한 웨비나에 가깝습니다.
어느 정도는 저도 BO 플랫폼 관련 프레젠테이션에서 전달되고 보여지는 내용에 동의하고 이해합니다. 산업 현장에서는 모든 요소가 서로 어떻게 상호작용하는지 깊이 있게 이해하고 완벽한 모델을 갖추는 것이 그렇게 중요한 것은 아닙니다. 85%, 90% 정도는 달성하고 원하는 결과를 도출하는 안정적인 프로세스를 구축하는 것만으로도 충분합니다. 나머지 10~15%는 최적점에 가까워졌을 때 작은 조정을 통해 최적화할 수 있습니다. 하지만 운영 환경에 대해 아는 것이 많지 않은 상황에서 처음부터 최적점에 빠르게 근접하는 것이 매우 중요합니다.
지금까지 제시된 예시들 중 어느 것도 최적점 근처에서 시작했을 때 어떤 일이 발생하는지 보여주지 않았습니다. 이미 최적화(BO)를 통해 "최대값"을 찾은 상태에서 탐색(explore) 알고리즘과 활용(exploit) 알고리즘을 적용하면 어떻게 될까요? 그리고 그 최대값 근처의 몇 개의 지점을 사용하여 프로세스를 다시 시작하면 어떻게 될까요? 알고리즘이 특정 지점에 갇히게 될까요, 아니면 설계 공간을 계속 탐색할까요? 적어도 두 개의 서로 다른 설정으로 도달할 수 있는 전역 최대값이 존재할 수 있는 시나리오를 여러 개 생각해 볼 수 있습니다. 그중 하나는 실제 운영 환경에서 더 실용적일 수 있습니다. 하지만 최적화 알고리즘이 충분한 탐색 없이 항상 지역 최대값 중 하나에 갇힌다면 중요한 정보를 놓칠 수 있습니다.
자동 모드와 지도 학습 모드에서 BO를 실행한 결과를 비교하고, 각 접근 방식이 목표 달성에 얼마나 효과적인지 공유해 주셔서 감사합니다. 다른 실험적 접근 방식과 마찬가지로, 저는 BO를 반복적인 접근 방식이자 도구 상자의 또 다른 도구로 보고 있습니다. 웨비나에서는 마치 BO가 실험 설계(DOE)를 대체할 "새로운" 방법이 될 것처럼 이야기하는 경향이 있는데, 발표자들은 아니라고 분명히 말하지만, 그런 분위기가 은연중에 깔려 있는 것 같습니다. 모든 것이 그렇듯, BO도 신중하게 사용해야 합니다.
제가 얻은 가장 큰 교훈은 모든 컴퓨터 지원 모델링(머신러닝, 인공지능, 세대 AI 등 어떤 이름으로 부르든)에서 과정 관리가 핵심이라는 것입니다. 감독되지 않은 컴퓨터 지원 모델링이나 생성은 쉽게 오류를 발생시킬 수 있습니다. 저는 여러 AI 플랫폼에 다양한 작업을 수행하는 사람들의 실루엣을 생성하라는 명령을 내렸습니다. 꽤 "단순한" 명령이었고, 세부 묘사는 필요 없었고, 단지 실루엣만 생성하면 되었습니다. 그런데 여러 AI들이 사람에게 다리가 세 개라거나 팔이 네 개라거나 하는 식으로 오류를 쉽게 만들어냈습니다. AI가 생성 과정에서 오류를 발견했다고 알려준 후에도 다음 결과물은 여전히 오류를 보였습니다. 이 과정은 여전히 상당한 수준의 인간의 감독과 관리가 필요합니다. 현재 BO 플랫폼 역시 세심한 관리가 필요한 것으로 보입니다.
건전한 회의론일 뿐입니다.
DS
제목: 베이지안 최적화: MaxPro 기준 최대화안녕하세요 DS님,
오해를 불러일으켜 죄송합니다. 저는 그 주장이 JMP 팀에서 나온 것이지 귀하께서 하신 것이 아니라고 생각했습니다 (답변에 혼란을 드려 죄송합니다).
맞습니다. 초기 시작점(분산 및 위치)은 최적화(BO) 루프를 실행한 후 내리는 결정만큼이나 중요합니다. 초기 지점이 최적점에서 얼마나 가까운지에 따라 알고리즘이 해당 영역으로 "끌리는" 경향이 있을 수 있으며, 특히 목표 및 목적과 일치하는 경우 더욱 그렇습니다. 탐색을 강제하기 위해 공간 채움(MaxPro) 기준을 적용한 실행을 추가하면 도움이 될 수 있습니다. 이 기준은 이미 존재하는 지점들과 최대 거리를 갖는 지점을 생성하기 때문입니다. (또는 다중 모델 표준 편차나 상위 신뢰 구간과 같이 불확실성을 강조하는 획득 함수를 적용한 실행을 추가하는 것도 효과적입니다.) BO를 사용할 때 사용자의 결정은 프로젝트 결과에 매우 큰 영향을 미칠 수 있습니다.
맞습니다. BO는 도구 상자에 있는 또 다른 "스마트 실험" 방법론입니다. 실제로는 각 반복마다 (한 번에 한 번만 실행하는 것이 아니라) 여러 번 실행하고, 다양한 획득 함수를 사용하여 추가되는 실행 유형을 다양하게 유지함으로써 실행 배치의 다양성을 확보하고 탐색이 조기에 중단되는 것을 방지하는 것이 더 효과적일 수 있다고 생각합니다. 예를 들어, 각 반복마다 5번의 실행을 고려하고, 그중 한두 번은 활용 실행, 두 번 이상은 탐색 실행, 나머지는 "균형 잡힌" 모드로 구성할 수 있습니다. 저는 획득 함수를 사용하는 BO를 "소규모" DoE 실험 유형을 만드는 옵션으로 봅니다. 여기서 획득 함수는 설계 최적성과 유사하며, "설계" 증강은 실행 크기 측면에서 매우 유연합니다. 하지만 이는 블록화나 다른 노이즈 감소 기법과 같은 일부 통계적 "장치" 및 안전장치를 희생해야 하므로 두 방법론이 완전히 상호 대체 가능한 것은 아닙니다. "신중하게 사용"해야 한다는 점에 동의합니다. 먼저 실험 설정과 제약 조건을 정한 다음 실험 방법론을 선택해야 합니다.
네, 머신러닝과 같은 컴퓨터 모델링은 패턴을 찾아내고 모델링 옵션을 확장하는 데 탁월하지만, 일부 알고리즘은 과적합(혹은 인공지능 세대의 경우 착각)에 취약할 수 있으므로 결과는 항상 신중하게 해석해야 합니다. 따라서 모델 결과를 평가하고 분석할 때는 항상 해당 분야 전문 지식, 비판적 사고, 그리고 통계적 관점을 활용해야 합니다.
토론에 참여해 주셔서 정말 감사합니다. BayesOpt 플랫폼(및 문서!)이 향후 릴리스에서 어떻게 발전할지 정말 기대됩니다.
최상의,
제목: 베이지안 최적화: MaxPro 기준 최대화흥미로운 토론 감사합니다. 간단히 말해서, 제 생각에는 이것은 실험에 대한 근본적으로 다른 두 가지 접근 방식의 차이로 귀결되는 것 같습니다.
한 가지 접근 방식은 알고리즘적입니다. 목표는 단순히 바람직한 결과를 도출하는 설정을 찾는 것입니다. 알고리즘이 만족스러운 해법으로 안정적으로 수렴하는 한, 근본적인 메커니즘을 이해하는지는 크게 중요하지 않습니다.
두 번째 접근 방식은 실험을 학습 과정으로 간주합니다. 목표는 단순히 최적의 설정을 찾는 것뿐만 아니라, 그 설정이 효과적인 이유를 이해하는 것입니다. 이러한 기계론적 이해를 통해 새로운 상황에서의 성능을 예측하고, 조건 변화를 인지하며, 얻은 지식을 미래 설계에 적용하고, 더욱 견고한 제품과 프로세스를 개발할 수 있습니다.
어느 철학도 본질적으로 옳거나 그른 것은 아닙니다. 단지 서로 다른 목표를 최적화할 뿐입니다. 만약 단일 시스템을 가능한 한 빨리 최적화하는 것이 유일한 목표라면 베이지안 최적화가 매우 매력적일 수 있습니다. 하지만 현재의 문제를 넘어 확장될 수 있는 과학적 또는 공학적 지식을 구축하는 것이 목표라면, 실험은 단순히 최적값을 찾는 것이 아니라 메커니즘을 밝히도록 설계되어야 합니다.
제가 우려하는 점은 우리가 때때로 이러한 방법들을 평가할 때 단순히 "더 나은 해결책을 찾았는가?"라는 질문만 던지는 경향이 있다는 것입니다. 저는 "다음 프로젝트에도 유용하게 활용할 수 있는 교훈은 무엇인가?"라는 질문 또한 그에 못지않게 중요하다고 생각합니다. 이 두 가지는 항상 같은 것은 아닙니다.
데이터는 최적점이 어디에 있는지 파악하는 데 도움을 줍니다. 메커니즘을 이해하면 최적점이 존재하는 이유를 설명할 수 있습니다. 오직 후자만이 세상이 필연적으로 변화할 때 어떤 일이 일어날지 예측할 수 있게 해줍니다.
