하이퍼파라미터 튜닝은 머신러닝 모델 최적화에 매우 중요하지만, 계산 비용이 많이 들고 복잡한 과정일 수 있습니다. 기존의 그리드 최적화, 랜덤 탐색, 심지어 베이지안 최적화 방법조차도 하이퍼파라미터 공간의 중요한 영역을 놓치는 경우가 많아 최적화되지 않은 모델로 이어집니다.
본 발표에서는 하이퍼파라미터 튜닝 문제를 보다 효율적으로 해결하기 위해 공간 채움 실험 설계(Space-filling DOE)를 사용하는 JMP 애드인을 소개합니다. 공간 채움 실험 설계를 통해 하이퍼파라미터 조합을 전체 파라미터 공간에 걸쳐 더욱 균등하게 샘플링할 수 있으므로, 필요한 평가 횟수를 줄이고 최적 설정을 찾을 가능성을 높일 수 있습니다.
이 발표에서는 JMP 18의 향상된 Python 통합 기능과 JMP 내의 실험 설계(DOE)와 같은 기능을 활용하는 것이 데이터 과학자에게 얼마나 유익한지 강조합니다. 이 발표는 고급 통계 기법과 실용적이고 접근하기 쉬운 도구를 결합하여 다양한 응용 분야에서 모델 성능을 향상시키는 방법을 제시합니다.
안녕하세요. 저희 발표에 참석해 주셔서 감사합니다. 이번 발표는 공간 채움 설계(space filling designs)를 활용하여 하이퍼파라미터를 조정함으로써 머신러닝 성능을 향상시키는 방법에 대한 것입니다. 저는 피터 히르쉬이고, 공동 발표자는 스콧 앨런입니다. 머신러닝 성능 향상 방법을 설명하기 전에 몇 가지 결과를 공유하고자 합니다.
두 참가자에게 10개의 예측 모델을 구축하는 과제가 주어졌습니다. 각 예측 모델은 범주형 응답을 요구했습니다. 두 참가자의 배경을 살펴보면, 한쪽에는 세계적으로 유명한 데이터 과학자 러셀 울핑거가 있고, 다른 한쪽에는 그렇지 않은 참가자가 있습니다. 이는 마치 제가 마이클 조던과 1대1 농구 경기를 하는 것과 같습니다. 당연히 한쪽으로 치우친 결과가 나올 거라고 예상할 수 있겠죠.
보시다시피, 결과는 매우 근소한 차이로 나왔고, 세계적으로 유명하지 않은 데이터 과학자들이 오히려 더 나은 결과를 보여주었습니다. 어떻게 이런 일이 가능했을까요? 바로 Torch Companion 애드인이 제 비장의 무기였습니다. 이 애드인은 우리 모두의 모델링 결과를 향상시키는 데 도움을 주는데, 마치 농구 경기에서 르브론 제임스 같은 선수를 팀 동료로 두는 것과 같습니다.
먼저 아주 간단한 퀴즈부터 시작해 보겠습니다. 이 이미지를 보면 고양이인가요, 강아지인가요? 다른 이미지는 어떤가요? 고양이인가요, 강아지인가요? 아주 쉽죠? 왼쪽에 강아지가 있고 오른쪽에 고양이가 있다는 건 알 수 있지만, 이 이미지가 강아지인지 고양이인지 어떻게 알 수 있을까요? 핵심 특징은 무엇일까요? 만약 우리가 모델을 만든다면, 고양이와 강아지를 식별하도록 어떻게 학습시킬까요? 다음은 신경망의 구조를 시각적으로 보여주는 다이어그램입니다. 이 경우, 이미지는 손으로 쓴 숫자 4이며, 각 레이어 크기가 4개의 노드인 3개의 레이어로 구성되어 있습니다.
각 노드는 원본 입력에 대한 서로 다른 표현을 가지고 있으며, 이러한 노드와 레이어들이 결합되어 예측을 수행합니다. 각 데이터셋은 복잡성 수준이 다를 수 있습니다. 여기 위쪽 예시를 보면, 단순히 점이 초록색인지 빨간색인지 판별하는 것은 아래쪽 예시처럼 개나 고양이 사진을 분석하는 것보다 훨씬 간단한 모델일 수 있습니다. 후자의 경우 훨씬 더 복잡한 모델이 필요할 수 있습니다. 레이어 수, 레이어 크기 또는 레이어당 노드 수는 하이퍼파라미터라고 하며, 각 모델을 최적화하기 위해 조정해야 합니다.
다양한 문제에 맞춰 모델을 어떻게 조정해야 할까요? 여기를 보시면 JMP 내의 Torch 튜닝 애드인 실행 창이 있는데, 다양한 옵션이 있습니다. 에포크 수, 학습률, 레이어 크기, 활성화 함수 등 여러 가지를 살펴볼 수 있죠. 이렇게 다양한 옵션을 활용하면 수백만 가지의 조합을 실행할 수 있습니다. 어디서부터 시작해야 할까요?
하이퍼파라미터 공간을 탐색할 때 고려할 수 있는 몇 가지 방법이 있습니다. 첫 번째는 그리드 탐색인데, 이는 가장 일반적이거나 완전 요인 설계와 가장 유사한 방식이라고 생각합니다. 이 방법을 사용하면 모든 요인의 가능한 모든 조합을 살펴보게 되므로 250만 개 이상의 모델을 실행해야 합니다. 이는 대부분의 경우 너무 많은 수치입니다. 다른 방법으로는 무작위 탐색을 통해 특정 요인 조합을 선택하여 실행하는 방식이 있습니다.
베이지안 최적화 접근법을 사용할 수도 있고, 러셀 울핑거에게 도움을 요청할 수도 있습니다. 러셀에게 바로 연락할 수 있거나 그와 비슷한 데이터 과학자가 있다면 좋겠지만, 항상 그런 것은 아니죠. 저나 스콧, 또는 일반적인 실험 연구자는 이 문제를 어떻게 해결할 수 있을까요? 우리는 이것을 실험처럼 접근합니다. JMP에서 실험은 어떻게 진행할까요? 한 번에 한 가지 요인씩 진행할까요? 드레이크는 그건 좋은 생각이 아니라고 생각합니다. 실험을 설계하는 것이 좋을 것 같습니다. 이 접근법이 어떻게 작동하는지 간단히 이야기해 보고, 스콧에게 마이크를 넘기겠습니다.
감사합니다, 피터. 여기서는 Torch Companion의 구성 요소를 살펴보고 몇 가지 예시를 보여드린 다음, 추가 기능을 조금 사용해 보겠습니다. 그 전에, 이 추가 기능에 무엇이 포함되어 있는지 간단히 설명드리겠습니다.
이 추가 기능은 테이블 함수, DOE 플랫폼, Russ와 그의 팀이 개발한 Torch 딥러닝 추가 기능, 그리고 그래프 빌더 출력 등 다양한 JMP 기능을 하나로 통합한 것입니다. 이러한 기능들을 개별적으로 구현하는 것도 가능하지만, 이 추가 기능은 모든 기능을 하나의 원활한 워크플로로 만들어주는 것을 목표로 합니다. 사용자는 다른 JMP 플랫폼과 마찬가지로 응답 변수, 요인, 유효성 검사에 사용할 열을 지정한 다음, Torch 매개변수 또는 이 경우 매개변수 범위나 다양한 옵션 중에서 선택하여 Torch 추가 기능에 전달합니다. 이제 이러한 인터페이스 몇 가지를 간단히 살펴보겠습니다.
컬럼 대화 상자는 표준 JMP 플랫폼에서 볼 수 있는 것과 매우 유사하며, 응답, 요인, 유효성 검사 컬럼을 로드할 수 있습니다. 요인은 숫자형, 문자열형 또는 이 경우처럼 이미지 모델일 수 있습니다. Torch 추가 기능이 JMP에 제공하는 고유한 기능 중 하나는 이미지 모델을 살펴볼 수 있다는 점이며, 따라서 이 추가 기능에도 해당 기능을 포함시켰습니다. 확인을 클릭하면 사양 창으로 이동합니다. 최적의 모델을 도출하는 데 도움이 되는 매개변수를 선별하기 위해 Russ와 함께 이 부분에 대한 지침을 얻었습니다.
여기서 목표는 Torch Companion을 Torch Deep Learning Add-in과 함께 사용하는 것입니다. 모든 조정 가능한 매개변수를 다 포함하지는 않았지만, 이 기능을 활용하면 최적의 모델에 더 효율적으로 접근할 수 있습니다. 모델, 테이블형 모델 유형, 이미지 모델 유형 등 다양한 조정 매개변수를 설정할 수 있습니다. 또한, 모델 구조 매개변수 옵션, 특히 실험 설계(DOE) 시행 횟수도 살펴볼 수 있습니다. 이렇게 하면 한 번에 하나의 모델이나 요인을 실행하는 대신, 매개변수 범위를 설정하고 한 번의 클릭으로 200개 또는 300개의 모델을 분석할 수 있습니다.
여기서 일부 옵션이 비활성화되어 있는 것을 보실 수 있을 겁니다. 저희는 Torch나 머신러닝을 처음 접하는 분들도 이 애드인을 쉽게 사용할 수 있도록 만들고자 했기 때문에 몇 가지 안전장치를 마련했습니다. 피터도 개발 과정에서 이러한 안전장치들을 좋게 평가해 주셨습니다.
네, 확실히 제가 목표를 향해 나아가는 데 도움이 됐어요. 정말 유용했습니다.
이러한 다양한 모델 유형에 익숙하지 않으신 분들을 위해 가장 일반적인 모델 몇 가지와 시작하기 좋은 몇 가지 지점을 미리 선택해 두었습니다. 이제 이 추가 기능을 사용하여 매개변수를 선별하려면 '매개변수 선별' 확인란을 선택하면 다양한 매개변수를 살펴볼 수 있습니다. 다시 한번 말씀드리지만, 데이터 테이블의 형태에 따라 최적화되지 않을 수 있는 일부 옵션은 비활성화됩니다. 또한 몇 가지 일반적인 활성화 함수를 선택하고 이러한 매개변수 중 일부를 2의 거듭제곱으로 스케일링하도록 설정하여 레이어 크기 등 매우 다양한 범위를 보다 효율적으로 선별할 수 있도록 했습니다.
여기에는 몇 가지 고급 옵션도 포함되어 있습니다. 고급 옵션을 선택하면 Torch 애드인에서 사용할 수 있는 모든 모델 유형과 테이블 형식 모델 유형, 그리고 다양한 활성화 함수에 접근할 수 있습니다. Torch 딥러닝에 대한 지식 수준에 따라 간단한 방법을 선택하거나 고급 방법을 선택할 수 있습니다. 작동 방식을 예시로 살펴보겠습니다. 이 예시에서는 에포크 수와 학습률, 레이어 크기 등 몇 가지 옵션을 미리 설정하고, 시뮬레이션 횟수를 100으로 설정했습니다. 시뮬레이션 횟수는 원하는 만큼 설정할 수 있습니다.
그런 다음, 모든 매개변수 범위를 설정했으면 실행을 클릭합니다. 실행을 클릭하면 이제 해당 애드인의 내부 작동 방식을 살펴보겠습니다. 실행을 클릭하면 몇 가지 테이블 조작을 거쳐 공간 채움 다이어그램이 생성됩니다. 그런 다음 공간 채움 설계 테이블의 각 행을 Torch Deep Learning으로 전달합니다. 실제로 발표를 시작하기 전에 모델을 하나 실행해 보았는데, 보시다시피 500개의 Torch 모델을 실행하도록 설정했습니다. 발표하는 동안에도 모델이 계속 실행되는 것을 볼 수 있습니다. 공간 채움 설계의 각 행을 순차적으로 처리하면서 에포크에 따른 손실 함수의 변화를 보여주고, 적절한 매개변수를 선택했는지 여부를 알려줍니다. 발표를 계속 진행하고 잠시 후에 다시 확인해 보겠습니다.
Torch 딥러닝 추가 기능이 실행되어 수백 개, 수십 개 또는 지정한 개수의 모델을 모두 생성하고 나면, 추가 테이블 기능과 그래프 생성기를 사용하여 결과를 요약하고 결과를 해석할 수 있는 출력 또는 보고서 창을 제공합니다. 이 해석을 바탕으로 두 가지 경로가 있습니다. 하나는 매개변수 지정 단계로 돌아가는 경로입니다. 만족스러운 모델을 얻지 못했거나, 개선의 여지가 있다고 생각할 수도 있습니다.
새로운 파라미터 범위를 설정하고, 다른 함수를 선택한 다음, 이 과정을 다시 시작하면 새로운 결과가 기존 결과에 추가됩니다. 또는, 이미 만족스러운 모델을 발견하여 더 이상 개선할 필요가 없다고 판단되면, 해당 모델을 Torch Deep Learning Add-in에 직접 전달하여 추가적인 모델 개선을 진행하거나, 모델을 비교 및 저장하고 배포하거나, 기존 버전에서 조정할 수 없는 파라미터를 조정할 수 있습니다. 이것이 저희가 구상한 워크플로이며, 이를 완성하는 과정은 즐거웠습니다. 특히 모델 구축 작업의 대부분은 Peter가 담당했습니다. Peter, 이 기능을 사용해 보신 경험에 대해 이야기해 주시겠습니까?
혹시 이 자리에 소프트웨어 개발자가 계시다면, 스콧은 애드인 개발자였고 저는 테스터였다고 생각하시면 될 것 같습니다. 몇 가지 생각이 떠오르는데요. 이건 실험 설계(DOE)인데, DOE는 보통 반복적인 과정입니다. 하나의 DOE를 실행하고, 거기서 얻은 교훈을 바탕으로 최적의 DOE를 구축해 나가는 방식이죠. 제가 몇 가지 모델에서 얻은 결과를 보시면, 대부분 여러 개의 DOE를 실행했다는 것을 알 수 있습니다. 모델들이 몇 초 만에 아주 빠르게 실행되는 경우도 많아서, 아주 많은 모델을 실행할 수 있습니다. 하지만 때로는 시간이 훨씬 오래 걸려서 여러 개의 DOE를 실행해야 하는 경우도 있는데, 처음부터 100개의 DOE를 실행하는 건 효율적이지 않겠죠. 맨 위에 있는 이미지 모델을 보면, 각 모델을 실행하는 데 약 10분이 걸렸습니다.
만약 200개의 모델로 시작한다면, 결과가 나올 때까지 주말 내내 기다려야 할 겁니다. 하지만 다른 경우를 보면, 각 모델 실행에 4초씩 걸린다면 200개의 모델을 실행하는 것이 조금 더 나을 수도 있습니다. 몇 가지 팁을 드리자면, 저는 처음에 홀드아웃 교차 검증 세트를 사용하는 것을 선호합니다. K-fold 교차 검증보다 훨씬 빠른 과정이기 때문입니다. 나중에 K-fold 교차 검증이 마음에 든다면, Torch에서 실행할 때 검증 열을 변경할 수 있지만, 튜닝 단계에서는 단일 검증 세트를 사용하는 것이 더 좋다고 생각합니다.
그리고 스콧이 내장한 시간 확인 기능도 정말 마음에 듭니다. 이미지 모델링처럼 모델 생성에 시간이 오래 걸릴까 걱정된다면, 튜닝 추가 기능이 시간을 확인해 줄 수 있습니다.
좋습니다. 피터, 고마워요. 제 생각에 JMP에서 러스트를 제외하면 당신이 가장 많은 토치 모델을 만들었을 것 같네요.
확실히 가장 실적이 저조한 것들입니다.
이제 화제를 바꿔서 추가 기능으로 들어가 몇 가지 보고서를 보여주고 이러한 모델을 선별하고 최적화하는 방법을 살펴보겠습니다. 우리 모델을 다시 확인해 보면 아직 완전히 끝나지는 않았습니다. 지정한 500개 중 약 270개 정도가 생성되었습니다.
이 기능에 추가된 또 다른 중요한 기능은 취소 기능입니다. 여러 가지 이유로 취소해야 할 수도 있는데, 예를 들어 예상보다 시간이 오래 걸리거나 시간이 부족한 경우 등이 있습니다. 어떤 이유든 취소할 수 있습니다. Torch 오류를 수락하면 다음 실행을 계속할지 여부를 선택할 수 있습니다. 예를 들어 이미지 모델을 실행하는 경우, 다른 모델은 빠르게 실행되지만 특정 모델만 유독 시간이 오래 걸리는 경우에 유용합니다.
실험계획법(DOE)을 계속 진행하여 건너뛰고 다음 단계로 넘어갈 수도 있고, DOE 실행을 완전히 중지할 수도 있습니다. 지금 우리는 후자를 할 겁니다. DOE 실행을 중지하고 보고서를 생성합니다. 보고서 창은 아래쪽에 있습니다. 여기 보고서 창이 있습니다. 원래 DOE에 500개의 항목이 있었는데, 보시다시피 그중 270개에 대한 결과만 나왔습니다.
이제 이 결과표를 살펴보면서 몇 가지 중요한 요소들을 안내해 드리겠습니다. 첫 번째는 요약 통계입니다. 이 표는 검증 R-제곱 값에 따라 정렬되어 있으므로 검증 R-제곱 값이 높을수록 행 번호가 낮습니다. 또한 다양한 매개변수 설정, 입력값, 그리고 모델 실행 시간, 지금까지 실행된 실험 설계(DOE) 횟수와 같은 출력값도 확인할 수 있습니다.
첫 번째로 살펴볼 수 있는 진단 도구는 R-제곱 히트맵입니다. 이는 검증 R-제곱 값과 훈련 R-제곱 값을 그래프로 나타낸 것입니다. 검증과 훈련 모두에서 R-제곱 값이 높은 모델이 이상적이지만, 여기서는 R-제곱 값의 범위가 매우 넓다는 것을 알 수 있습니다. Torch나 머신러닝을 처음 접하는 사람이라면, 어떤 매개변수를 설정해야 할지 잘 모르는 경우 R-제곱 값이 낮은 모델이 나올 수 있다는 점을 고려해야 합니다. 그러면 '좋은 모델을 만들 수 없겠구나'라고 생각할 수도 있습니다.
그런 다음 몇 가지 매개변수를 조정하면 성능이 저하될 수도 있습니다. 하지만 여러 매개변수를 검토하면 해당 모델로 가능한 성능을 더 잘 파악할 수 있습니다. 이 경우, 검증 및 학습 데이터 모두에서 높은 R-제곱 값을 보이는 우수한 모델들이 있습니다. 내장된 데이터 필터가 있지만, 이 모든 기능은 그래프 빌더에서만 제공되므로 원하는 방식으로 데이터를 그래프로 표현할 수 있습니다. 또한 개별 매개변수를 살펴볼 수 있는 두 개의 탭이 있습니다. 학습률, 에포크와 같은 모델 튜닝 매개변수와 이러한 매개변수가 시간 경과에 따라 또는 모델 공간에서 어떻게 변화하는지, 그리고 활성화 함수 및 기타 레이어 구조 매개변수를 확인할 수 있습니다.
여기서 고려해 볼 만한 한 가지는 다양한 유형의 활성화 함수를 살펴보는 것입니다. 피터, 당신이 이러한 모델들을 실행하면서 흥미로운 결과들을 얻었던 걸로 알고 있습니다.
물론이죠. 이 애드인을 개발하기 시작했을 때, Russ는 활성화 함수 하나로 ReLU를 사용하는 것을 추천했습니다. ReLU는 가장 흔하고 누구나 사용하는 함수이기 때문에 좋은 출발점이라고 생각했죠. 어떤 경우에는 ReLU가 좋은 성능을 보였지만, 대부분의 경우 다른 활성화 함수가 조금 더 나은 성능을 보여주었습니다. Russ의 접근 방식이 나쁘다는 건 아니지만, 모든 활성화 함수를 살펴보고 미세 조정을 통해 더 나은 결과를 얻을 수 있는지 확인해 보는 것이 좋았습니다.
아니요. 제 생각에 이 기능의 의도 중 하나는 활성화 함수에 대해 잘 모르거나, 알더라도 데이터셋이나 모델 유형에 어떤 함수가 적합한지 경험을 바탕으로 알 수는 있지만, 전혀 모르는 사람들을 위해 모든 함수를 살펴볼 수 있도록 돕는 것입니다. 이 예시에서는 6개의 함수를 살펴봤지만, 실제로는 20개의 함수가 더 있으니 모두 확인해 볼 수 있습니다.
또한 파라미터 중요도 출력도 제공합니다. 이는 간단한 부트스트랩 포레스트 모델을 구축하여 어떤 하이퍼파라미터 또는 튜닝 파라미터가 응답 변수(이 경우 R-제곱 검증값)에 가장 큰 영향을 미치는지 보여주는 것입니다. 개별 모델 세부 정보도 확인할 수 있습니다. 결과 표에서 고유한 모델 ID가 있는 열을 볼 수 있는데, 이 ID를 통해 특정 모델에 대한 자세한 정보를 확인할 수 있습니다. 이는 Torch가 실행되는 동안 내보낸 데이터이므로, 검증 세트의 R-제곱값을 기준으로 모든 것을 요약하더라도 모든 모델에 대한 요약 통계에 접근할 수 있습니다.
보고서 창에 대해 보여드리고 싶었던 내용은 거의 다 설명한 것 같고, 이제 몇 가지 워크플로 옵션을 통해 추가 기능으로 할 수 있는 작업들을 간략하게 정리해 보겠습니다. 첫 번째는 다시 실행입니다. 예를 들어, 일부 모델은 만족스럽지만 어떤 활성화 함수가 사용되었는지 살펴보고 레이어 수나 레이어 크기를 늘리고 싶을 수 있습니다. 이럴 때는 사양으로 돌아가서 특정 함수를 선택하여 수정할 수 있습니다.
어쩌면 이 세 가지만 보고 싶을 수도 있지만, 더 큰 레이어 크기를 보고 싶을 수도 있습니다. 그럴 때는 50개만 보도록 지정한 다음 실행 버튼을 클릭하여 선택한 매개변수 시리즈만 실행하고, 다시 50개를 실행한 후 결과를 표에 추가할 수 있습니다. 이것이 고려할 수 있는 워크플로 옵션 중 하나입니다. 또 다른 옵션은 빨간색 삼각형 안에 있습니다. 이 모델이나 이 두 모델에 만족한다면, 해당 모델을 Torch 추가 기능으로 가져와 직접 실행할 수도 있습니다.
이제 각 매개변수 설정이 무엇인지 기억하고 Torch 추가 기능에 입력하는 번거로움이 없습니다. 빨간색 삼각형을 클릭하고 "선택 항목 실행"을 선택하면 됩니다. "선택 항목 실행"을 클릭하면 선택한 매개변수가 Torch 추가 기능으로 전달되어 실행되고, Torch 추가 기능 자체에서 보고서를 생성합니다. 이제 모델들을 비교해 볼 수 있습니다. 모든 적절한 매개변수가 전달되었으므로, 이제 최적의 모델들을 직접 비교하고 요약 통계를 더 잘 파악할 수 있습니다.
마지막으로, 실행하는 데 시간이 오래 걸리는 모델이 있을 수 있습니다. 그런 경우 하루 만에 모든 튜닝 작업을 완료하지 못할 수도 있습니다. 이 결과를 저장하고 나중에 다시 보려면 빨간색 삼각형을 클릭하면 됩니다. 여기서는 결과 데이터 테이블을 저장할 것입니다. 저장할 때는 원하는 위치에 저장한 다음 나중에 다시 불러올 수 있습니다. 어떻게 작동하는지 곧 보여드리겠습니다.
이제 이 창을 닫고 확인을 클릭하겠습니다. 저장된 데이터 테이블을 다시 불러오려면 원래 데이터 테이블로 돌아가야 합니다. 이 테이블은 제가 모델링에 사용했던 테이블입니다. 추가 기능인 컴패니언을 실행하고 이제 불러오기를 클릭합니다. 튜닝에서 지정했던 것과 동일한 열을 입력했는지 확인하고 확인을 클릭합니다. 이제 여기에서 모든 매개변수를 지정하는 대신 로드 버튼을 클릭하겠습니다. 저는 이 버튼을 표시하지 않았습니다.
여기로 이동해서 튜닝 결과를 확인하고 '열기'를 클릭합니다. 그러면 x 변수, y 변수, 유효성 검사 열이 동일한지 묻는 대화 상자가 나타납니다. 이 중 하나라도 이전에 실행했던 결과와 일치하지 않으면 불러오지 않습니다. '확인'을 클릭하면 이전 튜닝 실행 결과가 표시되고 모든 그래프가 다시 생성됩니다. 사양으로 돌아가서 다시 실행을 시작할 수 있습니다.
제가 보여드리고 싶었던 건 이게 전부인 것 같습니다. Torch 애드인에는 몇 가지 다른 옵션이 있는데, 특히 Russ와 그의 팀이 개발한 Torch Deep Learning 애드인과 함께 사용해 보시길 바랍니다. 사용해 보시면 분명 유용한 기능들을 더 많이 발견하실 수 있을 겁니다. 이제 Peter에게 넘겨서 최종 결과에 대해 좀 더 이야기해 보도록 하겠습니다.
좋습니다. 감사합니다, 스콧. 여기 빨간색으로 표시된 결과는 제가 만든 모델에서 얻은 검증 R-제곱 값이고, 파란색은 러셀이 만든 모델에서 얻은 결과입니다. 러셀을 폄하하려는 건 아닙니다. 러셀은 훌륭한 데이터 과학자이지만, 이는 한 번에 한 가지 요인만 분석하는 것보다 실험 설계를 활용하는 것이 얼마나 효과적인지를 보여주는 사례라고 생각합니다.
이는 화학자와 데이터 과학자를 비교하여 모델을 실행하게 했을 때, 실험계획법(DOE)을 활용하면 화학자도 뛰어난 데이터 과학자와 비슷한 성과를 내거나 심지어 더 나은 결과를 낼 수 있음을 보여줍니다. 튜닝 애드인은 모든 사용자에게 이러한 기능을 제공하며, 스콧이 말했듯이 Torch 애드인을 대체하는 것이 아니라 Torch 애드인과 함께 사용하도록 설계되었으며, 마켓플레이스에서 구매할 수 있습니다. 두 애드인 모두 이용 가능합니다.
러셀을 이긴 것에 대해 스스로 올림픽 메달을 줬다고 생각해요. 데이터 과학 배경 지식이 없는 사람이라도 충분히 이길 수 있는 좋은 결과라고 생각하거든요. 처음에는 고양이와 강아지를 식별하는 것에 대해 이야기했지만, 여러분이 하는 일의 세계를 생각해 보면, 딥러닝 신경망 방식을 사용하는 다양한 이미지 모델이나 테이블형 모델이 있을 수 있고, 하이퍼파라미터를 조정하면 더 나은 결과를 얻을 수 있다는 것을 알 수 있죠.
이 이미지들은 Torch Add-in 스토리북에 있는 몇 가지 예시일 뿐입니다. 누구나 이와 같은 유형의 데이터에 이 접근 방식을 적용할 수 있을 거라고 생각합니다. 물론 Russ에게도 감사를 표하고 싶습니다. 저희가 그를 조금 힘들게 하기도 했지만, 그는 이 Add-in 개발에 큰 도움을 주었고, 제가 산만하게 굴지 않도록 가이드라인을 마련해 주었습니다. 그리고 이 발표를 선정해 주신 JMP 운영위원회에도 감사드립니다. 말씀드린 대로 Torch Add-in과 Tuning Add-in 모두 마켓플레이스에서 다운로드하실 수 있습니다. 여기 있는 QR 코드를 스캔하시거나 marketplace.jmp.com으로 접속하시면 됩니다. 감사합니다.
감사합니다.
