JMP에서 실험을 설계하는 것이 얼마나 쉬운지 배우고 나면, 주변 세상을 바라보는 시각이 완전히 달라질 것입니다. 모든 것이 실험의 기회가 되는 것이죠! 이 프레젠테이션에서는 실제 사례를 통해 실험 설계(DOE) 과정을 설명합니다. 실험 설계부터 결과 모델링, 그리고 최적의 결과를 얻기 위한 입력값 최적화까지 모든 단계를 다룹니다.
작년 디스커버리 컨퍼런스 참가자들은 인디언 웰스 골프 리조트의 드라이빙 레인지에서 야광 골프공을 치는 특별한 경험을 했습니다. 이 드라이빙 레인지에는 샷 하나하나를 모니터링하는 탑트레이서(Toptracer) 기술이 탑재되어 있습니다. 총 거리, 캐리, 볼 스피드, 발사 각도, 커브 등 다양한 변수들이 샷마다 기록됩니다. 이렇게 풍부한 데이터를 제공하는 드라이빙 레인지는 JMP를 활용한 실험을 설계하기에 더할 나위 없이 좋은 기회였습니다!
JMP 사용자 및 친구들과 함께 저녁 시간을 보내며 JMP의 사용자 정의 디자인 도구를 사용하여 실험을 설계했습니다. 디자인은 단 몇 분 만에 완성되었습니다. 골프 자세 설정에 기반한 입력 변수들을 디자인에 활용했는데, 여기에는 그립, 클럽 헤드 정렬, 스탠스 너비, 볼 위치 등이 포함되었습니다. 설계된 실험을 연습장에서 실행하여 모델을 생성하고, 가장 길고 곧은 샷을 만들어내는 최적의 설정을 찾아냈습니다. 모델링과 최적화는 연습장에서 단 몇 분 만에 완료되었으므로, 즉시 검증 실행을 수행할 수 있었습니다. 이러한 결과는 나중에 골프 코스에도 적용되었습니다.
안녕하세요, 여러분. 저는 샌디아 국립 연구소의 통계학자 돈 리프케입니다. 만나 뵙게 되어 반갑습니다. 오늘은 제가 평소에 하는 일과는 조금 다른 주제에 대해 발표하려고 합니다. 시작하시면 그 이유를 아실 수 있을 겁니다. 그럼, 자리에 앉으시고 시작하겠습니다.
간단한 배경 설명을 드리고 파워포인트 슬라이드를 보여드리겠습니다. 하지만 지루한 파워포인트 발표는 하지 않을 겁니다. 이 멋진 소프트웨어를 종료하고 바로 JMP로 들어가서 시연을 시작하겠습니다.
샌디아 연구소에서 제가 주로 담당하는 프로그램은 핵 억지력입니다. 그 외에도 다섯 개의 분야가 더 있습니다. 통계학자로서 저는 이 모든 분야에서 일하지만, 주로 핵 억지력 그룹에서 활동합니다. 저는 이 모든 프로그램에서, 거의 모든 업무에 JMP를 사용합니다. 다시 말씀드리지만, 저는 통계학자이지만, 전공은 전기공학입니다. 교육적으로는 전기공학을 전공했다고 해야겠죠.
핵 억지력, 저희가 진행하는 프로그램 중 일부는 바로 이런 것들입니다. 이건 저희 회사 프레젠테이션 슬라이드인데, 제가 JMP를 활용한 몇 가지 사례를 보여드리겠습니다. B61 프로그램과 W80-4 프로그램에 JMP를 사용했습니다. 무기에 들어가는 많은 부품들을 개발하는 데 사용했죠. 흔히들 말하듯이, 저희의 무기는 매일 사용되고 있습니다. 그것은 매우 효과적인 억지력입니다.
이것들은 제가 JMP를 사용해 본 프로그램들 중 일부입니다. 사실, 이 화면에 있는 프로그램들 중 하나를 제외하고는 모두 제가 엔지니어들과 함께 작업하면서 JMP를 상당히 많이 사용해 봤습니다.
작년에 저는 캘리포니아 인디언 웰스에서 열린 JMP 컨퍼런스에 참석했었어요. 정말 아름다운 곳이었죠. 놀라웠어요. 골프 코스 안에 있는 호텔 방이라니, 상상도 못 했어요. 정말 멋진 경험이었어요. 훌륭한 곳이었죠. 그 컨퍼런스에서 좋은 아이디어가 떠올랐어요. 'Shots in the Night'라는 행사가 있었는데, 정말 재밌는 저녁 이벤트였어요. 만약 이번이 첫 JMP 컨퍼런스라면, 이런 컨퍼런스가 얼마나 재밌고 얼마나 바쁜지 알게 되실 거예요. 여유 시간이 전혀 없을 거예요. 저녁 시간도 꽤 바쁘게 보낼 겁니다.
이 행사는 정말 멋졌어요. 컨퍼런스가 열린 인디언 웰스 골프 리조트 호텔의 드라이빙 레인지에서 진행됐습니다. 이 비디오를 재생해 볼게요. 한번 시도해 보겠습니다. 약 [알아들을 수 없는 부분 00:02:31]초 정도 되는 영상입니다. 화면에 나올지는 모르겠네요.
자, 여기까지입니다. 정말 멋진 영상이라고 생각해서 보여드렸어요. 특히 이 골프공들이 야광이라는 점이 신기하네요. 조명이 달린 작은 상자에 골프공들을 넣어두면 공이 어디에 맞았는지 확인할 수 있어요. 작년 컨퍼런스 사진도 몇 장 있는데, 발표 준비가 다시 되면 여기서 공유하고 싶네요.
여기는 JMP 컨퍼런스가 열렸던 골프 연습장이에요. 정말 엄청난 규모의 행사였죠. 모두가 다 모였어요. 좋았던 점은 푸드트럭도 있었다는 거예요. 오른쪽에 제프가 보이시죠? 아마 JMP 컨퍼런스에서 사회를 맡아주셨던 분이라 알아보실 거예요. 제프 머리 위에 후광이 있는 게 좀 재밌네요. 그냥 우연이겠지만요. 아니, 어쩌면 무슨 일이 있는 걸지도 모르죠, 제프.
뒤에 있는 이 작은 스크린들을 좀 자세히 보여드릴게요. 이 타격 연습장은 정말 멋진데요, 골프공을 칠 때 다양한 통계 정보를 보여주기 때문입니다. 공의 총 비거리, 탄도, 평지 정도, 볼 스피드 등 총 10가지 변수를 보여줍니다.
물론 제가 가장 중요하게 생각하는 건 총 비거리입니다. 그 외에도 여러분이 신경 쓸 만한 요소들이 몇 가지 더 있는데, 이 데이터는 그런 것들도 모두 포함하고 있어서 저도 그렇게 했습니다. 당시 저는 "이거 정말 멋지다. 내 골프 실력을 향상시켜서 샷의 궤적이나 비거리를 좀 더 늘릴 수 있을지 실험해 보면 좋겠다"라고 생각했습니다. 그리고 "정말 유용한 데이터다"라고 생각했죠.
사실 저는 아주 오래전에 JMP 학회에서 비슷한 실험을 해본 적이 있는데, 그때는 GPS 추적을 해야 하고 직접 나가서 계산도 해야 해서 꽤 번거로웠습니다. 하지만 이 장비는 화면 왼쪽 상단에 총 운반량을 표시해 줘서 데이터 수집이 훨씬 간편하고 좋습니다.
그럼, 실험을 하나 해볼까요? 제가 이 실험을 하게 된 계기는, 제가 하는 실험들이 대부분 기밀 해제가 허용되지 않기 때문에 공개적으로 공유할 수 없다는 점 때문입니다. 그래서 누구나 이해할 수 있는 교육적인 예시를 공유하고 싶었습니다. 이번 실험은 그런 면에서 아주 좋은 기회라고 생각합니다. 골프 스윙의 기본 원리와 제가 보여드릴 변수들에 대해서는 대부분의 사람들이 어느 정도 이해할 수 있을 거라고 생각하기 때문입니다.
이건 제가 이 프레젠테이션을 준비하면서 골프 채널을 보다가 우연히 보게 된 문구인데, "와, 멋지다. 사진으로 남겨둬야겠다" 싶었어요. 골프에서 불확실성을 최소화하고 확실성을 극대화하는 것이 정말 중요한 것 같아요.
제 실험에서 고려한 변수들을 시각적으로 보여드린 후, 실험 설계와 분석에 대해 자세히 알아보겠습니다. 이해를 돕기 위해 설명드리자면, 저는 세 가지 유형의 그립을 고려했습니다. 왼쪽 그림처럼 새끼손가락과 검지가 겹치는 얽힌 그립, 분리 그립, 그리고 그 중간에 손이 완전히 맞닿는 '접촉 그립'을 변수로 넣었습니다.
다시 세 가지 다른 그립 유형을 살펴보았습니다. 클럽 헤드를 세 가지 다른 형태로 관찰했는데, 왼쪽은 완전히 닫힌 클럽 헤드, 오른쪽은 중립적인 클럽 헤드, 그리고 그 중간쯤 되는 제가 '닫힌 클럽 헤드'라고 부르는 헤드입니다. 제 골프 실력을 보면 클럽 헤드를 조금 닫았을 때 비거리가 약간 더 늘어나는 것 같았는데, 정확히 측정해 본 적은 없어서 확신할 수는 없습니다. 따라서 이 변수를 실험에 포함하는 것이 좋은 생각이라고 생각합니다.
오른손의 경우, 제가 사용한 설정은 두 가지입니다. 중립과 강한 오른손입니다. 중립은 일반적인 골프 그립이고, 강한 오른손은 오른손을 클럽 중앙에서 약간 더 바깥쪽으로 회전시키는 것입니다. 저는 오른손잡이 골퍼인데, 이렇게 하면 스윙이 좀 더 강해지는 것 같습니다. 클럽을 당기는 경향이 있고, 공도 왼쪽으로 약간 더 휘어지며 예측 가능성이 조금 떨어집니다. 하지만 이것도 변수로 넣어보면 좋겠다 싶었습니다. 안 될 이유가 없죠. 어차피 무료니까요. 실험계획법의 장점은 변수를 많이 넣어도 결과값이 크게 늘어나지 않는다는 점입니다.
오른발에 대해서도 말씀드리자면, 골프를 칠 때 오른발을 살짝 뒤로 빼면 슬라이스가 고쳐지는 경우가 있다는 걸 알게 됐습니다. 슬라이스를 완전히 없앨 수 있는 방법은 없지만, 어느 정도 도움이 되더라고요. 그래서 "이것도 한번 시도해 봐야겠다" 싶었죠. 오른발을 살짝 뒤로 빼는 겁니다.
마지막으로, 스탠스에서 공의 위치에 대해 이야기해 보겠습니다. 이 실험에서는 드라이버가 아닌 9번 아이언을 사용합니다. 9번 아이언은 보통 스탠스 뒤쪽이나 중간에 위치시키지, 앞쪽에 두는 경우는 드뭅니다. 하지만 제가 골프를 치면서 느낀 점은 공을 스탠스 앞쪽에 놓으면 비거리가 조금 더 늘어나는 경향이 있다는 것입니다. 이는 9번 아이언이나 피칭 웨지처럼 번호가 높은 아이언을 사용할 때는 공을 스탠스 뒤쪽에 두라고 하는 프로들의 조언과는 상반되는 것처럼 보입니다. 제게는 그 방법이 통하지 않는 것 같으니, 직접 실험을 통해 확인해 보겠습니다.
실험 설계는 꽤 쉬웠습니다. 사실, Shots in the Dark 행사가 끝난 직후 호텔 방으로 돌아가 JMP를 이용해 이 실험을 설계했습니다. "좋아, 컨퍼런스가 끝나는 목요일에 실행해야겠다"라고 생각했죠. 컨퍼런스는 점심 식사 직후에 끝났고, "골프 연습장에 나가서 실험을 실행하고 데이터를 입력해서 실시간으로 분석하면 되겠지"라고 생각했습니다.
이게 바로 실험입니다. JMP에 들어가서 보여드리겠지만, 먼저 이 스크린샷에서 제가 모든 요소를 어떻게 입력했는지 보여드리고 싶습니다. 제가 입력한 몇 가지 반응도 표시되는데, 제가 가장 중요하게 생각하는 반응은 공을 얼마나 멀리 쳤는지입니다. 그런데… 하나, 둘, 셋, 이렇게 다섯 가지 요소가 있습니다. 3×3×2×2×3이니까 가능한 조합이 꽤 많죠.
하지만 아시다시피 실험 설계에서는 3차, 4차, 5차 상호작용과 같은 고차 상호작용을 고려하지 않음으로써 이러한 문제를 해결합니다. 사실, 이 실험에서는 주효과만 살펴보고 상호작용은 고려하지 않습니다. 나중에 이 설계를 확장하여 2차 상호작용을 살펴볼 수도 있겠지만, 지금은 주효과에 어떤 요인이 중요한지 알고 싶을 뿐입니다. JMP에서 18회 실행이 필요하다고 알려주었는데, 그 정도가 적당해 보입니다. 꽤 잘 작동하는 것 같습니다.
이것이 생성된 스크립트입니다. 프레젠테이션에 스크린샷으로 첨부하는 이유는, 여러분 중 누군가가 이와 똑같은 실험을 재현하고 수정하고 싶을 때, 제가 설정하지 않았지만 무작위로 얻은 시드를 사용하시면 되기 때문입니다.
그럼 실험 설계는 다음과 같았습니다. 다시 JMP를 열어서 자세히 살펴보겠습니다. 보시다시피 18번의 실행(이걸 '실행'이라고 부르겠습니다)이 어떻게 구성되어 있는지, 그리고 각 실행 안에 변수 설정이 어떻게 되어 있는지 알 수 있습니다. 첫 번째 실행은 인터록 그립에 클럽 헤드와 오른손을 중립 위치에 두고, 오른발을 뒤로 빼고 스탠스에서 공을 앞쪽에 놓는 것입니다. 드라이빙 레인지에 가서 자세를 잡고 첫 번째 샷을 했습니다.
실험 설계(DOE)가 어떤 역할을 하는지 간단히 살펴보겠습니다. 이 상관관계 컬러 맵에서 주요 효과들이 거의 상관관계가 없다는 것을 알 수 있습니다. 오른손과 오른발 사이에 아주 미미한 상관관계가 있긴 하지만, 그 값은 1/9.111입니다. 상관관계가 매우 작죠. 하지만 이렇게 서로 다른 다섯 가지 변수(그중 일부는 세 가지 설정값)를 사용해서 실험을 진행하면서도 주요 효과들 간에 상관관계가 전혀 없다는 것을 알 수 있다는 게 참 놀랍습니다. 이것이 바로 DOE의 힘입니다.
목요일 점심 식사 후 골프 연습장으로 향했습니다. 컨퍼런스가 끝났거든요. 인디언 웰스 골프 코스가 내려다보이는 아름다운 레스토랑에서 점심을 먹고 나서 연습 타석으로 갔습니다. 제가 받은 클럽 사진을 보여드릴게요. 흥미롭게도 제가 평소에 쓰는 드라이버와 똑같습니다. 집에서 쓰는 아이언과도 매우 비슷한 것 같아요. 사진에 찍힌 타임스탬프를 참고해서 이 실험을 설계했는데, 사진은 나중에 보여드리겠습니다. 첫 샷과 마지막 샷은 각각 20분씩 걸렸으니, 실험 설계하는 데 5분, 실행하는 데 20분밖에 걸리지 않았습니다.
다시 한번 제 첫 번째 샷 설정입니다. 첫 번째 시도에서, 제가 일어나서 공을 칠 때의 설정이었고, 화면은 이렇게 보였습니다. 저는 샷 사이에 너무 많은 망설임을 만들고 싶지 않았기 때문에 사진을 찍어서 데이터를 저장했습니다. 이렇게 모든 사진을 찍었고, 이것이 제 데이터입니다. 그런 다음 자리에 앉아서 이 데이터를 JMP에 입력했습니다. 노트북이 있어서 데이터를 입력하고 실험 결과를 분석하는 것은 매우 쉬웠습니다. 이제 데이터를 살펴보겠습니다.
제 데이터는 이렇습니다. 타격 연습을 할 때 입력했던 건 총합뿐이었어요. 제가 정말 중요하게 생각하는 건 총합이니까요. 그 후로 화면에 나오는 다른 변수들도 모두 입력해서 모델링에 활용하고 있습니다. JMP에서 실험을 설계할 때, DOE와 사용자 지정 설계를 사용한다면 제가 주로 사용하는 방법이 바로 이겁니다. 여기서 제 요인들을 추가했어요. 제가 타이핑하는 모습을 보여드리면서 지루하게 해드리고 싶진 않지만, 기본적으로 2단계 이산형 수치 요인과 3단계 이산형… 아, 죄송합니다. 이산형 수치 요인이라고 잘못 썼네요.
범주형 변수는 두 개 또는 세 개 수준으로 총 다섯 개였습니다. 반응 변수로는, 처음 설계할 때는 세 개의 반응 변수만 생각했는데, 실제로는 하나만 중요했고 여덟 개의 반응 변수를 사용했습니다. 실험 설계 시 선택한 반응 변수가 마음에 들지 않으면, 원하는 반응 변수만으로 분석을 진행할 수 있기 때문입니다.
하지만 이 사용자 지정 설계를 사용하면 실험을 설정하는 것이 매우 쉽습니다. 보시다시피 변수를 추가하기만 하면 됩니다. 여기로 가서 변수 이름을 입력한 다음 JMP에서 실험을 설계하면 됩니다. 아래쪽에 실행 횟수가 표시되지만, 여러분을 지루하게 하고 싶지 않아서 똑같은 정보를 직접 입력하지는 않겠습니다.
여기서 '설계 만들기'를 클릭하면 JMP가 설계를 자동으로 설정해 줍니다. 다섯 개의 변수는 여기에 표시되고, 상관관계에 대한 색상 맵은 아래쪽에 표시됩니다. 이제 DOE 대화 상자를 실행해서 어떻게 보이는지 보여드리겠습니다.
이 설계를 구상하면서 설계에 대한 계산 과정을 거쳤고, 소프트웨어가 이렇게 설정해 주었습니다. 제가 입력한 요소들은 위에 있습니다. 이렇게 입력했습니다. 아주 간단하죠. 제가 입력한 반응 변수들은 슬라이스, 볼 스피드, 비거리일 거라고 생각했는데, 비거리와 볼 스피드는 나왔습니다. 여기 [들리지 않는 부분 00:15:28] 곡선에 있는 슬라이스 변수는 잘 모르겠지만… 당시에는 신경 쓰지 않았습니다. 나중에 다른 실험에서 다시 살펴볼 수 있겠지만, 지금은 비거리만 중요했습니다. 볼 스피드와 비거리는 상관관계가 너무 커서 세 가지 변수를 모두 살펴볼 필요가 없었습니다.
하지만 이 실험을 설정하는 데는 아마 3분 정도면 충분할 겁니다. 실험을 설정하고 JMP에게 표를 만들라고 하면 되죠. 그런데 상관관계에 대한 컬러 맵을 다시 한번 보여드리겠습니다. 이전 버전의 JMP에서는 상관관계 컬러 맵이 실제로 컬러 맵이었는데, 지금은 기본적으로 흑백으로 표시됩니다. 저는 보통 컬러 맵으로 바꾸지만, 이건 이전 파워포인트 슬라이드에서 보여드렸던 바로 그 색상입니다.
JMP를 사용하면 표를 만들기만 하면 자동으로 표가 생성됩니다. 이제 제가 할 일은 이 변수 설정을 사용하여 18번의 샷을 날리고 여기에 거리를 입력하는 것뿐입니다. 그러면 실험 분석 준비가 완료됩니다. 데이터는 이미 입력되었으니 저장하지 않겠습니다. 여러분을 위해 이 부분을 저장하는 것에 대해서는 신경 쓰지 않겠습니다. 사용자 지정 디자인으로 돌아가서 파워 분석에 대해서도 간단히 보여드리겠습니다. 모델을 실행해서 어떤 결과가 나오는지 살펴보겠습니다.
모델을 클릭하면 스크립트가 사용자 지정 실험을 만들 때 입력한 그대로 데이터 테이블에 저장됩니다. JMP는 "실험을 만들 때 입력한 내용이 이것이니, 이들을 효과로 사용하려는 것으로 추측합니다. 따라서 다시 설정할 필요가 없습니다."라고 말합니다. 저는 디자인에 세 가지 효과를 보여드렸다고 답합니다. 저는 캐리나 플랫 캐리에는 관심이 없습니다. 지금은 그냥 그것들을 제거하고 실행하겠습니다. 총합을 보세요. 나머지는 모두 제거했습니다.
자, 다시 DOE Dialog로 돌아왔습니다. 죄송합니다. 제가 좀 귀찮아서요. 타이핑하기 싫었거든요. 이것도 지우고, 이것도 지울게요. 실수로 효과까지 선택해서 지워버렸네요. 자, 이제 제가 살펴볼 모델입니다. 이걸 실행하면 노이즈가 엄청 많이 보이는데, 당연하죠? 돈의 골프 게임은 원래 노이즈가 심하니까요. 놀랄 일도 아니죠?
데이터 테이블에서 거리에 따라 점들을 색칠했습니다. JMP 데모를 보여드리겠습니다. 행별로 색을 지정하거나 열별로 표시할 수 있습니다. 총 거리에 따라 색을 지정하고 싶다고 가정해 보겠습니다. 제가 그렇게 했습니다. 모든 행이 총 거리에 따라 색으로 표시됩니다. 다른 화면을 열어 놓았다면 어떻게 되었을까요? 이제 데이터 테이블이 맨 위에 표시됩니다. JMP에서 열어 놓은 화면이 다른 화면에도 그대로 나타난다는 것을 기억하세요.
이 모델을 살펴볼 때 제가 중점적으로 보는 것은 P값입니다. 또한 잔차도 살펴보고 있습니다. 잔차는 실제값에서 예측값을 뺀 값입니다. 기본적으로 이 점들 중 하나에서 적합선까지의 거리입니다. 이 빨간색 적합선을 수평으로 펼쳐 놓으면 어떤 모양이 될지 상상해 보세요.
실제 값과 예측 값을 비교했을 때, 두 값의 차이는 어느 정도인가요? 실제 값과 예측 값의 차이는 얼마나 되나요? 제 게임은 상당히 노이즈가 많습니다. 제 모델이 ±5야드 정도의 오차 범위를 보여주고 있는데, 이는 아직 설명되지 않은 부분이 그만큼이라는 뜻입니다. 저는 이러한 변수들을 고려했을 때 거리 변동의 절반 정도만 설명했을 뿐입니다.
제 평균 제곱근 오차는 실제로 6입니다. 이 잔차를 보면 [들리지 않는 부분 00:19:35] 평균 제곱근 오차가 6이네요. 다른 것도 살펴볼까요? 저는… 바로 아래로 내려가 보겠습니다. 먼저 프로파일러를 보고 나서 모델을 조정해 보겠습니다. 프로파일러를 보면 제 효과를 시각적으로 확인할 수 있는데, 더 크게 보여드리겠습니다.
프로파일러를 사용할 때는 조심해야 합니다. 그래프 하나를 확대하면 모든 그래프가 함께 확대되어 화면이 금방 꽉 찰 수 있습니다. 하지만 제 프로파일러를 보면, 잠시 후에 자세히 설명할 과정을 생략하고 간단히 모델을 단순화해서 살펴보니, 그립이 터치 그립, 클럽 헤드와 오른손의 중립 자세가 가장 적합한 것 같습니다. 오른발은 앞쪽과 수평을 이루는 것이 좋고, 볼과 스탠스는 앞쪽으로 치우쳐 있는 것이 가장 좋은 것 같습니다. 이 모든 것은 제가 수동으로 조정한 것입니다.
예측 프로파일러를 클릭하고 최적화를 보시면, 이미 바람직성 함수가 포함되어 있는 것을 알 수 있습니다. 제가 이 실험을 설정할 때 JMP에서 응답에 대해 [들리지 않는 부분 00:20:58] 님께 말씀드렸듯이 어떻게 처리하시겠습니까? 라고 묻는데, 저는 최대화를 선택했습니다. 실험을 설정할 때 최대화할지, 최소화할지, 아니면 특정 목표를 달성할지 선택해야 하는데, 저는 최대화를 선택했기 때문에 이미 이 함수가 내장되어 있는 것입니다.
JMP가 최적의 조건을 자동으로 설정해 주도록 해볼게요. 제가 수동으로 설정했기 때문에 아무것도 바뀌지 않았지만, 이 값들이 다른 위치에 있다고 가정해 보겠습니다. 그런 다음 JMP에 최적의 조건을 최대화하라고 하면 "총 거리를 최대화하려면 이 설정을 사용하세요."라고 말할 겁니다. 이 값은 불확실성을 포함한 예상 총 거리이므로 117입니다. 제 생각에 가장 멀리 명중한 거리는 약 114였던 것 같습니다.
이 실험을 설정한 후, 실제로 이 설정으로 여러 조합으로 샷을 몇 번 해봤습니다. 공 두 개를 사용해서 쳤는데, 아마 115피트와 113피트 정도 나왔던 것 같습니다. 나중에 파워포인트에서 다시 보여드리겠습니다. 이 설정이 실제로 가장 좋은 비거리를 내준다는 것을 확실히 확인할 수 있었습니다. 시간 관계상 몇 번밖에 치지 못했지만요. 날씨도 더워지고 배도 좀 고팠지만, 이 설정을 사용했을 때 꽤 좋은 샷이 나온다는 것을 확인하고 싶었습니다.
[들리지 않음 00:22:22] 단순화하는 겁니다. 기억하세요, 모든 모델은 틀렸습니다. 우리는 단지 유용한 모델을 만들려고 노력하는 것뿐입니다. 제가 그렇게 말한 건 아닙니다. 누가 그렇게 말했는지 아시나요? 모르시겠다면 구글에서 검색해서 찾아보세요. 중요하지 않은 것들을 제거하려는 이유는 무엇일까요? 그런 것들은 예측 가능성을 높여주지 않기 때문입니다. 그러니 모델을 단순화해 봅시다. JMP에서 효과를 클릭하고 제거하는 방식으로 수동으로 단순화할 수 있습니다. [들리지 않음 00:22:48]
P값은 뭐죠? 단순히 무작위성 때문에 그렇게 큰 효과가 나타날 확률입니다. 통계적인 세부 사항은 생략하겠지만, 전기 공학 용어로 말하자면 신호 대 잡음비입니다. 새끼 곰 머리는 중요하지 않은 것 같으니 모델에서 제외하겠습니다. 오른발도 중요하지 않은 것 같으니 모델에서 제외하겠습니다. 이제 [들리지 않는 부분 00:23:11] 경계선에 남았습니다.
통계학자들은 아주 좋은 모델에 0.05 정도의 유의수준을 적용하는 것을 좋아합니다. 하지만 저는 제 스윙에 노이즈가 많기 때문에 조금 더 관대하게 적용하려고 합니다. 그립을 제외하면 이제 p값이 0.25 미만인 변수들이 남습니다. 단계적 회귀 분석을 할 때, 변수를 넣고 빼는 기본 p값은 0.25인 경우가 있습니다. 저는 볼과 스탠스만 남겨두겠습니다. [들리지 않는 부분 00:23:45] 이는 단순히 무작위적인 현상일 가능성을 시사합니다. 제 스윙에 노이즈가 많다는 것을 알고 있기 때문에 이 정도면 모델에 남겨두기에 충분합니다.
오른손과 스탠스에서의 볼 위치, 이 두 가지가 눈에 띄게 영향을 미치는 것 같습니다. 제 골프 게임에서는 [들리지 않는 부분 00:24:05] 오른손을 사용하는 것과 강한 오른손을 사용하는 것의 차이로 나타납니다. [들리지 않는 부분 00:24:08] 슬라이스를 없애려고 강한 오른손을 사용해 봤는데, 오히려 중립적인 오른손이 비거리를 더 늘려주는 것 같습니다. 프로파일러를 사용해 보면 중립적인 오른손이 강한 오른손보다 약 5야드 정도 더 멀리 나가는 것을 알 수 있습니다.
스탠스에서 볼을 앞쪽에 두는 것이 제 스윙에 더 좋다는 직감이 이미 있었어요. 이제 마무리를 해볼까요? 간단하게 y와 x를 비교해 보겠습니다. 각 변수와 전체 거리를 비교해 볼 수 있죠. [들리지 않는 부분 00:24:49] 전체 거리, 그리고 각 변수를 [들리지 않는 부분 00:24:52] 여기서 확인해 보겠습니다.
이걸 통계적으로 분석하면 정말 지루하고 짜증 나실 수도 있겠지만, 그냥 전체적인 결과만 보죠. 터치 그립이 가장 좋았던 것 같네요. 클로즈드 그립과 뉴트럴 그립 사이에는 큰 차이가 없어 보입니다. 뉴트럴 그립에서 비거리가 조금 더 나긴 하지만, 간단하게 y축과 x축 채널을 비교해 볼게요. [00:25:28] 거리를 두고, 볼을 스탠스 중앙에 두거나 뒤쪽에 두는 건 볼을 앞쪽에 두는 것만큼 큰 차이가 없는 것 같습니다.
모델을 적합시켰습니다. 모든 변수에 대한 산점도 행렬을 빠르게 그려봤습니다. 저는 실험을 설계할 때, 그리고 분석할 때 항상 이런 것을 살펴보는 것을 좋아합니다. 특정 변수와 속도 사이의 관계를 파악하기 위해서죠. [들리지 않는 부분 00:25:57] 설계 공간을 꽤 잘 다룬 것 같습니다.
이 변수들은 두 변수 간의 모든 조합을 포괄하며, 이는 두 변수 간의 모든 경우를 상당히 잘 커버하는 것입니다. 데이터 포인트의 흔들림을 보정하면 더 명확하게 볼 수 있습니다. 이제 각 포인트에는 하나 이상의 데이터 포인트가 연결되어 있습니다. 이처럼 두 변수 간의 모든 경우를 고려하는 것이 바로 제대로 된 실험 설계의 핵심입니다.
강한 상관관계도 많이 보이네요. 이건 제 플랫 캐리와 총 캐리를 나타낸 그래프입니다. 제가 관심 있는 변수는 총 비거리죠. 자, 총 비거리를 살펴보죠. 예상대로 플랫 캐리, 볼 스피드 등 여러 요소와 상관관계가 있네요. 산점도 행렬은 언제나 흥미로운 분석 도구입니다.
마지막으로 검정력 분석에 대해 말씀드리겠습니다. 이 실험을 설계할 때 저는 18회만 실행했습니다. 실험 설정 시 검정력 분석을 살펴보면, 검정력이 상당히 좋아 보입니다. 검정력은 신호가 존재할 경우 이를 감지할 수 있는 능력입니다. 통계학자 여러분, 제가 표현을 정확하게 하지 못했더라도 양해 부탁드립니다. 저는 통계학자처럼 말하는 엔지니어니까요. 어쨌든, 검정력이 좋아 보입니다.
하지만 실제로는, 제 평균 제곱근 오차가 6 정도였다는 점을 기억해 주세요. 이 정도 오차라면 변수를 감지할 만한 검정력이 매우 낮습니다. 하지만 이처럼 낮은 검정력에도 불구하고 몇 가지 변수는 감지할 수 있었습니다. 검정력이 너무 낮다면, 18개 이상의 공을 쳐보는 것이 좋을 것 같습니다. 저는 제가 칠 수 있다는 것을 알고 있습니다. 제 스코어를 말씀드리자면, 저는 90타를 칠 수 있습니다. 왜냐하면 골프 한 라운드에 90타를 치거든요. 따라서 18개는 제게 한계가 될 수 없습니다. 18개는 충분히 칠 수 있어야 합니다. 이 실험을 수정하고, 더 많은 시도를 해서 검정력을 높여 변수의 영향을 감지할 수 있도록 해야 할 것 같습니다.
자, 다시 파워포인트로 돌아가죠. 라이브 데모와 JMP를 사용해 봤으니 마무리해 보겠습니다. 결론적으로, 제 골프 스윙에는 노이즈가 많다는 것을 알 수 있었습니다. 신호 대 노이즈 비율이 낮아서 노이즈가 너무 많으면 신호를 잡아내기가 어렵죠. 당연한 결과입니다. 저는 세계 최고의 골퍼가 아니니까요. 현재 제 핸디캡은 15보다 약간 낮아서 평균적인 보기 골퍼 정도입니다.
파72 코스에서 저는 보통 파보다 1타 더 치는데, 18홀을 더하면 90타가 되죠. 저는 보기 골퍼인데, 사실 그게 제 목표이기도 합니다. 보기 골퍼가 되고 싶어요. 홀마다 1타나 1.5타씩 줄일 수만 있다면 골프로 연간 1천만 달러를 벌 수 있을 겁니다. 하지만 골프를 쳐보신 분들은 아시겠지만, 홀마다 1타씩 줄이는 건 쉬운 일이 아니죠.
제가 발견한 것은 몇 가지 요소가 중요하긴 하지만, 오른손을 중립적인 자세로 유지하고 스탠스에서 볼을 앞쪽에 놓는 것이 가장 효과적이라는 점이었습니다. 그래서 이 부분을 제 골프에 적용해 봤고, 이제는 오른손을 강하게 쓰는 대신 중립적인 자세로 치게 되었습니다. 특히 9번 아이언 같은 짧은 아이언샷에서 볼을 스탠스 앞쪽으로 옮겼더니 비거리가 훨씬 늘어났습니다. 단순히 비거리가 늘어난 것뿐만 아니라, 공이 얼마나 멀리 날아갈지 예측하는 능력도 향상되었습니다.
저는 드라이빙 레인지에서 제가 시도해 본 최적의 설정으로 몇 번 공을 쳐봤는데, 15야드 거리에서 약 13야드 정도가 나왔습니다. 제 실험에서 최고 비거리는 114야드였던 것 같습니다. 꽤 괜찮은 결과였죠. 이건 제가 아주 만족했던 스코어카드 사진 중 하나입니다. 평소 같으면 이 날 45타를 쳤을 텐데, 오늘은 2오버파를 쳤습니다. 저는 파를 동그라미로 표시하는데, 프로들은 버디를 동그라미로 표시하죠. 저 같은 아마추어는 파를 기록하면 기뻐서 동그라미를 치고, 버디는 두 번이나 동그라미를 칩니다.
꽤 괜찮은 라운드였어요. 파보다 2타 더 쳤거든요. 제 스윙 교정 실험 덕분이라고 단정 지을 순 없지만, 사람들이 제가 진행 중인 프로젝트에 흥미를 느끼도록 만들려고 할 때 가장 좋은 결과가 나오기 마련이죠.
이 자리를 빌어 제 발표를 제 형에게 바치고 싶습니다. 제 형 조는 2020년 말에 공격적인 뇌종양으로 세상을 떠났습니다. 조는 제게 골프에 대한 사랑을 가르쳐준 사람입니다. 제가 이 게임에 관심을 갖게 된 것도 그 때문입니다. 형은 저와 함께 JMP 컨퍼런스에 참석하곤 했고, 한때 JMP 사용자이기도 했습니다.
그도 샌디아 연구소의 위성 부서에서 엔지니어로 일했죠. 그래서 조와 저는 매일 같이 어울려 점심을 먹곤 했습니다. 그가 너무 그립고 이 글을 그에게 바치고 싶습니다. 흥미로운 이야기가 하나 있는데요, 왼쪽 사진은 조가 뇌암 진단을 받은 후 볼더스 골프장에서 저와 함께 찍은 사진입니다. 조가 메이요 클리닉에서 치료를 받고 있어서 피닉스에 있었는데, 피닉스에 서리가 내려 경기가 지연되는 바람에 골프를 늦게 시작하게 됐죠. 참 어이없는 일이죠. 9홀을 돌고 나서 "예약 시간 놓치겠어. 이제 가야겠다"라고 생각했습니다.
우리는 라운드를 하다가 중간에 자리를 떠서 메이오 클리닉에 있는 조의 진료를 받고 돌아와서 남은 라운드를 마저 쳤습니다. 조는 정말 만만치 않은 선수였어요. 그린 위에 있는 이 공은 사실 조가 너무 멀리 쳐서 뒤에 있는 바위에 맞고 튕겨 올라온 공입니다. 너무 웃긴 상황이라 사진을 찍어 봤어요.
이 사진은 제가 자주 가는 골프장에서 찍은 조 화이트, 월터 화이트, 브라이언 크랜스턴입니다. 그리고 이 사진은 앨버커키의 파코 리지 골프 코스에서 저와 조가 함께 찍은 사진입니다. 정말 감사합니다. 이 사진들이 여러분의 모든 업무와 골프 활동에 실험 설계법을 적용하는 데 영감을 주기를 바랍니다. 감사합니다.
