아버지와 딸이 함께 커스텀 디자인 플랫폼을 활용하여 젤리베어의 세계를 탐험하는 즐거운 세션에 참여하세요. Easy DOE에서의 이전 경험을 바탕으로, JMP의 R&D 디렉터와 그의 10살 딸이 함께하는 발표자들은 커스텀 디자인의 복잡성을 심도 있게 탐구하며 다양한 요인들이 젤리베어에 어떤 영향을 미치는지 살펴봅니다.
이 세션에서는 커스텀 디자인을 활용한 실험 설정 방법을 살펴보고, Easy DOE만 사용해 본 경험이 있는 사용자로부터 전환 과정을 통해 얻은 어려움과 통찰력을 알아봅니다. DOE를 처음 접하는 분이든, 전문 지식을 확장하고 싶은 분이든, 이 세션에서는 여러분의 프로젝트에 도움이 되는 유용한 전략과 팁을 제공합니다 . 이 두 사람이 커스텀 디자인을 활용하여 젤리곰 실험을 최적화하고 달콤하고 (끈적끈적한) 결과를 얻는 방법을 직접 경험해 보세요.
오늘 "곰돌이 푸는 재미: 구미베어를 활용한 간편 DOE에서 맞춤형 디자인으로의 전환"이라는 주제로 강연에 오신 것을 환영합니다. 저는 JMP의 이사인 라이언 레키베츠입니다.
저는 노스우즈 초등학교 학생인 로리 레키베츠입니다.
좋아요, 그럼 오늘 여기서 뭘 살펴볼까요? 저희는 다양한 요인들이 젤리곰에 어떤 영향을 미치는지 정말 궁금했습니다. 특히 저희 실험자인 로리는 Easy DOE를 사용해 본 경험이 있었습니다. 하지만 Custom Design이 좀 더 어렵다는 이야기를 듣고 정말 Custom Design을 시도해 보고 싶어 했습니다. 하지만 여기서 실제로 확인할 것은 디자인은 여전히 쉬웠지만, 분석은 그렇지 않았다는 것입니다. 그리고 집에서 실험하기에는 객관적인 반응이 어렵다는 점도 알게 되었습니다. 자, 이제 이 실험을 하기로 결정하게 된 계기가 무엇인지 말씀해 주시겠어요?
그래서 작년 디스커버리에서 곰젤리 한 팩을 사서 뜨거운 물에 넣으면 질감이 어떻게 바뀌는지 확인해 봤어요. 그랬더니 훨씬 부드러워지더라고요. 그래서 이걸로 실험을 해보고 싶었어요.
아. 그럼 우리가 실험에서 선택한 요소들이 무엇인지 말해보는 건 어떨까요?
그래서 두 가지 브랜드를 고르고 온도도 냉동실, 실온, 그리고 뜨거운 상태로 두는 시간을 정했어요. 2분과 5분 정도 두었죠. 온도와 색깔, 그리고 색소에 따라 더 부드러워지거나 더 딱딱해질 수도 있다고 생각했거든요. 공기 중에 노출시키는 것도 고려했어요. 하룻밤 동안 두면 젤리가 훨씬 더 딱딱해지거든요. 그래도 포장에서 꺼낸 것처럼 신선했어요.
네. 아니면 빼고 뒀을 수도 있고요. 네. 온도가 처음에 영향을 미칠 거라고 생각하셨죠? 네. 아, 그리고 사실 말씀드리자면, 뜨거운 물을 램프처럼 아래에 두었어요. 꽤 따뜻해지는 책상 램프를 사용했거든요. 그래서 열을 발생시키기에 충분했죠. 아마 처음에 물을 끓이려고 했는데, 그냥 녹아버린 젤리곰이 나왔던 것 같아요. 이제 저희의 답변 차례입니다. 그래서 아빠의 첫 번째 아이디어는 무엇이었을까요? 보통 주관적인 답변을 하기 때문에 "좋아 보이네. 객관적으로 답변해 보자."라고 생각했어요. 그래서 아빠의 아이디어가 여기 있었어요. 9볼트 배터리와 작은 부저 같은 걸 준비했어요. 사진에서 보시다시피 부저와 버튼이 있어요. 그래서 부저가 울릴 때까지 젤리곰에 얼마나 많은 무게를 실을 수 있는지 시험해 보는 거였어요.
"우리가 그걸 시도했을 때 뭘 발견했지?"라고 생각했어요. 젤리 곰 위에 뭔가를 올려놓고 무게를 더하는 게 정말 어려웠죠. 그래서 아마 어떻게든 해낼 수 있었을 텐데, 시간이 너무 많이 걸렸을 것 같아요. 그래도 나중에 실험할 때 바로 사용할 수 있도록 이렇게 준비해 뒀어요. 바로 그 부저를 사용할 수 있도록요. 아빠는 아빠의 시도가 정말 영리하다고 생각했지만, 실패였어요. 그럼 결국 우리는 어떤 반응을 보일까요?
그래서 우리는 1에서 10까지의 즐거움 척도를 살펴보았습니다. 값이 클수록 딱딱함을 의미하는 쫄깃함과 값이 클수록 쫄깃함을 의미하는 씹힘성을 살펴보았습니다.
네. 기준선은 7개라고 생각합니다. 맞나요? 그러니까 방금 나온 거라면 7개 정도일 수도 있다고 말씀하신 것 같습니다. 제가 질문드린 것 중 하나는, 물렁물렁함과 씹히는 느낌이 서로 연관이 있을 거라고 생각하셨나요? 그래서 어느 정도 일리가 있습니다. 통계학자라면, 그게 상관관계가 있다고 생각할 수도 있을 겁니다. 이제 실험계획법(DOE)에 대해 이야기해 보겠습니다. 맞춤 설계(Custom Design)는 찾으셨을 텐데, 반응 요인은 어떠신가요? 제가 따로 말씀드릴 필요는 없었던 것 같습니다. 그냥 입력하셨나요? 이제 모델은 어떠신가요? 모델이 주효과만 포함했으니, 모델에 원하는 대로 적용하신 건가요?
그래서 저는 상호작용을 추가했어요. 상호작용이 젤리곰에게 어떤 영향을 미치는지 정말 보고 싶었거든요.
네. 네, 그러니까 그녀는 커스텀 디자인에서 모델 용어를 보면 상호작용을 두 번째로 찾을 수 있다는 거죠. 그래서 그녀는 아무런 지시도 없이 그걸 발견했어요. 그리고 마찬가지로, 런 크기 선택은 어떻게 된 건가요? 런 개수는 어떻게 정하셨나요?
그래서 저는 여러 번 달리기로 결정했습니다.
제 생각에는 그게 기본 설정이었던 것 같아요.
음, 45회 실행됐어요. 즉, 젤리곰 45개를 테스트해야 한다는 뜻이죠.
젤리곰 45개를 먹을 수 있다고 생각했어요?
예.
네. 사실, 이 실험을 위해 5파운드짜리 젤리곰 두 봉지를 샀습니다. 설계 진단에 대해서는 제대로 이야기하지 않았지만, 물론 아빠가 나중에 들어가셨죠. 그리고 저는 확실히 하기 위해 여러 가지 설계 진단을 살펴봤습니다. 좋아요. 이게 합리적인 설계처럼 보였어요? 예를 들어, 여기 상관관계에 대한 색상 지도를 보실 수 있습니다. 주효과와 2인자 상호작용에 대해서는 꽤 괜찮아 보였습니다. 마찬가지로, 검정력 분석을 보니, 기본 설정처럼 신호 대 잡음비가 2인 것을 알 수 있었습니다. 큰 효과가 몇 개만 있다면 실험에서 그 효과를 감지할 수 있을 만큼 합리적인 검정력이 있을 것 같았습니다. 좋아요, 그래서 우리는 어떻게 했냐고요? 부엌으로 갔던 것 같습니다. 젤리곰을 다 먹는 데 몇 시간 정도 걸렸던 것 같습니다.
하지만 아시다시피 Rory는 실제로 테이블을 만들고, JMP 데이터 테이블을 만들고, 거기에 직접 응답을 입력할 수 있었습니다. 그리고 Easy DOE를 본 적이 있다면, Easy DOE의 장점은 하나의 워크플로 내에서 단계별로 안내한다는 것입니다. 그런데 여기서 문제가 무엇이었을까요? Custom Design에서 응답을 입력하는 데이터 테이블을 만들었지만, 실제로는 무엇을 해야 할지 알 수 없었습니다. 그 이유 중 하나는 Rory가 Easy DOE 외부에서 분석을 많이 해본 적이 없고, 실제로는 어떤 분석도 해본 적이 없다는 것입니다. 그래서 테이블 스크립트 같은 아이디어조차 그녀에게는 낯설었습니다. 하지만 우리는 시작했다고 생각합니다. 그래서 Graph Builder에서 무엇을 봤는지 기억하시나요?
그래서 우리는 다양한 반응을 살펴보았습니다.
여러 요인에 대한 반응이 달랐습니다.그래서 그녀는 그래프 빌더에 조각을 끌어다 놓을 수 있다는 아이디어를 실제로 빠르게 이해할 수 있었다고 생각합니다.하지만 결국 저는 그녀에게 디자인과 Easy DOE를 로드하도록 했습니다.Easy DOE에서 첫 번째 화면에서 보지 못했다면 약간 숨겨져 있지만 요인 표에는 실제로 디자인을 로드하는 옵션이 있습니다.따라서 Rory가 더 쉽게 할 수 있도록 디자인을 Easy DOE에 다시 로드할 수 있었고, 그녀는 거기에서 분석을 사용할 수 있었습니다.이제 우리는 즐거움만 살펴보았습니다.그래서 이것은 그 질문으로 돌아갑니다.우리는 쫄깃함과 씹힘성에 대해 무엇을 발견했습니까?그것들 사이에 관계가 있었습니까?
네. 쫄깃함과 물렁함이 모두 높은 수치라면, 둘 다 테스트해 볼 이유가 없겠죠.
네. 여기 Graph Builder 파일이 있는 것 같습니다. 그래서 결국 우리가 찾은 건 뭐였을까요? 물렁물렁하거나 쫄깃한 느낌처럼, 중요한 건 뭐였을까요?
중요한 건 온도였어요. 그래서 쫄깃함과 쫄깃함에 가장 큰 영향을 미치는 요소는 온도뿐이었어요.
네. 결국, 우리는 하기로 했습니다. 로리는 Easy DOE를 했습니다. 왼쪽 하단에 표시된 건 Easy DOE에서 가장 좋은 모델로 선정된 즐거움 척도였을 겁니다. 그런데 아빠가 물으신 건, 거기서 우리가 뭘 발견했는지 아세요? 바로 시간이었습니다. 시간과 온도, 그리고 정말 큰 상호작용도 있었죠. 그 큰 상호작용은 무엇이었나요?
브랜드와 온도.
맞아요. 그래서 거기서 브랜드를 선택한 거였죠. 사실 아빠도 당신에게 물어보셨어요. 더 흥미로운 분석이 될 것 같아서요. 그래서 다른 모델링 플랫폼들을 살펴봤을 때, 제 분석에서 색상을 추가하고 싶었어요. 모델에 색상을 어떻게 추가했는지 기억나세요?
그러니 색상 하나를 탭하기만 하면 모델에 추가됩니다.
네. 여기서 볼 수 있듯이, 아시다시피 한 가지 색상만 다시 추가해도 유의미한 차이가 없었습니다. 사실 로리에게 그렇게 해달라고 부탁했죠. 최종 모델에서 PValue가 0.08인 것을 볼 수 있죠. 하지만 색상을 추가하면 더 흥미로울 것 같습니다. 네, 궁극적으로 가장 중요한 것은 무엇이었을까요? 가장 중요한 것은 온도, 시간, 그리고 브랜드와 온도입니다. 그래서 제 생각에는 어떻게 보였을까요? 색상과 색상 공기 노출이 맞을까요? 로리에게 물어본 것 중 하나는 "친구에게 설명할 때, 그게 뭐지? 브랜드와 온도의 상호작용이 있다는 건 무슨 뜻이야?"였습니다.
브랜딩 온도 상호작용은 한 브랜드라면 브랜드에 따라 온도가 달라진다는 것을 의미합니다. 따라서 하리보의 경우 온도 변화가 크지 않았습니다. 반면 알바니즈의 경우 냉동실 온도가 큰 차이를 보였고, 냉동실 온도가 훨씬 더 좋았습니다.
네. 여기서도 볼 수 있듯이, Rory는 다양한 색상을 선호하는 것 같습니다. 그래서 그 부분을 추가하는 게 흥미로웠어요. 마지막으로, Custom DOE는 실제로 훨씬 쉬운 전환이었습니다. 이 실험을 처음 계획했을 때, Easy DOE에서 Custom Design으로 전환하는 과정이 훨씬 더 많을 거라고 생각했습니다. 디자인 측면보다는 분석에 더 중점을 두었습니다. 하지만 제 생각에는 앞으로 Easy DOE에서 할 수 없는 제약 조건이나 다른 유형의 변수를 추가해야 할 것 같습니다. 분석이 정말 어려웠지만, 이제는 Easy DOE에 디자인을 로드할 수 있는 옵션이 생겼으니 다행입니다. 그리고 마지막으로 이 실험을 한 후에 무엇을 발견하셨나요? 젤리곰은 어떻게 먹나요?
[듣기 불가 00:11:24]
네. 이 실험을 한 이후로, 그녀는 실제로 냉동 젤리를 가장 좋아하게 되었어요. 시간 내주셔서 감사합니다. 오늘 함께해 주셔서 감사합니다. 그리고 다음 실험에서 어떤 걸 보고 싶으신지 댓글로 남겨주세요. 여러분도 생각해둔 아이디어가 있을 것 같은데, 다른 분들이 어떻게 생각하시는지 궁금하네요.
