JMP에서 우리는 Dennis Lendrem, 그의 책, LinkedIn 게시물 및 뉴스레터의 팬입니다.실험실 가운을 입은 원숭이들더 나은 과학을 옹호하려는 그의 열정, 그리고 유쾌한 영국식 재치까지. 이 통계적으로 말하는 에피소드 에서 우리는 시간보다 더 많은 질문을 받았고, 렌드렘 씨가 이 블로그 게시물에 친절하게 답변을 남겨주셨습니다. 더 나은 과학과 더 빠른 문제 해결이 필요하다는 그의 메시지를 강조하게 되어 기쁩니다.
과학자들과 협력하여 DOE가 실험을 보다 효율적으로 수행할 수 있는 방법을 보여줌으로써 효율적이고 효과적이라는 점을 고려하면, 그들 중 누구라도 DOE의 힘에 너무나 감명받아서 이에 대해 배우고 스스로 활용하고자 하는 동기를 부여받은 사람이 있을까요?
몇몇은요. 하지만 너무 기대하지 마세요. 대부분의 사람들에게는 마치 원시인에게 불을 보여주는 것과 같습니다. 처음에는 경외감이 들지만, 다음 날은 나뭇가지를 서로 비비고 있는 것과 같습니다. 왜냐고요? 습관도 아니고, 본능도 아니고, 훈련받은 방식도 아니기 때문입니다. 실제로 개종하는 사람들은 대개 뭔가 잘못되었다고 이미 예감했던 사람들입니다. 수년간 찾아 헤맸지만 아무런 성과도 없었던 사람들입니다.
우리는 엔지니어링, 소프트웨어 테스팅 및 기타 분야에서 저밀도 채집을 보고 있습니다. 고등학교에서 스마트한 실험을 가르치고 마침내 한 번에 한 가지 요인만 다루는 접근 방식을 대체해야 할까요?
네. 사실, 30년 전에 그렇게 하지 않은 것에 대해 사과해야 합니다.
한 번에 한 가지 요인만 고집하는 것은 과학의 정크푸드입니다. 간단하고 만족스럽지만 완전히 오해의 소지가 있습니다. 학생들이 대학에 입학할 때쯤이면 이미 모든 것이 몸에 배어 있습니다. 의문조차 품지 않습니다. 우리는 세상이 복잡하다는 사실과 단일 변수 사고는 우리가 편안함을 유지하기 위해 스스로에게 하는 거짓말이라는 사실을 인정해야 합니다. 이는 통계가 아니라 호기심, 체계적인 발견, 그리고 체계적인 탐구에 관한 것입니다. 이러한 사고방식은 어린 시절부터 심어줄 가치가 있습니다. (아래 관련 보충 질문도 참조하세요.)
친절한 학습 공간과 친절하지 않은 학습 공간에 대한 당신의 의견에 대해, 여러 영역에서 복잡성이 증가함에 따라 조합 테스트와 배열 설계를 다룰 기회가 더 많아졌다고 생각하십니까? 예를 들어, 소프트웨어는 점점 더 보편화되고 있습니다. 자율주행차를 생각해 보세요..
물론입니다. 학습 공간은 더 이상 친절하지 않습니다. 고차원에, 희소하고, 함정으로 가득 차 있죠. 직관이나 단일 변수 조작에 의존할 수 없습니다. 그렇게 되면 치명적인 상호작용을 놓치게 됩니다. 조합 테스트와 배열 커버링은 더 이상 선택 사항이 아니라 생존 도구입니다. 소프트웨어 테스트가 그 사실을 알아냈습니다. 공학은 따라잡고 있지만, 과학은 여전히 부정하고 있습니다. 그리고 네, 자율주행차는 수백만 가지의 입력 조합이 가능한 전형적인 예입니다. 테스트를 직접 설계하거나, 보행자를 통해 현실 세계에 맡겨야 합니다.
2024년 54억 달러 규모의 정전/사고는 단순한 버그가 아니라, 고장이었습니다. 입력 확인이 한 번 누락되자 쾅! 항공편이 취소되고 병원들이 오프라인이 되었습니다. 이것이 바로 조합 테스트가 사치가 아니라 위험인 이유입니다.‐완화책. Crowdstrike는 델타 항공으로부터 5억 달러 규모의 소송을 당하고 있으며, 앞으로 더 많은 소송이 제기될 예정입니다.
한 번에 한 변수씩요? 차단과 로봇, 그리고 부분 요인 DOE와 교란 요인은 어떻게 되나요?
한 번에 한 가지 변수에 대한 실험을 금지하는 법이 필요합니다.
로봇공학에서도 장비가 고장 나고 문제가 발생할 수 있으므로 차단은 매우 중요합니다. 머피의 법칙을 참조하세요.정장을 입은 고릴라.
분수 팩토리얼은 정보 손실 측면에서 적당한 희생을 감수하면서 리소스를 크게 줄입니다.
분수를 차단하고 선택하는 것은 혼동을 방지하는 데 도움이 됩니다.
저는 세 가지 다른 산업 분야에서 팀을 일정한 경계와 목표 기한에 맞춰 조정하는 제품 개발을 경험했습니다. 하지만 집단적 사고는 결국 설계된 실험을 효과적으로 활용하는 데 방해가 됩니다. 그 이유는 (설계 없이 과학자가 조건을 결정하는) 신속한 데이터 수집 방식이 자기 실현적 예언을 가능하게 했고, 결국 유일한 접근법이 되었기 때문입니다. 저는 내부적으로든 외부적으로든 훌륭한 통계 과학 지원을 받았지만, 특히 제품 개발 분야에서 과학적 사고에 더 큰 영향을 미칠 수 있는 다른 아이디어들을 듣고 싶습니다.
R&D는 망가졌고, 잘못된 실험은 만연합니다. 당신은 혼자가 아니라는 것을 명심하세요. 믿음을 잃지 마세요. 새로운 물결의 일원이 되세요. 이러한 행사를 통해 더 나은 해결책을 찾을 수 있는 사람들을 찾아보세요. 아래를 참조하세요.
무작위 실험과 과학적 조사에 대한 데이터 세트를 온라인(JMP Live)에서 볼 수 있나요? 저는 그것을 제 그룹에서 예시로 사용하고 싶습니다(물론 출처를 명시하겠습니다!).
아직은 아닙니다. 세 번째 책의 부록으로 출판될 예정입니다.실험실 가운을 입은 원숭이들삼부작,원숭이와 아노락11월 1일에 출시될 예정입니다. 하지만 전체 데이터 세트의 더욱 완전하고 최신 사본이 필요하면 뉴캐슬 대학교의 새로운 데이터를 많이 보유하고 있는 Harrold Fellerman에게 문의하세요.
DOE 방식에 대한 오해 중 하나는 비용이 더 많이 들거나 더 많은 "조건"이 필요하다는 것입니다 (제가 여러 번 들었던 이야기입니다). 하지만 저는 정반대의 결과를 얻었습니다! 모든 가능한 조합을 실행하지 않고도 요인이 반응에 미치는 영향을 모델링하고 예측할 수 있기 때문에 가장 효율적인 방법입니다. 반복적인 방법입니다! 완전 요인 분석으로 시작하는 것이 아니라, 완전 요인 분석으로 끝냅니다!
첫째, 다차원 공간에서 무슨 일이 일어나고 있는지에 대한 정보의 양을 극대화하면서 소비되는 조건과 자원의 수를 최소화하려면, 설계된 접근 방식을 사용하는 것이 유일한 방법입니다. 바로 디자인이 하는 일입니다. 끝. 더 적은 자원으로 이를 달성하는 유일한 방법은 정보를 희생하는 것입니다. 이것으로 끝입니다.
둘째, 전통적인 과학적 채집 방식을 사용하는 현장에서 얼마나 많은 자원이 소모되는지 살펴보면, 더 나쁜 정보를 생성하기 위해 더 많은 자원이 소모됩니다. 게다가, 활용 가능한 자원은 더욱 예측 불가능합니다. 때로는 어느 정도 효과가 있는 것을 우연히 발견하여 빠르게 폐기할 수 있지만, 때로는 시간이 부족할 때까지 허둥지둥하다가 폐기하기도 합니다. 두 경우 모두 정보가 불완전하고 해결책이 순식간에 실패할 가능성이 높으며, 이는 R&D 관리에 악몽과 같은 상황입니다. 다음을 참조하세요.정장을 입은 고릴라.
직관을 믿고 싶어 하는 과학자에게 직접 이 메시지를 전달하는 것이 어렵다고 생각하시나요? 과학자에게 접근 방식을 바꿔야 한다고 말하는 것보다는 추상적으로 이야기하는 것이 더 쉬울 것 같습니다.
네, 모든 사람이 이해하는 것은 아닙니다. 우리는 이해하는 과학자들과 함께합니다. 그들은 스스로 주요 사용자로 선정합니다. 우리는 단지 첫 번째 연구를 진행하는 동안 불신을 잠시 접어두라고 요청할 뿐입니다. 그리고 우리는 그들과 협력하여 조직에 디자인을 판매할 성공적인 사례 연구를 생성합니다. 성공보다 더 잘 팔리는 것은 없습니다. 그리고 DOE는 놀라운 성공을 거두고 있습니다.
연구에서 다차원 DOE와 통계적 모범 사례를 적용하는 데 대한 객관적인 척도를 개발하기 위한 연구가 진행 중인가요? 다시 말해, 연구의 결과나 결론을 평가하는 것이 아니라, 연구의 객관성에서 다차원 DOE와 통계적 모범 사례를 사용했는지 여부를 평가하는 평가 시스템을 개발하는 것입니다.
정말 좋은 아이디어네요. 지금은 좀 불안정하네요.적도네트워크(예: STROBE, STARD, CONSORT)는 임상적 측면을 중시하면서도 적극적으로 참여해 왔습니다. 과거에는 공개되지 않은 활동들도 있었습니다. 예를 들어, GSK는 연구 과학자들이 내부적으로 사용할 수 있도록 단일 페이지 분량의 DOE Cheat Sheets 시리즈를 제작했습니다.
과학자 및 DOE에 정통한 사람들과의 협력 확대가 절실합니다. 어떻게 하면 이러한 협력을 더욱 장려할 수 있을까요?
사람들이 안전하게 학습할 수 있는 기회를 제공하는 친절한 학습 환경을 조성하는 것이 중요합니다. 웨비나, 워크숍, 컨퍼런스와 같은 행사는 같은 생각을 가진 사람들이 모여 실제 적용 분야에 대한 공통된 이해를 발전시키는 데 도움을 줍니다. 다른 방법으로는 공동 협업 소프트웨어 도구, 결과의 간편한 시각화 및 다차원적 관심 영역 매핑, 그리고 사용자들이 조직 내 사고방식의 변화를 주도하도록 돕는 것이 있습니다.
DOE를 사용해야 한다는 확신이 드네요. 하지만 어디서부터 시작해야 할지 모르겠어요! 조언 좀 해주세요.
간단하게 하세요. 이전에 해본 사람을 찾으세요. 처음 망치를 휘두를 때 못을 잡아달라고 하세요. 보수적으로 하세요. 비교적 안전한 디자인을 고수하세요. 그리고 무어의 명언을 기억하세요. "어떤 디자인이든 아예 디자인하지 않는 것보다는 낫다"
생명공학 산업에는 수많은 창업자와 학계의 수석 연구자들이 과학적 채집을 통해 자신의 경력과 명성을 쌓아 왔습니다. 그들은 여전히 권력을 쥐고 있습니다. 어떻게 돌파구를 찾을 수 있을까요? "바텀업(bottom-up)"으로는 불가능해 보입니다. 어떻게 생각하시나요?
모든 변화는 한 사람으로부터 시작됩니다. 그리고 모든 변화는 상향식으로 시작되지만, 그 한 사람이 위로 올라가 하향식으로 변화를 주도하기 전까지는 계속됩니다. 고구마를 먹기 전에 모래를 씻어내는 방법을 처음 도입했던 어린 일본원숭이 이모의 이야기를 기억하세요. 이 새로운 트렌드는 무리 전체를 휩쓸었지만, 그 행동을 가장 늦게 받아들인 것은 우두머리 수컷들이었습니다.
교육부의 과학 교육 부족 문제를 어떻게 해결할 수 있을지, 어떻게 하면 가장 좋은 해결책을 찾을 수 있을지 궁금합니다. 고등학교 교육과정에 슬쩍 끼워 넣는 건가요? 박사급 과목을 목표로 삼는 건가요? 학장들을 대상으로 하는 건가요? 아니면 아예 포기하고 업계에서 알아서 하도록 두는 건가요?
지금 당장 우리는 이 모든 것을 해야 합니다. 다음 세대 가 지금 당장 필요합니다. 그때까지: 고등학교? 네. 박사 과정의 강의? 네. 학장? 대부분에게는 너무 늦었지만, 연구와 혁신을 담당하는 한두 명의 학장은 도움이 될 수 있습니다. 산업? 네.
DOE를 개발 수명 주기 초기에, 즉 학교의 아이들에게 적용해야 합니다. 아이들은 그 사실을 알고 있습니다. 아직 아무도 한 번에 한 가지 변수만 사용해야 한다고 가르쳐주지 않았습니다. 아이들은 헬리콥터나 투석기 같은 DOE 교육 자료를 좋아합니다. 자기실현적 예언의 역설 같은 것을 보여주세요. 대부분의 과학자들이 한 번에 한 가지 변수만 사용한다고 말하면 아이들은 웃을 것입니다. 우리는 아이들에게 세상은 복잡하며, 단일 변수 사고는 어른들이 편안함을 느끼고 압도당하는 것을 피하기 위해 스스로에게 하는 거짓말이라는 것을 가르쳐야 합니다. 과학적 사고방식을 기르는 것이 중요합니다. 타고난 호기심을 활용하고, 체계적인 탐구 기회를 제공하며, 과학적 발견을 장려해야 합니다.
DOE가 산업 생명과학 분야로 진출하기 시작했다는 점에는 전적으로 동의하지만, 학계에서는 훨씬 드뭅니다. 로봇, 자동화, 소모품 등에 여전히 높은 비용 한계가 존재하기 때문일 수도 있습니다. 예산이 부족한 학계와 학생들은 어떻게 DOE에 더 효과적으로 접근할 수 있을까요?
로봇은 필요 없습니다. 접근 권한이 있다면 좋겠지만, 로봇은 필요 없습니다. 소모품을 최소화하고 싶다면 DOE는 비용을 최소화하면서 정보를 극대화합니다. 과학적 채집가들은 다차원적 어둠 속에서 헤매는 데 따르는 비용을 과소평가합니다.
과학자들이 빨리 결론을 내리고 싶어하는 예를 들어, 순차적인 실험이 어떻게 도움이 될 수 있지만, 동시에 약간 위험할 수도 있는지 말씀해 주시겠습니까?
순차적 실험은 각 실험 비용이 엄청나게 높을 때 유용할 수 있습니다. 하지만 병렬 실험이 이상적이며, 이것이 바로 로봇이 매우 유용할 수 있는 이유입니다. 하지만 과학에서 실험 순서가 길수록 시간 경과에 따른 변화로 인한 교란에 더 취약해지고, 분석적 표류 및 기타 추세가 발생할 가능성이 더 높아지며, 머피의 법칙이 발생할 가능성도 더 커집니다. ( 머피의 법칙 에 대한 장은 다음 장에서 참조)정장을 입은 고릴라.) 시퀀스를 짧게 유지하고, 차단 기능을 활용하고, 런 효과를 확인하세요.
데니스가 DOE에 관한 로널드 피셔의 책을 언급했나요?
더 이상 인쇄되지 않지만 역사적으로 흥미로운 내용입니다.
- Fisher RA 1935 실험 설계 출판사: Oliver & Boyd, 에든버러.
하지만 DOE에 대한 보다 현대적이고 관련성 있는 처리 방식은 다음과 같습니다.
JMP DOE의 결과가 다른 앱과 다를 것이라고 생각하시나요? 그렇다면 그 이유는 무엇인가요?
소프트웨어가 장애물이 되는 것을 허용하기보다는, 고객이 선택한 소프트웨어에서 DOE 교육을 진행했습니다. 그 결과, 시중에 나와 있는 대부분의 DOE 패키지(Modde, DesignExpert, SPSS, BMDP, 그리고 다양한 R 기반 DOE 패키지)를 접하게 되었습니다. JMP DOE는 다른 패키지와 유사한 계산 결과를 제공하지만, 사용 편의성, 데이터 시각화 및 해석 측면에서 사용자 경험이 뛰어납니다.
데니스 씨가 라이브 스트리밍에서 답변하지 못했던 질문에도 답변해 주셨을 뿐만 아니라, 답변한 질문에 대해서도 자세히 설명해 주셔서 감사합니다. 유익하고 재미있는 온디맨드 콘텐츠 "Statistically Speaking"도 꼭 시청해 보시기 바랍니다. 11월에 출간될 Apes in Lab Coats 3부작의 세 번째 책도 기대하고 있습니다.
