JMP는 이번 달 초 실험 계획(DOE)에 관해 통계적으로 말하기 세미나를 개최했습니다. 진행자 Malcolm Moore와 흥미로운 토론에 참여해주신 Moderna의 Julia O'Neill, Roche의 Andrea Geistanger, CPI의 Rachel Findlay에게 매우 특별한 감사를 드립니다. 참석자들은 또한 두 가지 기조 연설을 들었습니다. 첫 번째는 The Trinity Challenge의 회장인 Dame Sally Davies가 진행한 것으로, 그는 현재 데이터 환경에서 과학자들이 직면한 과제와 분석을 수용할 때 무엇을 달성할 수 있는지 설명했습니다. O'Neill 박사는 두 번째 기조연설을 통해 Moderna가 DOE와 분석을 활용하여 실제 문제, 즉 새로운 코로나바이러스인 SARS-CoV-2에 대한 백신을 개발하는 방법을 성공적으로 해결한 방법을 설명했습니다.
이 행사는 패널리스트들이 받은 질문의 수로 판단할 때 많은 관심을 끌었습니다. 그들은 많은 문제에 대해 훌륭하게 답변했지만, 허용된 시간 내에 모든 답변을 하는 것은 불가능했습니다. 따라서 우리는 이 게시물에서 이에 대한 답변을 결정했습니다.
Q: 표본 크기와 신뢰할 수 있는 혁신의 가능성을 연관지어 말씀해 주시겠습니까?
A: 우리는 그보다 더 잘할 수 있습니다. 새로운 샘플 크기 탐색기(Sample Size Explorers)가 소개되었습니다. JMP 16 그리고 JMP 프로 16 는 에 설명된 대로 실험의 성공을 보장하는 최선의 방법을 결정하는 데 관련된 검정력, 표본 크기 및 기타 주요 측정항목 간의 관계를 탐색하도록 장려하기 위해 만들어졌습니다. 이 블로그 게시물 작성자: 칼렙 킹( @캘킹 ). 개발 프로젝트 간의 리소스 또는 예산 할당, 일정 계획 또는 단순히 샘플 크기 계산 이해에 관심이 있는 사람이라면 누구나 이 새로운 기능을 확인하는 것이 좋습니다.
질문: DOE의 가장 어려운 부분인 요인 선택 및 범위 정의를 처리하기 위한 리소스에 대한 권장 사항이 있습니까?
A: 이것은 많은 관심을 끄는 주제이며 그럴 만한 이유가 있습니다. 반응에 영향을 미치는 요인과 효과를 감지할 수 있을 만큼 큰 범위를 선택하는 것은 성공적인 DOE를 계획하고 실행하는 데 있어 중요한 첫 번째 단계입니다. 이 시점에서 성공을 정의하는 것도 도움이 될 것입니다. 비즈니스 요구 사항을 충족시키기 위해 프로세스에 대한 충분한 이해를 포함하는 모델이 생성되면 DOE는 성공적인 것입니다. 이것 우리 결과물의 품질 수준은 어떻습니까?” 예를 들어.
DOE는 중요한 요인을 식별하고, 모델에서 포착하지 못한 변동을 정량화하고, 후속 실험(증강 DOE)을 향한 길을 제시하는 경우에도 성공합니다. 하나의 중요한 요인을 식별하지 못하는 실험은 실패로 간주됩니다. 하지만 잘못된 요인이 선택되었거나 범위가 충분히 넓게 설정되지 않았다는 학습이 이루어지더라도 말입니다. DOE에 관한 좋은 자료에는 요인과 범위를 선택하는 방법에 대한 논의가 포함되어 있지만, 이는 "반응에 영향을 미칠 가능성이 있는 요인과 존재하는 경우 효과를 확인할 수 있을 만큼 넓은 범위를 선택하는 것"에 지나지 않습니다. 달리기가 실패할 정도로 넓지는 않습니다.” 이는 요인과 범위의 선택이 전적으로 해당 상황의 세부 사항에 따라 달라지기 때문입니다. 따라서 이를 결정하는 가장 좋은 사람은 DOE에 대해 잘 이해하고 있지만 응용 프로그램에 대한 이해가 부족한 통계학자보다는 프로세스 전문가입니다. 이 모든 것을 말했으면 다음을 살펴보십시오. JMP 사용자 커뮤니티에서의 이 토론 , 여기에는 해당 문제에 대한 많은 유용한 통찰력이 포함되어 있습니다.
Q: "과거" 데이터나 "외부 소스"에서 들어오는 데이터의 신뢰성을 어떻게 확보합니까? 누군가는 "직접 수집하지 않은 데이터는 절대 분석하지 말라"고 말했습니다. 과거 데이터의 신뢰성, 의미, 사용된 측정 시스템이 프로세스 변동을 최소한으로 평가할 수 있는지 등을 확인하기 위해 이 문제를 어떻게 극복합니까?
A: 당신이 직접 수집하지 않은 데이터에 대해 누가 그런 말을 했는지는 모르겠지만, 나는 그 말에 동의하지 않습니다. 기조 연설에서 Dame Sally Davies는 데이터가 생성 및 수집되는 다양한 방법과 "서로 정보를 제공하지 않는" 다양한 데이터 세트를 사용하여 "사일로에서 작업하는" 분석가의 위험에 대해 논의했습니다. 그녀의 말에 따르면, 현재는 "과학자와 데이터 사이의 참여가 그 어느 때보다 더 강력하며" 우리가 직접 수집한 데이터로 분석을 제한하면 진행이 심각하게 방해받을 것입니다.
물론, 우리는 데이터로부터 생성된 모델에 회의적인 것처럼 항상 데이터에 회의적이어야 합니다. 그러나 어떤 것을 회의적으로 다루는 것은 그것을 완전히 무시하는 것과 같지 않습니다. 완벽한 것은 없습니다. 조지 박스(George Box)가 그의 유명한 격언에서 간결하게 표현했듯이 이는 데이터와 모델에 있어서 확실히 사실입니다. 무언가가 완벽하지 않거나 신뢰할 수 없다고 해서 아무것도 배울 수 없다는 뜻은 아닙니다. 우리는 데이터의 출처나 정확성에 대해 질문하는 것이 옳습니다. 분석을 통해 도출된 모든 결론은 당사의 프로세스 지식 및 해당 분야 전문 지식과 함께 고려되어야 하며 절대로 맹목적으로 받아들여져서는 안 됩니다.
질문: 새로운 DOE 사용자가 알아야 할 일반적인 실수에 대해 자세히 설명해 주시겠습니까?
A: 사람들이 저지르는 실수 중 하나는 애초에 DOE를 수행하는 이유보다 설계에 지나치게 집중하는 것입니다. 누군가가 먼저 디자인을 선택한 다음 해당 디자인에 맞게 실험적 요구 사항을 타협하는 일이 너무 자주 발생합니다. 그만큼 주문 설계 플랫폼 JMP 어떤 상황에도 맞는 최적의 디자인을 만들 수 있습니다. 또한 CPI의 Rachel Findlay는 이벤트 중에 "배운 것과 실수를 동료들과 공유하라"는 훌륭한 조언을 했습니다. 우리 조직 내에서 DOE를 더 많이 홍보할수록 조직은 더 많은 혜택을 받게 됩니다.
Q: 교육청을 선택할 때 가장 염두에 두어야 할 요소는 무엇입니까?
A: 올바른 DOE를 선택하는 데는 우리가 답변하려는 비즈니스 질문부터 시작하여 많은 중요한 요소가 있습니다. 애초에 DOE를 실행하여 우리가 달성하려는 목표는 정확히 무엇입니까? 결함을 최소화하고 싶습니까, 아니면 수율을 높이고 싶습니까? 어쩌면 우리는 새로운 공급업체의 자재를 우리 프로세스에 통합하고, 생산 속도를 높이거나 비용을 줄이는 방법을 알아내고 싶을 수도 있습니다. DOE는 점진적 학습의 반복 프로세스인 경우가 많으며 추가 실험 여부를 결정할 때 목표 목표를 이해하는 것이 중요합니다. 또한 얼마나 많은 변수가 프로세스는 물론 일정과 예산에 영향을 미칠 수 있는지도 물어봐야 합니다. 이 모든 것이 명확해지면 디자인 선택 프로세스를 시작할 수 있습니다.
예를 들어, 소수의 변수가 중요하다는 것을 이미 알고 있고 출력을 최대화하기 위한 최상의 설정 조합을 찾고 있는 경우 다음을 선택할 수 있습니다. 반응표면 실험 . 또는 많은 요인과 빠듯한 예산으로 인해 확정 선별 설계 . 상황, 제약, 한계, 해결하려는 사항에 대한 잘 정의된 답변은 요구 사항을 충족하는 디자인 또는 일련의 디자인을 향한 길을 가리킬 것입니다. 또한, 디자인 평가 그리고 디자인 비교 플랫폼은 가능한 최선의 결정을 내리는 데 도움이 되는 유용한 도구입니다.
질문: DOE는 올바르게 사용된다면 매우 강력한 기술이 될 수 있습니다… 그러나 나는 예측이 아닌 지나치게 과적합된 모델의 예를 너무 많이 보았으며 이는 종종 초보 통계학자/생물학자에게는 명확하지 않습니다. 초보자가 사용 중인 도구와 결과가 실제로 무엇을 의미하는지 이해하도록 어떻게 더 잘 도울 수 있습니까?
A: 새로운 실험자가 실험 계획을 매우 빠르게 익히는 데 도움이 되는 리소스가 많이 있습니다. 또한 모델에서 중요하지 않은 항을 제거하고 검증을 사용하여 과적합을 방지하는 다양한 방법도 다룹니다. 궁극적으로 모델의 가장 좋은 증거는 독립적인 데이터를 사용한 검증입니다. 제안된 예측이 검증 실행을 통해 지원되는 모델에서 결정된 솔루션으로 제안됩니까? 시작하기 좋은 곳은 산업문제해결의 통계적 사고 DOE에 대한 모듈이 포함된 온라인 과정입니다. 또한 여러 가지 교과서도 준비되어 있습니다 여기 . JMP와 DOE를 모두 처음 접하는 사람들은 다음 단계를 거쳐야 합니다. 신규 사용자 환영 키트 그리고 실험 설계 소개 키트 . 그만큼 JMP 익히기 웹 세미나에는 DOE도 포함됩니다. 마지막으로, JMP 사용자 커뮤니티 특정 질문이 있는 사람은 누구나 토론 주제로 게시할 수 있는 강력한 리소스입니다. 질문은 일반적으로 몇 시간 내에 30,000명의 커뮤니티 회원 중 한 명이 답변합니다.
Q: 인공지능이 어떻게 DOE를 보완할 수 있나요?
A: 인공지능(AI)에 관한 주제는 이전 글에서 다루었습니다. 통계적으로 말하는 이벤트 . 매우 유망한 분야라고 말하는 것은 정당하지 않습니다. 이미 많은 약속을 이행했습니다. 그러나 AI로 인해 발생하는 가장 큰 위험은 모든 문제를 해결하기 위해 AI에 지나치게 의존하거나 AI가 제시하는 솔루션을 맹목적으로 받아들이는 것과 관련이 있습니다. “상관관계가 인과관계를 의미하지 않는다”는 속담은 AI의 단점을 부각시킨다. 이 둘을 분리하고 프로세스를 이해하는 핵심에 도달하려면 DOE가 필요합니다. 물론, DOE는 작업 프로세스를 자율적으로 추진할 수 없습니다. AI와 DOE가 서로를 보완할 수 있는 기회가 있다고 말하고 싶습니다.
DOE가 어떻게 혁신을 가속화할 수 있는지 자세히 알아보려면 11월에 열리는 무료 이벤트에 등록하세요.
