우리는 놀라운 아버지와 딸 듀오인 Chris Nachtsheim 박사와 Abby Nachtsheim 박사를 첫 번째 작품에 출연하게 되어 기뻤습니다. 통계적으로 말하면 2023년. 우리는 Chris와 함께 지난 이벤트를 이렇게 즐겼습니다. 전체회의 과거 Discovery Summit Americas에서(다시 볼만한 가치가 있습니다!) 그리고 우리는 Abby의 매력적인 프로젝트에 대해 더 많이 알고 싶어 매우 흥미를 느꼈습니다.
Chris는 미네소타 대학교 칼슨 경영대학원 공급망 및 운영 부서의 운영 관리 부문 Frank A. Donaldson 의장입니다. 그의 연구 관심 분야는 산업 실험의 최적 설계, 예측 모델링 및 품질 관리에 걸쳐 있습니다. 그는 여러 권의 책을 공동 집필했으며 통계 문헌에 수많은 기사를 게재했습니다.그는 미국통계협회 회원이며 다음과 같은 주요 상을 수상했습니다.
- American Society for Quality Brumbaugh Award를 4회 수상했습니다.
- Lloyd S. Nelson Award를 2회 수상했습니다.
- Technometrics 분야 최고의 설명 논문으로 Jack Youden 상을 3회 수상했습니다.
Abby는 Los Alamos National Lab 통계학 그룹의 통계학자입니다. 그녀는 물리학자, 화학자, 생물학자, 컴퓨터 과학자, 엔지니어와 정기적으로 협력하여 복잡한 학제간 문제에 대한 솔루션을 개발합니다. 그녀의 연구 관심 분야는 실험 설계 및 분석에 집중되어 있으며 Los Alamos National Lab의 광범위한 응용 분야에 DOE 전문 지식을 제공합니다. 그녀는 또한 국가 통계 커뮤니티의 활발한 회원이며 현재 미국 통계 협회의 쌍둥이 도시 지부 회장을 맡고 있습니다.
통계적으로 말하기 총회는 다음과 같이 채팅에서 Zoom의 많은 반응과 댓글에서 알 수 있듯이 매우 흥미로웠습니다.
- “저는 DOE를 *사랑*합니다! 이는 말 그대로 내 R&D 과학자들이 작업하는 효율성을 변화시켰습니다.”
- “Abby 작품의 협업이 정말 마음에 듭니다!!!”
- “계몽적인 프레젠테이션, 감사합니다!”
- "이거 엄청나 네."
- "가장 유익하고 대표적인 훈련 데이터 세트를 만드는 데 매우 도움이 될 수 있기 때문에 DOE가 데이터 과학에서 더 이상 사용되지 않는 것은 유감스러운 일입니다."
- “놀라운 토론에 감사드립니다.”
그들의 총회는 또한 많은 좋은 질문에 영감을 주었으며, 그 중 일부는 제한된 Q&A 시간 동안 답변되지 않았지만 Abby와 Chris는 이 블로그 게시물에서 시청자가 묻는 더 많은 훌륭한 질문에 답변하는 데 친절하게 동의했습니다.
실험 부서 또는 인과 모델링 부서가 있는 회사의 경우, 특히 실험이 실현 가능하지 않은 경우 어떤 다른 기술이 필요할 수 있습니까?
회귀 및 예측 모델링에 대해 잘 이해하고 있어야 하며 아마도 R 및/또는 Python으로 코딩할 수 있는 능력도 있어야 합니다. 피 아마도 일부 인과관계 모델링 기술에 익숙할 것입니다. 그리고 중요한 것은 관찰 연구와 실험 연구의 차이점을 잘 이해하는 것입니다.실험은 원인과 결과를 제공합니다.관찰 연구는 가설을 제시합니다.
화학 제제에 Plackett-Burman 설계를 사용하여 개별 구성 요소를 평가할 수 있습니까? 아니면 항상 혼합 설계를 사용해야 합니까? 저는 Minitab의 스크리너와 혼합물에 대한 DOE 보조 모델링 도구를 사용했지만 일반적으로 스크리너의 경우 3개 이상의 요인을 평가하고 모델링의 경우 약 3-4개 요인을 평가하므로 혼합물 설계를 사용하지 않았습니다.
예, 화학 제제에 Plackett-Burman 설계를 사용할 수 있습니다. 성분 백분율의 합이 100% 또는 다른 상수(예: 전체 혼합의 40%)와 같은 경우 1) 혼합물 실험을 사용하거나 2) 성분 중 하나를 제외하고 Plackett-Burman과 같은 보다 표준적인 디자인을 사용하십시오. 하나를 빼는 것을 여유 변수 접근 방식이라고 합니다. 물론 혼합물 설계는 성분 비율의 합이 고정된 상수가 아닌 경우에는 적용되지 않습니다.
하이퍼파라미터 튜닝을 위해 확률적 경사하강법 대신 DOE를 사용하는 것의 장점/단점은 무엇입니까? 이러한 방법을 신경망과 함께 사용할 수 있습니까(DoE가 먼저일까요?)? 고려해 볼 수 있을까요? 복잡한 경우에도 고려될 수 있습니까?
확률적 경사하강법(Stochastic Gradient Descent)은 고정된 하이퍼파라미터 세트에 대해 신경망의 매개변수(아마도 수백만 개)를 맞추는 데 종종 사용되는 중요한 최적화 기술입니다. 하지만 하이퍼파라미터 최적화에는 사용하지 않을 것입니다. 설계된 실험을 사용하는 것보다 비용이 많이 들기 때문입니다.
PCA/PLS는 어떻습니까? DOE의 "지원"을 받을 수 있습니까?
미네소타 대학의 Dennis Cook 교수와 바로 이 주제에 대한 토론을 통해 우리는 PLS(부분 최소 제곱법)가 DOE의 지원을 *받을 수 없는* 이론적 이유가 있다는 것을 알고 있습니다.가능할 수도 있지만, 우리는 DOE와 PCA 사이의 유용한 연관성을 알지 못합니다.
빅 데이터를 위해 현대 DoE에서 일하는 통계학자가 영향을 미칠 수 있는 가장 큰 기회는 어디라고 보시나요? 저는 A/B 테스트가 많은 잠재력을 지닌 새로운 영역으로 떠오르고 있다는 것을 알고 있습니다(Nicholas Larsen, Jonathan Stallrich, Srijan Sengupta, Alex Deng, Ron Kohavi 및 Nathaniel Stevens 참조). 온라인 제어 실험의 통계적 과제: A/B 테스트 방법론 검토 .”
DOE의 통계학자는 주제를 효율적으로 사용하고 요인 간의 상호 작용을 추정할 수 있는 다중 요인 실험의 구현을 통해 즉 OFAAT 테스트를 넘어서 A/B 테스트에 큰 영향을 미칠 수 있습니다.그러나 우리는 AI 모델의 개발 및 테스트에 참여함으로써 가장 큰 영향을 미칠 것으로 예상합니다.
성공적인 기업은 실험을 사용하고 있습니까?
전적으로.제품에 따라 그 정도는 다를 수 있지만, 최고의 기업에서는 실험이 널리 사용됩니다.이것에 관한 많은 문헌이 있습니다.시작할 곳 중 하나는 최근입니다. 하버드 비즈니스 리뷰 기사 : SCHÖPPNER, F.; 톰케, S.; LOVEMAN, GW 과학자처럼 행동하세요.하버드 비즈니스 리뷰 , [sl] , V. 100, 엔. 3, p. 120~129, 2022.
내가 듣는 토론에서는 ML이 DOE보다 '선호'되는 것 같습니다. ML이 아닌 DOE를 기반으로 한 모델링의 이점과 DOE를 사용하여 ML 분석을 위한 데이터를 수집하는 접근 방식을 어떻게 설명하시겠습니까?
우리는 ML과 DOE를 경쟁적인 방법으로 보지 않습니다.DOE는 다양한 제어 가능한 요인이 관심 반응에 어떻게 영향을 미치는지 알아보기 위해 데이터를 수집하는 효율적인 방법입니다.ML은 (일반적으로) 대량의 기존 데이터에 매우 복잡한 모델을 맞추는 방법입니다.데이터는 관찰 데이터일 수도 있고 설계된 실험의 결과일 수도 있습니다.
데이터 분석 및 데이터 과학 프로그램을 위한 DOE 과정에는 어떤 주제가 포함되어야 합니까? 예를 들어, 일반적으로 표준 DOE 과정에서는 다루지 않는 A/B 테스트와 같은 주제에 집중해야 합니까?
A/B 테스트 외에도 DOE 주제에는 요인 실험의 설계 및 분석, 차단, 공분산 분석 및 선별 설계가 포함되어야 합니다.주효과와 상호작용의 차이를 잘 이해하는 것이 중요합니다.
DOE의 품질을 어떻게 평가합니까?
실험 전인가요, 후인가요?실험 전에 우리가 보고 싶은 효과를 탐지하기 위한 검정력, 요소 간 직교성 정도, 예상되는 정밀도, 견고성, 오류에 대한 자유도, D-를 포함하여 설계의 우수성에 대한 많은 표준 통계 측정이 있습니다. 효율성 등 비통계적: 우리가 통제했나요? 모두 반응에 영향을 미칠 수 있는 요인은 무엇입니까?무작위로 배정했나요? 반응 측정은 신뢰할 수 있나요?실험 후: 통계 모델이 안정적으로 예측합니까?실험이 재현 가능한가?
최대 엔트로피 설계가 기계론적/결정론적 모델의 매개변수를 추정하는 데 유용합니까?
우리가 논의한 최대 엔트로피 설계는 해당 응용 프로그램에는 유용하지 않습니다.우리의 설계는 기계론적/결정론적일 수 있는 두 개 이상의 모델을 구별하도록 맞춤화되었습니다.
DOE와 관련된 요소를 찾는 방법은 무엇입니까? 내 경험에 따르면 DOE를 실행하다가 모호하지만 중요한 요소를 놓쳤다는 사실을 깨닫고 설계를 다시 실행해야 하는 경우가 많습니다.
그게 큰 문제인데, 우리도 그런 경험이 있어요.실험 설계자로서 우리는 사전에 중요한 요소를 식별하기 위해 해당 분야 전문가에게 의존해야 합니다.그러니 가능하다면 먼저 정말 똑똑한 사람들과 함께 일하세요.불확실성이 많은 경우에는 많은 수의 잠재적인 요인을 저렴하게 선별하고 관련 요인으로 집합을 줄일 수 있습니다.그런 다음 거기에서 가십시오.
DOE를 데이터 과학 프로그램 및 커리큘럼에 통합하는 방법에 대한 구체적인 제안이 있습니까?
A/B 및 A/B/n 테스트에 중점을 두고 요인 실험, 차단, 공분산 분석 및 선별 설계의 개념도 소개합니다.주효과와 상호작용의 차이를 잘 이해하는 것이 중요합니다.
이미 대규모 관측 데이터 세트가 있는 경우에도 DOE가 필요합니까?
관찰 연구는 원인과 결과를 입증할 수 없으며, 대부분의 관찰 데이터 세트는 복제가 불가능한 매우 잘못 설계된 연구에 해당합니다.원인과 결과 관계를 확실하게 식별하려면 DOE가 필요합니다.관찰 연구는 후속 실험의 잠재적인 요인을 식별하는 데 유용할 수 있습니다.
라이브 스트림 중에 우리가 물었지만 이에 대해 준비된 대답이 없었던 한 가지 질문은 "병원 운영 개선을 위해 DOE와 협력하거나 적극적으로 관심을 갖고 있는 참가자가 있습니까?"였습니다. 시작하는 데 도움이 되는 리소스는 다음과 같습니다. 서비스 산업의 실험 설계: 비판적 문헌 검토 및 향후 연구 방향 . 이 블로그 게시물을 읽는 다른 사람들이 병원 운영에 DOE를 적용하는 더 많은 리소스를 알고 있다면 의견을 공유해 주시기 바랍니다. 감사해요!
시간을 내어 통계 전문 지식을 더 많이 공유해 주신 Chris와 Abby에게 깊은 감사를 드립니다.주문형 시청을 바랍니다. 삽화 우리 모두에게 도움이 되는 설계된 실험의 진정으로 고무적인 응용 프로그램을 보려면 통계적으로 말하기를 참조하세요.
