Peter van Bruggen, 통계학자, Unilever R&D
추상적인:
유니레버에서는 제품이 시장에 (재)출시되기 전에 수천 가지 실험을 수행합니다. 이러한 실험에 참여하는 전 세계의 수백 명의 연구자, 엔지니어 및 기술자는 다양한 분야에서 교육을 받았으며 통계 지식 수준이 다양합니다. DOE를 적용하는 것은 일반적인 관행이 아니며 통계학자가 항상 지원을 제공하는 것은 아닙니다. 비통계 전문가의 경우 DOE가 몇 가지 어려움을 안겨준다는 것은 사실입니다. 1) 엄청난 수의 DOE, 2) 필요한 정보를 채우기 위한 세부 정보 수준, 3) 통계 분석 결과를 이해하기 어려움. 잘못된 설계를 쉽게 선택하거나 결과를 잘못 해석할 수 있습니다. 이는 성공과 실패의 차이를 만듭니다. 유니레버는 모든 과학자를 통계 및 DOE에 대해 교육하는 대신 이러한 어려움을 극복하기 위한 도구를 배포했습니다. Plyos라는 이 도구는 사내에서 개발되었으며 JMP에서 실행됩니다. Plyos는 프로세스를 간소화하고 확장된 도움말을 통해 사용자가 DOE를 설정하는 프로세스를 안내합니다. Plyos는 또한 통계 분석 결과를 해석하기 위한 자세한 설명을 제공합니다. 이 프레젠테이션은 도구를 사용하는 방법과 그 장점 및 한계를 강조합니다.
발표자 텍스트:
제시된 슬라이드에 대한 별도의 PDF를 참조하세요.
1 서론
“생각은 문제를 다루는 데 가장 중요한 무기 중 하나”
만델라는 수년 전 인터뷰에서 27년간의 수감 생활을 언급하면서 이렇게 말했습니다.
하지만, 이러한 현명한 말은 실험 설계에도 유효할 수 있습니다. 그것은 DoE 관련 과정에 대한 우리의 슬로건의 일부가 되었습니다.
유니레버는 다양한 식품 및 가정 및 개인 관리 제품 분야에서 "빠르게 움직이는 소비재"를 생산하는 회사입니다. 전 세계의 많은 사이트를 알고 있습니다.
제품을 시장에 출시하는 과정은 단순화해서 세 단계로 나눌 수 있습니다. 연구 개발 단계에서는 제품을 형상화한 다음, 공장에서 생산하여 시장에 출시하기 전에 시험 공장에서 소규모로 테스트를 거칩니다.
공장에서 실험하는 데 드는 비용은 장비 가격이 비싸고, 배치 크기도 큰 경우가 많으며, 최종 제품을 시장에서 판매할 수 없기 때문에 비교적 높습니다.
R&D에서 우리는 실험 규모가 작기 때문에 훨씬 더 많은 실험을 할 수 있고, 그 결과 샘플당 비용이 훨씬 낮아집니다. 파일럿 플랜트는 문자 그대로 중간에 있습니다.
물론, DoE 기술에 대한 요구는 수행하는 실험의 수와 직접적으로 관련이 있습니다.
하지만 통계와 DoE에 대한 일반적인 지식과 통계적 지원 수준은 불행히도 R&D에 비해 파일럿 플랜트에서 훨씬 낮으며 공장에서는 더욱 낮습니다.
시범 공장에 DoE를 도입하면서 우리는 여러 가지 어려움에 직면했습니다.
이러한 과제는 전 세계에 40개가 넘는 파일럿 플랜트가 있고 500명이 넘는 동료가 참여한다는 사실에서 시작됩니다. 교육 수준이 상당히 다르고 그에 따라 통계에 대한 지식도 다릅니다. 통계 기법을 사용하는 것이 항상 일상적인 관행은 아닙니다.
파일럿 플랜트에서 일하는 사람들은 매우 높은 자격을 갖추고 자신의 전문 분야에서 인정을 받지만, DoE 도구를 시작할 때 그들은 많은 옵션과 선택에 직면하게 됩니다. 이러한 선택 중 일부는 "쉬운" 반면 다른 일부는 "매우 어려울" 수 있습니다. 그들이 직면하는 대부분의 문제는 설계 유형과 결과의 분석 및 해석과 관련이 있습니다. 이 분야에 대한 지식이 부족하면 DoE를 사용하지 못하게 될 수 있습니다.
지식 부족을 극복하는 방법에는 여러 가지가 있는데, 그중 가장 분명한 것이 여기에 나와 있습니다. 그러나 "훈련"과 "통계적 지원 증가"는 모두 관련된 사이트와 동료의 수가 많기 때문에 매우 비쌉니다. 그리고 우리 모두가 알다시피, 기술을 강제로 사용하더라도 효과가 없습니다.
2 파일럿 플랜트에 DoE 도입
유니레버는 DoE 신청 절차를 간소화하기 위해 이 경로를 선택했습니다. 이는 비용을 절감하는 옵션일 뿐만 아니라, 많은 동료와 사람들이 때때로 직장을 바꾸는 유니레버에게는 더 지속 가능한 옵션이 될 수도 있습니다.
이를 위해 우리는 실험 설계와 분석 과정을 단순화하기 위한 특정 요구 사항을 설정했습니다.
우리는 통계적 언어 사용을 최대한 피하려고 노력했습니다. 우리는 설계 유형과 분석 기술에 대한 용어를 건너뛰고 대신 시험 후에 수집해야 할 정보와 시험 전에 사용자가 가진 지식에 집중했습니다.
통계적 언어를 피하는 것이 항상 가능한 것은 아니므로(특히 데이터를 분석할 때) 프로세스의 모든 단계에서 도움을 제공하기 위해 이 방식이 선택되었습니다.
3 Plyos 도구
이렇게 단순화된 프로세스를 성공적으로 이루려면 필연적으로 간단하고 유용하며 사용하기 쉬운 소프트웨어 도구가 필요합니다.
우리는 그런 도구를 개발했습니다. 이 도구는 "Plyos"라고 불리며 물론 전 세계 유니레버에서 사용할 수 있습니다.
이 도구는 JMP에서 실행되고 원하는 정보만 샘플링합니다. 응답과 요인은 무엇입니까? 그리고 엄격히 필요할 때 추가 정보만 샘플링합니다. 예를 들어, 상호 작용을 설계에 포함해야 하는지 여부에 대한 질문은 상호 작용을 설계에 포함할 수 있는 경우에만 제기됩니다.
모든 단계가 설명되고 가능한 결정이 사용자에게 전달됩니다. 입력을 확인하고 Unilever 지식에 따라 개선 사항을 제안합니다.
마지막으로 이 도구는 상황에 따라 무작위로 또는 차단되어 제시되는 효과적인 설계를 제공합니다.
또한 이 도구는 응답 유형과 요인 수에 따라 최소한의 통계적 기술을 사용하여 응답을 분석하고 각 기술을 개별적으로 또는 결합하여 해석해야 하는 방법을 설명합니다.
4 Plyos 프로그램 흐름
주어진 예를 통해 몇 가지 스크린샷을 제외하고 프로그램의 흐름에 대한 대략적인 아이디어를 얻을 수 있습니다. 몇 가지 하이라이트만 제시됩니다.
시작 시 Plyos는 데이터 저장을 위한 기본 폴더를 변경하는 옵션을 제공합니다. 도움말을 읽거나 더 자세한 설명서를 열 수 있습니다. 예제 파일을 사용하여 애플리케이션을 테스트하는 옵션도 있습니다.
물론 더 중요한 것은 새로운 실험 세트를 설계하거나 기존 디자인을 개방하여 반응 데이터를 추가하고 이러한 결과를 분석하는 것입니다.
사용자가 새로운 디자인을 만들기 시작하면 도구는 먼저 나중에 시험을 식별하기 위한 세부 정보를 묻습니다. 그런 다음 사용자는 예시 화면이 제공된 응답의 세부 정보를 입력해야 합니다. 여기에서 요청되는 정보의 세부 정보는 JMP에서 디자인을 설정할 때 예상하는 것보다 많습니다. 이 추가 정보는 일반적인 Unilever 정보이며 최종 결과 디자인을 최적화하기 위해 백그라운드에서 사용됩니다. 예를 들어 Plyos는 순서형 또는 명목형 응답을 연속형 응답으로 대체할 수 있는지 묻습니다. 연속형 응답은 분석하기가 더 쉽고 비통계학자가 해석하는 데 문제가 적습니다.
다양한 필드와 그 영향을 설명하는 별도의 도움말 화면이 제공됩니다.
이 응답 화면을 닫은 후 프로세스의 다음 단계에서는 비슷한 방식으로 조사해야 할 요소를 다룹니다.
Plyos 지식 시스템이 사용자가 선택해야 한다고 판단하는 경우(예: 상호 작용을 포함해야 하는지 여부) 시스템은 질문을 하고 이 질문을 명확히 하는 데 도움이 되는 도움을 제공합니다.
다음 단계인 "결정과 결과"는 플리오스의 강제적인 결정을 말합니다.
Plyos가 결정을 강제한 경우(예: 요인 수준을 제한해야 하는 경우) 설명이 있는 별도 창이 표시되고 해당되는 경우 선택할 수 있는 옵션이 표시됩니다.
모든 내용을 입력하고 답변하면, 무작위로 선택된 즉시 사용 가능한 디자인이 제공됩니다.
이 JMP 데이터 테이블은 다시 도움말로 지원되며 파일럿 플랜트의 시험을 위한 레시피로 직접 사용할 수 있습니다. 응답 결과를 채울 수 있으며 물론 나중에 처리하기 위해 테이블을 저장할 수 있습니다.
이 표는 제공된 정보와 일치하며 표준 DoE 프로세스를 거친 표준 JMP 데이터 표보다 더 자세합니다. 예를 들어 JMP DoE는 입력 시 모든 범주형 요인에 대해서만 명목형 요인을 생성하는 반면, Plyos는 입력에 따라 순서형 또는 명목형 요인을 만듭니다.
적절한 반응 데이터 분석 없이는 좋은 실험 설계도 쓸모가 없습니다.
제시된 예에서 왼쪽에는 조사 대상 모델에 대해 선택된 사전 정의된 통계적 기법을 제시하는 JMP 보고서 창이 있고, 오른쪽에는 동일한 기법에 대한 설명이 나와 있습니다.
설명에서는 실제로 분석에 사용되는 기술만 보여드리며, 그 반대의 경우도 마찬가지입니다.
모델에 대한 일반적인 설명과 가장 중요한 가정과 함께 분석 기술에 대한 자세한 설명(개별적으로 또는 결합하여)은 대부분의 상황에서 사용자가 통계에 대한 지식이 제한적일 때에도 데이터에서 확실하고 타당한 결론을 도출하기에 충분할 것입니다.
5가지 디자인 과제
도구를 설계하는 동안 우리는 여러 가지 어려움에 직면했습니다. 어떤 것은 영향이 상당히 컸고, 어떤 것은 작았습니다.
첫 번째는 특정한 요소의 조합에 필요한 디자인 유형은 무엇인지, 그리고 동일한 프로세스를 처음부터 다시 시작할 때 동일한 디자인이 선택되는 흐름을 만들어낼 수 있는지에 대한 것입니다.
다행히도 우리는 타겟 그룹과 그들의 특정 요구 사항에 대한 전문적인 지식을 가지고 있었습니다. 다양한 상황은 요인 수, 요인 유형, (범주형) 요인당 수준 수, 상호 작용 및/또는 비선형성을 포함할지 여부 및 기타 제약 조건에 따라 정의되었습니다.
모든 정보는 대용량의 데이터 테이블에 저장되며, 이 테이블에는 데이터를 어떻게 분석해야 하는지에 대한 정보도 포함되어 있습니다.
개발 초기 단계에서는 주로 고전적인 디자인을 사용하기로 결정했습니다. 이는 이해하기 쉽고 반복할 수 있습니다. 그러나 이러한 디자인은 특히 사용자가 JMP의 표준 DoE 대화 화면으로 들어오는 것을 피하고 싶을 때 코딩하기 쉽지 않습니다.
따라서 대부분의 디자인은 루프를 통해 스크립트에 하드 코딩됩니다. 다른 디자인은 데이터 테이블에 저장되어 필요에 따라 사용됩니다.
디자인 생성 과정의 여러 단계에서 여러 유형의 도움이 필요했습니다. 유지 관리를 쉽게 하려면 텍스트를 스크립트에 너무 깊이 저장해서는 안 됩니다.
우리는 스크립트를 포함한 다양한 소스에 텍스트를 넣었습니다. 그러나 대부분은 데이터 테이블과 저널에 저장됩니다. 특히 저널에 많은 텍스트를 저장하고 텍스트의 일부를 유연한 방식으로 제시하는 방식은 우리에게 큰 만족감을 주었습니다.
또한 우리는 몇 가지 작은 문제도 마주합니다.
특정 생성된 열 이름은 언어에 따라 달라 보입니다(예: "Residuals"). 우리는 간단한 솔루션을 선택하고 지금 언어에 대해 테스트하고 필요한 경우 사용자에게 변경하도록 요청합니다.
일부 "플랫폼 환경 설정"은 분석 중에 데이터가 표시되는 방식을 변경합니다. 일부는 하드 코딩으로 극복할 수 없습니다. 우리는 일부 문제를 극복할 방법을 찾지 못했기 때문에 텍스트에 경고를 넣었습니다.
우리는 2011년에 JMP9에서 개발을 시작했습니다. 나중에 JMP11이 도입되어 특정 루틴에 몇 가지 문제가 발생했습니다. 우리는 버전에 따라 달라지는 서브루틴을 빌드하여 극복했습니다. 그러나 JMP9는 더 이상 사용할 수 없습니다.
6 도구 가용성 및 출시
이 도구는 유니레버 전 세계에 배포됩니다. 공유 드라이브를 통해 제공됩니다.
도움말과 제공된 매뉴얼을 통해 도구 사용 방법을 쉽게 설명할 수 있지만, 도구는 교육 프로그램의 일부이기도 합니다.
이 교육에서는 실험 설계의 배경이나 복잡한 통계에 초점을 맞추지 않고, 도구를 연습하고 설계를 설정하는 데 필요한 준비에 훨씬 더 중점을 둡니다. 교육 동안 우리의 모토는 "시작하기 전에 열심히 생각하라"로, 실제로 만델라 씨의 말을 반복합니다.
우리의 경험에 따르면 이런 사고 과정은 실제 DoE 설정 과정보다 훨씬 더 중요합니다.
7 도구 사용
Plyos는 2012년부터 출시되었습니다.
우리는 20개국 이상과 500명 이상의 사용자를 대상으로 하는 유니레버 사업 전반에 걸쳐 도구 사용이 확산되는 것을 봅니다. 약 100명의 사용자가 지난 2~3년 동안 우리가 본 600건의 관련 사례 중 여러 건을 만들었습니다. Plyos는 이러한 사례의 약 95%에 적용 가능한 것으로 나타났으며, 그 결과 유효하고 유용한 설계가 도출되었습니다. 이러한 사례의 약 5%에 대해 통계학자의 의견이 필요했습니다.
그러나 한 가지 매우 중요한 점은 모든 측면이 고위 경영진의 주도와 지원을 받아야 한다는 것입니다. 이러한 지원이 없다면 도구 사용과 DoE 적용이 감소할 위험이 높습니다. 우리는 이러한 지원을 받을 수 있어 매우 운이 좋습니다.
8 결론
특히 도구 설계자의 입장에서 확실한 결론을 내리는 것은 여전히 어렵습니다.
하지만 방금 본 통계와 사용자들로부터 받은 의견과 질문을 토대로 볼 때 실험 설계 설정 과정을 단순화하는 데 성공한 것 같습니다.
물론 파일럿 플랜트에서 작업할 때마다 실험 설계를 만드는 데 사용자가 집중하도록 하기 위해 할 수 있는 모든 것을 해야 합니다. 우리는 부분적으로는 경영진을 통해, 또한 필요에 따라 통계학자가 전담하여 도움을 제공함으로써 그렇게 합니다.
또한 도구 자체도 사용자의 증가하는 요구에 맞춰 정기적으로 업데이트되어야 합니다.
또한 "시작하기 전에 열심히 생각하세요"에 초점을 맞추는 것이 유익한 것으로 나타났습니다. 사용자는 자신이 조사하고 싶은 것을 훨씬 더 잘 알고 있으며 Plyos를 통계학자의 도움 없이 이를 완료하는 데 유용한 도구로 봅니다.
9팀 & 클로저
마지막으로 이러한 개발은 훌륭한 팀이 없었다면 불가능했을 것이라는 점을 강조하고 싶습니다.
불행히도 윈프리드 테이스는 이 도구가 개발되기 훨씬 전에 유니레버를 떠났습니다.
나머지 두 사람, 즉 기술 지원을 담당하는 Quadt Consultancy의 Frits Quadt와 스크립팅을 담당하는 Octoplus Information Solutions의 Hans de Roos는 여전히 우리 팀에 있습니다.
물론 Plyos가 전 세계적으로 출시될 수 있도록 배경에는 다른 많은 사람들이 참여했습니다. 그들의 도움은 매우 감사했습니다.
피터 반 브루겐
통계학자
유니레버 연구개발, 블라르딩겐, 네덜란드
peter-van.bruggen@unilever.com
