저자
William D. Kappele, 객관적 실험 부문 사장
Julie Kidd, 재료 엔지니어, US Synthetic
Heather Schaefer, 재료 엔지니어, US Synthetic
소개
때로는 정상적인 작업 과정에서 흥미로운 문제에 직면하게 됩니다. 그것이 우리에게 일어난 일입니다. 합성 다이아몬드를 공식화하기 위해 설계된 실험을 사용하는 동안 반응을 측정할 수 없는 몇 가지 실험이 있었습니다. 이는 측정 시스템의 검출 한계보다 낮았습니다.
측정을 할 수 있을 때까지 요인 설정을 변경할 수도 있었지만, 그럴 필요가 없었다면 해당 비용을 추가하고 싶지 않았습니다.
처음에는 측정할 수 없는 모든 것에 단순히 "0"을 할당했습니다. 하지만 우리는 이에 대해 약간 긴장했습니다. 결국, 우리는 JMP에 거짓말을 하고 있었습니다 – 우리가 하기 싫은 일!
우리의 모험은 정직함에 대한 열망에서 시작되었습니다.
https://www.youtube.com/watch?v=Zf0REURPFU0
모험
우리의 응답 중 두 가지는 측정 시스템의 감지 한계보다 낮았습니다. 우리가 이러한 반응에 대해 알고 있는 것은 탐지 한계와 0 사이의 범위 어딘가에 있다는 것뿐이었습니다. 특정 범위에만 있는 것으로 알려진 데이터를 "검열된 데이터"라고 합니다. 우리는 신뢰성 분석에서 검열된 데이터를 처리하는 방법을 알고 있었지만 설계된 실험에서는 이를 처리하는 방법을 몰랐습니다.
우리는 Bill에게 무엇을 해야 할지 알고 있는지 물었습니다. 그는 최대 가능성 추정을 사용할 것을 제안했지만 JMP에서 이를 수행하는 방법을 확신하지 못했습니다. 그는 JMP의 Brad Jones에게 연락했고 Brad는 그를 Parametric Survival 플랫폼으로 안내했습니다. 우리가 필요로 하는 것을 정확히 수행하도록 설계되지는 않았지만 답을 얻는 데 사용될 수 있습니다.
우리는 다양한 분석을 비교하는 방법과 이를 수행하기 위해 JMP를 사용하는 방법 등 우리가 배운 내용을 공유하고 싶었지만 우리 프로젝트는 독점적이었습니다. Heather가 좋은 아이디어를 생각해내기 전까지는 우리의 학습이 비밀이 되어야 할 것처럼 보였습니다. 마치 초콜릿 칩 쿠키를 굽는 것처럼 우리의 일을 위장하는 것입니다! 그녀와 Julie는 비밀을 전혀 드러내지 않는 우리 작업에 충실한 "쿠키" 데이터 세트를 성공적으로 만들었습니다.
모든 비유와 마찬가지로 쿠키 비유도 약간 인위적으로 보일 수 있습니다. 그러나 우리를 참아준다면 우리가 실제로 직면한 문제를 볼 수 있을 것이고, 당신의 작업에서 이와 같은 유형의 문제가 발생할 경우 이를 처리하는 방법을 배울 수 있을 것입니다.
간단한 비유: 쿠키 굽기
우리가 실제로 초콜릿 칩 쿠키를 굽는 일을 하고 있다고 가정해 보세요. 우리의 목표는 우리의 레시피를 사용하여 가장 얇은 쿠키를 생산하는 것입니다. (약간 인위적인 것처럼 보일 수도 있다고 말씀드렸죠! 우리는 정말로 두꺼운 쿠키를 만들려고 노력했을 것입니다.) 우리가 사용한 레시피는 그림 1의 고전적인 Nestle Toll House 쿠키 레시피였습니다.
|
그림 1 – Nestle에서 제공하는 공식 유료 징수소 쿠키 레시피. |
우리는 실험을 위한 5가지 요소를 만들기 위해 논리적인 방법으로 재료를 그룹화했습니다. 요인은 그림 2에 나열되어 있습니다.
작은 조각 건조 (밀가루, 베이킹소다, 소금) 크림(버터, 설탕, 흑설탕, 바닐라) 온도 시간 |
그림 2 - 요인. |
실험 설계를 작성하는 데 사용한 요소와 수준은 다음과 같습니다.
요인 | 유형 | 낮은 수준 | 높은 레벨 |
|---|
작은 조각 | 혼합물 | 0 | 0.5 |
크림 | 혼합물 | 0 | 0.5 |
마른 | 혼합물 | 0 | 0.8 |
온도 | 마디 없는 | 375 | 450 |
시간 | 마디 없는 | 5 | 12 |
우리는 또한 몇 가지 제약을 받았습니다. 이러한 제약 조건이 적용된 실험 설계의 일부(그림 3 참조)가 그림 4에 나와 있습니다.
|
그림 3 - 제약 조건이 있는 디자인 만들기 |
|
그림 4 – 실험 설계의 일부. |
그런 다음 쿠키를 구웠어요…
JMP를 사용하여 데이터 분석
쿠키를 구운 후 두께를 측정해야 했습니다. 당신은 그것을 모르겠습니까! 우리에게는 아주 좋은 통치자가 없었습니다. 우리는 실제로 1mm 미만의 어떤 것도 측정할 수 없었습니다. 우리는 얇은 쿠키가 있다는 것을 확실히 알 수 있었지만 정확히 얼마나 얇은 쿠키인지는 알 수 없었습니다. 우리의 검출 한계는 1mm였습니다.
처음에는 측정할 수 없는 쿠키의 두께(감지 한계 미만)에 대해 단순히 "0"을 입력했습니다. 기억하세요. 우리는 쿠키가 있다는 것을 알고 있었기 때문에 "0"이 옳을 수는 없었지만 시도해 보기로 했다고 생각했습니다.
이 데이터는 분석하기 쉬웠습니다. 우리는 단순히 "표준 최소 제곱" 특성과 함께 "모델 적합" 명령을 사용했습니다.
검열된 데이터를 어떻게 분석했는지 이해하려면 약간의 배경 지식이 필요합니다.
최대 가능성 추정
최소 제곱법은 데이터를 모델에 맞추는 데 탁월한 기술이지만 검열된 데이터에는 사용하기가 쉽지 않습니다. 또 다른 기술인 최대 가능성 추정(Maximum Likelihood Estimation)은 검열된 데이터에 사용하기가 훨씬 쉽습니다. JMP는 "모델 적합" 명령에서 여러 번 최대 우도 추정을 사용하지만(예: "일반화 선형 모델" 옵션을 선택한 경우) 모수적 생존 플랫폼에서는 검열된 데이터에 대한 옵션만 제공합니다.
우리는 JMP가 원하는 작업을 수행하도록 "동조"해야 했습니다.
파라메트릭 생존 플랫폼
JMP의 '모수적 생존' 플랫폼은 최대 가능성 추정을 사용하고 검열된 데이터를 분석하는 기능을 제공합니다. 이는 쿠키 높이가 아닌 "Time to Failure" 응답과 함께 작동하도록 설계되었지만 이를 해결하는 것이 쉬운 것으로 나타났습니다. JMP가 "이벤트까지의 시간"을 물으면 그림 5와 같이 "쿠키 높이"를 선택하기만 하면 됩니다.
배포판 선택
파라메트릭 서바이벌 플랫폼에서는 분포를 선택해야 합니다. 정규 분포가 우리의 첫 번째 선택이었지만 사용할 수 없었습니다. 우리는 정규 분포를 가장하는 능력이 뛰어나기 때문에 logNormal 분포를 선택했습니다. 또한 높이가 0에 가까웠기 때문에 정규 분포에는 음수 높이를 예측할 수 있는 노이즈가 모델링되었을 수 있습니다. 절대 쿠키를 원해요!). logNormal 분포는 이러한 번거로움을 방지합니다.
"검열" 열 추가
테이블에 검열 열을 추가하면 검열된 데이터(검출 한계 미만의 데이터)가 포함된 실행을 JMP에 알릴 수 있습니다. 이는 나머지 측정과 다르게 처리됩니다. (0인 것처럼 처리하지 않고 보다 정교한 방식으로 처리합니다.)
레시피 최적화: 중앙값 대 평균
Parametric Survival 플랫폼의 Optimizer는 "실패 확률"을 요소로 처리합니다. 이는 분석에 필요하지 않습니다. 그러면 무엇으로 설정해야 합니까?
일반적으로 반응 표면 방법론에서는 평균값을 예측합니다. logNormal 분포가 정규 분포에 근접할 것으로 예상하므로 중앙값은 평균에 매우 가까워야 합니다. "실패 확률"을 0.5로 설정하면 필요한 것을 얻을 수 있습니다. 그림 6
|
그림 5 – 파라메트릭 생존 플랫폼 |
중앙값에서 "실패 확률"을 "잠그는" 방법을 보여줍니다.
또한 응답에는 항상 '시간'이라는 라벨이 지정됩니다. 물론, 실제로는 '쿠키 높이'라는 것을 알고 계실 겁니다.
"바람직함 함수"를 추가하고 평소와 같이 만족도를 설정할 수 있습니다. 또한 평소처럼 "만족도 극대화"를 사용하여 "스위트 스팟"을 찾습니다.
등고선 플롯을 만들려면 예측 공식을 저장하고 '그래프' 아래의 '등고선 프로파일러'를 사용해야 합니다.
|
그림 6 - Quantile 프로파일러 |
결과
그래서 우리는 무엇을 찾았나요?
먼저, 실제 쿠키 두께를 알 수 있도록 정말 좋은자를 파헤쳤습니다(이 작업은 꽤 어렵고 시간이 오래 걸렸습니다). 그런 다음 실제 대 예측 플롯을 만들 수 있었습니다(그림 7 참조). 소음을 제외했기 때문에 전체 이야기를 전달하지는 못했습니다. 그래서 우리는 실제 대 잔차 도표도 만들었습니다(그림 8 참조). 두 가지를 살펴보면 결과가 비슷하다는 것을 알 수 있습니다. 잔차는 크기가 비슷하고 편향이 다릅니다.
다음으로 우리는 두 모델 모두를 사용하여 Sweet Spot을 예측했습니다. 두 모델 모두 기본적으로 동일한 Sweet Spot을 예측했으며 예상 베이킹 시간만 약간 다릅니다(그림 9 및 10 참조). 각 Sweet Spot에 대해 50개의 쿠키를 구웠고 결과를 비교했습니다(그림 11 참조).
|
그림 7 – 실제 곡선과 예측 곡선 |
|
그림 8 – 실제 곡선과 잔차 곡선 |
|
그림 9 - 검열된 데이터 분석을 위한 최적의 장소 |
|
그림 10 - 제로화된 데이터 분석을 위한 최적의 지점 |
두 개의 스위트 스팟은 동일한 쿠키 두께를 산출했습니다. . 우리는 두 모델 모두에서 본질적으로 동일한 Sweet Spot을 찾았으므로 Sweet Spot을 찾는 데 분석 기술은 중요하지 않았습니다.
그림 9, 10, 11을 자세히 살펴보세요. 동일한 Sweet Spot을 예측했지만, 검열된 모델의 실제 예측이 더 정확했습니다. 검열된 모델 예측에 대한 신뢰 한계도 현실에 더 가깝습니다. 따라서 정확한 예측이 필요하다면 검열된 모델이 더 좋습니다.
|
그림 11 - 스위트 스팟 비교 |
우리에겐 정말 2가지 문제가 있었습니다
- 우리는 데이터를 검열했습니다.
- 우리는 음수 쿠키 높이를 예측하지 않는 분포를 사용하여 노이즈를 모델링해야 했습니다.
제로화된 데이터가 있는 모델은 이러한 문제 중 하나를 해결하지 못했습니다. 검열된 데이터를 설명하는 모델은 이러한 문제를 모두 고려했습니다. 자연스러운 질문은 "이러한 문제 중 하나만 해결하면 검열된 모델만큼 좋은 결과를 얻을 수 있을까요?"입니다.
문제 1을 쉽게 테스트할 수 있는 방법은 없지만(JMP에서는 정규 분포로 검열된 데이터를 볼 수 있는 방법이 없음) 문제 2를 살펴볼 수 있습니다. 일반화 선형 모델 플랫폼은 혼합물과 함께 사용할 수 없기 때문에 쉽게 사용할 수 없습니다. 그러나 데이터를 로그 변환하고 표준 최소 제곱법으로 분석할 수 있습니다. 이는 데이터가 로그 정규 분포인 것처럼 처리하는 효과가 있습니다.
이 접근 방식의 한 가지 문제점은 데이터를 0으로 만드는 것이 작동하지 않는다는 것입니다. 대신, 0을 검열된 범위의 평균(0.5)으로 대체했습니다. 물론 우리는 아직도 거짓말을 하고 있어 JMP로 ! 우리는 또한 이 데이터를 분석했습니다. 없이 비교를 위한 로그 변환.
이 분석의 결과는 그림 12와 13에 나와 있습니다. 스위트 스팟은 0을 사용하는 정규 분포 데이터에 대한 표준 최소 제곱법과 동일합니다. 그러나 로그 변환의 경우 95% 신뢰 한계가 0.53 및 0.76인 0.63과 검열된 범위의 평균에 대한 95% 신뢰 한계가 0.42 및 0.93인 0.68의 예측은 0이 적용된 데이터 분석에 대한 예측보다 훨씬 낫습니다. 네 가지 모델 모두를 비교한 내용이 그림 14에 나와 있습니다.
|
그림 12 - 로그 변환 분석을 위한 최적의 장소 |
|
그림 13 - 범위 분석 평균의 최적점 |
|
그림 14 - 세 가지 모델 모두에 대한 실제 및 잔차 도표 |
검열된 데이터 모델과 로그 변환 모델 모두 꽤 잘 예측한 것을 볼 수 있습니다. 검열된 모델은 약간 높게 예측하고, 로그 변환 모델은 약간 낮게 예측했습니다. logNormal 분포를 사용할 필요가 없는 것 같습니다.
요약
- 탐지 한계 미만의 응답에 "0"을 할당하면 예측이 제대로 이루어지지 않았지만 실행 가능한 스위트 스팟이 생성되었습니다.
- 예측된 검출 한계 미만의 반응에 검열된 범위의 평균 할당 음 그리고 실행 가능한 Sweet Spot을 생성했습니다.이것은 일반적으로 작동하지 않을 것 같습니다. 이번에는 운이 좋았던 것 같습니다.
- (2)의 데이터 세트에 대한 로그 변환은 비슷한 주의 사항을 포함하여 (2)와 유사한 결과를 산출했습니다.
- 검열된 데이터와 logNormal 분포가 포함된 JMP의 모수적 생존 플랫폼을 사용하여 노이즈 모델링 예측됨 음 그리고 실행 가능한 Sweet Spot을 생성했습니다. 중앙값을 위해 . 이것은 일반적으로 가장 잘 작동할 것 같습니다.
결론
우리 작업에서 우리는 두 가지 문제에 직면했습니다.
- 검열된 데이터
- 우리는 음수 값을 피하는 방식으로(적어도 낮은 값에서) 노이즈를 모델링해야 했습니다.
우리는 데이터를 사용하여 이러한 문제를 두 가지 방법으로 해결할 수 있었습니다.
- Parametric Survival Platform을 사용하여 검열된 데이터와 logNormal 분포로 분석합니다.
- 표준 최소 제곱을 사용하여 검열된 값을 범위의 평균으로 대체하여 데이터의 로그 변환을 분석합니다.
결과적으로 정규 분포는 여기서 잘 작동했습니다. 음의 쿠키 높이가 예측되지 않았습니다.
이 두 가지 방법 모두 단순히 데이터를 검출 한계 아래로 0으로 만드는 것보다 더 나은 예측을 제공합니다. 두 방법 모두 본질적으로 동일한 Sweet Spot을 찾았습니다.
그래서 우리는 무엇을 했나요? 정말 배우다?
- 알 수 없는 값에 0을 할당하는 것만으로도 충분했습니다. 아마도 행운이 있었기 때문일 것입니다. 이것이 모든 데이터 세트에 대해 작동할 것으로 기대하지는 않습니다.
- 검열된 범위의 평균을 할당하는 것이 더 잘 작동했지만 이는 단지 행운일 가능성도 높습니다. 우리는 이것이 일반적으로 좋은 전략이 될 것이라고 기대하지 않습니다.
- JMP의 모수적 생존 플랫폼을 사용하면 데이터를 검열된 상태로 분석할 수 있지만 이 경우 검열된 범위의 평균보다 더 나은 결과를 얻지 못했습니다. 그럼에도 불구하고 이는 미래에는 최선의 전략이 될 가능성이 높습니다. (1)과 (2)는 단순한 추측이지만, 파라메트릭 생존 플랫폼의 최대 가능성 추정은 잘 정립되어 있습니다.
- Normal 및 logNormal 분포 모두 우리에게 잘 작동했습니다.
이제 우리는 우리의 모험과 배움을 여러분과 공유했습니다. 이제 쿠키를 먹을 시간이에요!
더 많은 것을 찾고 계십니까?
추가 정보에 대한 몇 가지 흥미로운 참고 자료는 다음과 같습니다.
러셀 B. 밀러, 최대 가능성 추정 및 추론: R, SAS 및 ADMB의 예 사용 , J. 와일리 앤 선즈(J. Wiley and Sons), 2011, ISBN 978-0470094822 .
http://ussynthetic.com/ (US Synthetic에 대한 정보)
http://www.ObjectiveExperiments.com (교육 및 워크숍에 대한 정보)
http://www.jmp.com/ (JMP 소프트웨어에 대한 정보)
http://en.wikipedia.org/wiki/Censoring_(통계) (검열에 대한 좋은 설명을 위해)
http://mathworld.wolfram.com/MaximumLikelihood.html (최대 우도 추정에 대한 간략한 설명)
http://en.wikipedia.org/wiki/Chocolate_chip_cookie (초콜릿 칩 쿠키의 역사에 대하여)
저자 소개
Julie Kidd는 US Synthetic의 재료 엔지니어입니다. 그녀의 특기는 법의학 야금 및 고장 분석을 포함한 세라믹 및 복합 시스템, 재료 특성화.
Heather Schaefer는 US Synthetic의 재료 엔지니어입니다.그녀의 전문 분야는 적외선 미끼 플레어 개발에 중점을 둔 주조 및 압축 에너지 재료입니다.
그들은 현재 석유 및 가스 산업을 위한 향상된 합성 다이아몬드를 함께 개발하고 있습니다.
빌 카펠리는 오브 회장 객관적인 실험. 그는 강좌 제공 및 개발을 담당합니다.줄리 그리고 히스 Bill에게서 실험 설계를 배웠습니다.
