저자
William D. Kappele, Objective Experiments 사장
Julie Kidd, 재료 엔지니어, US Synthetic
Heather Schaefer, 재료 엔지니어, US Synthetic
소개
가끔은 일상 업무 중에 흥미로운 문제에 부딪히기도 합니다. 우리에게도 그런 일이 있었습니다. 합성 다이아몬드를 공식화하기 위해 설계된 실험을 사용하는 동안, 반응을 측정할 수 없는 몇 가지 시도가 있었습니다. 측정 시스템의 검출 한계 이하였습니다.
측정을 할 때까지 요인 설정을 변경할 수도 있었지만, 꼭 필요하지 않다면 그 비용을 추가하고 싶지 않았습니다.
처음에는 측정할 수 없는 모든 것에 단순히 "0"을 할당했습니다. 하지만 우리는 이에 대해 약간 긴장했습니다. 결국 우리는 JMP에 거짓말을 했기 때문입니다. 우리는 이런 일을 하는 것을 좋아하지 않습니다!
정직함에 대한 열망으로 우리의 모험이 시작되었습니다.
https://www.youtube.com/watch?v=Zf0REURPFU0
모험
두 가지 반응은 측정 시스템의 감지 한계 아래에 있었습니다. 우리가 알고 있는 이 반응에 대한 전부는 감지 한계와 0 사이의 범위 어딘가에 있다는 것뿐이었습니다. 범위 내에 있는 것으로만 알려진 데이터를 "중단된 데이터"라고 합니다. 우리는 신뢰성 분석에서 중단된 데이터를 처리하는 방법을 알고 있었지만, 설계된 실험에서 이를 처리하는 방법은 몰랐습니다.
우리는 빌에게 무엇을 해야 할지 아는지 물었습니다. 그는 최대 우도 추정을 사용하라고 제안했지만 JMP에서 어떻게 해야 할지 확신하지 못했습니다. 그는 Brad Jones(JMP)에게 연락했고 Brad는 그를 Parametric Survival 플랫폼으로 안내했습니다. 우리가 필요로 하는 것을 정확히 하도록 설계된 것은 아니지만 답을 얻는 데 사용할 수 있었습니다.
우리는 배운 것을 공유하고 싶었습니다. 다른 분석을 비교하는 방법과 JMP를 사용하여 수행하는 방법. 하지만 우리 프로젝트는 독점적이었습니다. Heather가 훌륭한 아이디어를 내놓을 때까지 우리의 학습은 비밀이어야 할 것 같았습니다. 마치 초콜릿 칩 쿠키를 굽는 것처럼 우리의 작업을 위장하는 것입니다! 그런 다음 그녀와 Julie는 비밀을 드러내지 않는 우리의 작업에 충실한 "쿠키" 데이터 세트를 성공적으로 만들었습니다.
모든 비유에서 그렇듯이, 우리의 쿠키 비유는 약간 인위적으로 보일 것입니다. 하지만, 우리의 말을 참아준다면, 우리가 실제로 직면했던 문제를 볼 수 있을 것이고, 당신의 작업에서 이와 같은 유형의 문제가 발생할 경우 이를 처리하는 방법을 배울 수 있을 것입니다.
간단한 비유: 쿠키 굽기
우리가 실제로 초콜릿 칩 쿠키를 굽는 작업을 하고 있다고 가정해 봅시다. 우리의 목표는 우리의 레시피를 사용하여 가능한 가장 얇은 쿠키를 만드는 것입니다. (조금 인위적으로 보일 수도 있다고 말씀드렸잖아요! 우리는 정말 두꺼운 쿠키를 만들려고 노력했을 겁니다.) 우리가 사용한 레시피는 그림 1의 고전적인 네슬레 톨 하우스 쿠키 레시피였습니다.
|
그림 1 – 네슬레에서 제공하는 공식 톨하우스 쿠키 레시피. |
우리는 논리적인 방식으로 성분을 그룹화하여 실험을 위한 5가지 요인을 만들었습니다. 요인은 그림 2에 나와 있습니다.
작은 조각 건조(밀가루, 베이킹소다, 소금) 크림(버터, 설탕, 황설탕, 바닐라) 온도 시간 |
그림 2 – 요인 |
실험 설계에 사용된 요인과 수준은 다음과 같습니다.
요인 | 유형 | 낮은 수준 | 높은 수준 |
|---|
작은 조각 | 혼합물 | 0 | 0.5 |
크림 | 혼합물 | 0 | 0.5 |
마른 | 혼합물 | 0 | 0.8 |
온도 | 마디 없는 | 375 | 450 |
시간 | 마디 없는 | 5 | 12 |
우리는 또한 몇 가지 제약을 가졌습니다. 이러한 제약이 있는 실험 설계의 일부(그림 3 참조)가 그림 4에 나와 있습니다.
|
그림 3 – 제약 조건을 사용하여 디자인 만들기 |
|
그림 4 – 실험 설계의 일부. |
그리고 우리는 쿠키를 구웠습니다….
JMP를 사용하여 데이터 분석
쿠키를 구운 후, 두께를 측정해야 했습니다. 정말 놀라운 일이었습니다! 우리는 아주 좋은 눈금자가 없었습니다. 1mm 이하의 것은 측정할 수 없었습니다. 쿠키가 얇다는 것은 확실히 알 수 있었지만, 얼마나 얇은지는 정확히 알 수 없었습니다. 우리의 검출 한계는 1mm였습니다.
처음에는 측정할 수 없는 쿠키의 두께에 대해 간단히 "0"을 입력했습니다. 즉, 감지 한계보다 낮은 쿠키입니다. 기억하세요, 우리는 쿠키가 있다는 것을 알고 있었기 때문에 "0"이 옳을 수는 없었지만, 시도해 보기로 했습니다.
이 데이터는 분석하기 쉬웠습니다. 우리는 단순히 "표준 최소 제곱법" 개성을 가진 "모델 적합" 명령을 사용했습니다.
검열된 데이터를 어떻게 분석하는지 이해하려면 약간의 배경 지식이 필요합니다.
최대 우도 추정
최소 제곱법은 모델에 데이터를 맞추는 데 탁월한 기술이지만, 검열된 데이터에는 사용하기 쉽지 않습니다. 또 다른 기술인 최대 우도 추정법은 검열된 데이터에는 훨씬 사용하기 쉽습니다. JMP는 "Fit Model" 명령에서 여러 번 최대 우도 추정법을 사용하지만(예: "Generalized Linear Models" 옵션을 선택한 경우), Parametric Survival 플랫폼에서는 검열된 데이터에 대한 옵션만 제공합니다.
우리는 JMP가 우리가 원하는 대로 동작하도록 "유도"해야 했습니다.
파라메트릭 생존 플랫폼
JMP의 "Parametric Survival" 플랫폼은 최대 우도 추정을 사용하고 검열된 데이터를 분석하는 기능을 제공합니다. "실패 시간" 응답으로 작동하도록 설계되었지만 쿠키 높이는 아닙니다. 하지만 이를 우회하는 것이 쉬운 것으로 밝혀졌습니다. JMP가 "이벤트 시간"을 요청하면 그림 5와 같이 "쿠키 높이"를 선택하기만 하면 됩니다.
배포 선택
Parametric Survival 플랫폼에서는 분포를 선택해야 합니다. 정규 분포가 첫 번째 선택이었겠지만, 사용할 수 없었습니다. 정규 분포를 흉내낼 수 있는 능력이 뛰어나서 logNormal 분포를 선택했습니다. 또한 키가 거의 0에 가까웠기 때문에 정규 분포는 음수 키(쿠키에서 절대 원하지 않는 것!)를 예측할 수 있는 노이즈를 모델링했을 수 있습니다. logNormal 분포는 이런 번거로움을 피합니다.
"검열" 열 추가
테이블에 검열 열을 추가하면 검열된 데이터(검출 한계 이하의 데이터)가 포함된 실행을 JMP에 알릴 수 있습니다. JMP는 이를 나머지 측정과 다르게 처리합니다. (이를 마치 0인 것처럼 처리하지 않고, 보다 정교한 방식으로 처리합니다.)
레시피 최적화: 중앙값 대 평균
Parametric Survival 플랫폼의 Optimizer는 "실패 확률"을 요인으로 취급합니다. 이는 분석에 불필요하므로 무엇으로 설정해야 할까요?
일반적으로 반응 표면 방법론에서 우리는 평균값을 예측합니다. logNormal 분포가 정규 분포에 근접할 것으로 예상하기 때문에 중간값은 평균에 매우 가까워야 합니다. "실패 확률"을 0.5로 설정하면 필요한 것을 얻을 수 있습니다. 그림 6
|
그림 5 – 매개변수 생존 플랫폼 |
"실패 확률"을 중간값에 "잠그는" 방법을 보여줍니다.
또한 응답은 항상 "시간"으로 표시됩니다. 물론 실제로는 "쿠키 높이"라는 것을 알고 있습니다.
평소처럼 "바람직함 함수"를 추가하고 바람직성을 설정할 수 있습니다. 평소처럼 "바람직함 최대화"를 사용하여 "스위트 스팟"도 찾을 수 있습니다.
등고선 플롯을 만들려면 예측 공식을 저장하고 "그래프" 아래의 "등고선 프로파일러"를 사용해야 합니다.
|
그림 6 – 분위수 프로파일러 |
결과
그러면 우리는 무엇을 발견했을까요?
첫째, 우리는 실제 쿠키 두께를 알 수 있도록 정말 좋은 자를 찾아냈습니다(이것은 꽤 어렵고 오랜 시간이 걸렸습니다). 그런 다음 실제 대 예측 플롯을 만들 수 있었습니다(그림 7 참조). 이것은 노이즈를 제외했기 때문에 전체 이야기를 말해주지 못했습니다. 그래서 우리는 실제 대 잔차 플롯도 만들었습니다(그림 8 참조). 이 두 가지를 살펴보면 결과가 비슷하다는 것을 알 수 있습니다. 잔차는 크기가 비슷했지만 편향이 달랐습니다.
다음으로 두 모델 모두 Sweet Spot을 예측했습니다. 두 모델 모두 본질적으로 동일한 Sweet Spot을 예측했으며, 예측된 베이킹 시간만 약간 달랐습니다(그림 9 및 10 참조). 각 Sweet Spot에 대해 50개의 쿠키를 구웠고 결과를 비교했습니다(그림 11 참조).
|
그림 7 – 실제 곡선 대 예측 곡선 |
|
그림 8 – 실제 대 잔차 곡선 |
|
그림 9 – 검열된 데이터 분석을 위한 최적의 지점 |
|
그림 10 – 0으로 설정된 데이터 분석의 최적 지점 |
두 개의 Sweet Spot은 동일한 쿠키 두께를 산출했습니다 . 우리는 두 모델 모두에서 본질적으로 동일한 Sweet Spot을 발견했으므로 Sweet Spot을 찾는 데 분석 기술은 중요하지 않았습니다.
그림 9, 10, 11을 자세히 살펴보세요. 둘 다 동일한 Sweet Spot을 예측했지만, 검열된 모델의 실제 예측이 더 정확했습니다. 검열된 모델 예측의 신뢰 한계도 현실에 더 가까웠습니다. 따라서 정확한 예측이 필요하다면 검열된 모델이 더 좋습니다.
|
그림 11 – Sweet Spot 비교 |
우리는 실제로 2가지 문제가 있었습니다
- 우리는 검열된 데이터를 가지고 있었습니다.
- 우리는 음의 쿠키 높이를 예측하지 않는 분포로 노이즈를 모델링해야 했습니다.
0으로 처리된 데이터를 사용한 모델은 이 두 가지 문제를 모두 해결하지 못했습니다. 검열된 데이터를 고려한 모델은 이 두 가지 문제를 모두 고려했습니다. 자연스러운 질문은 "이러한 문제 중 하나만 해결해도 검열된 모델만큼 좋은 결과가 나올까?"입니다.
문제 1을 테스트할 쉬운 방법은 없지만(JMP에서 검열된 데이터를 정규 분포로 볼 방법이 없음), 문제 2를 살펴볼 수 있습니다. 혼합과 함께 사용할 수 없기 때문에 일반화 선형 모델 플랫폼을 쉽게 사용할 수 없습니다. 그러나 데이터에 로그 변환을 수행하고 표준 최소 제곱으로 분석할 수 있습니다. 이렇게 하면 데이터가 로그 정규 분포인 것처럼 처리되는 효과가 있습니다.
이 접근 방식의 한 가지 문제점은 데이터를 0으로 만드는 것이 효과가 없다는 것입니다. 대신, 우리는 0을 검열된 범위의 평균(0.5)으로 대체했습니다. 물론 우리는 여전히 JMP에 거짓말을 하고 있었습니다! 또한 비교를 위해 로그 변환 없이 이 데이터를 분석했습니다.
이 분석의 결과는 그림 12와 13에 나와 있습니다. Sweet Spots가 0을 사용하는 정규 분포 데이터에 대한 표준 최소 제곱 적합과 동일하다는 점에 유의하세요. 그러나 로그 변환의 경우 95% 신뢰 한계가 0.53과 0.76인 0.63의 예측과 검열 범위 평균의 경우 95% 신뢰 한계가 0.42와 0.93인 0.68의 예측은 0으로 설정된 데이터 분석의 예측보다 훨씬 좋습니다. 네 가지 모델을 모두 비교한 내용은 그림 14에 나와 있습니다.
|
그림 12 – 로그 변환 분석을 위한 최적의 지점 |
|
그림 13 – 범위 분석의 평균에 대한 최적의 지점 |
|
그림 14 – 세 가지 모델 모두에 대한 실제 대 잔차 플롯 |
검열된 데이터 모델과 로그 변환된 모델 모두 꽤 잘 예측한 것을 볼 수 있습니다. 검열된 모델은 약간 높게 예측했고, 로그 변환된 모델은 약간 낮게 예측했습니다. logNormal 분포를 사용할 필요가 없는 것 같습니다.
요약
- 검출 한계 이하의 반응에 "0"을 할당하면 예측은 좋지 않았지만 실행 가능한 Sweet Spot이 도출되었습니다.
- 예측된 감지 한계 이하의 응답에 검열 범위의 평균 할당글쎄요 그리고실행 가능한 Sweet Spot이 도출되었습니다.일반적으로 이 방법은 효과가 없을 것 같습니다. 이번에는 운이 좋았던 것 같습니다.
- (2)의 데이터 집합의 로그 변환은 유사한 단서와 함께 (2)와 유사한 결과를 산출했습니다.
- 검열된 데이터와 로그 정규 분포를 사용하여 노이즈를 모델링하는 JMP의 매개변수 생존 플랫폼 사용예측하다글쎄요 그리고실행 가능한 Sweet Spot을 생성했습니다.중간값에 대하여. 일반적으로 이 방법이 가장 효과적일 가능성이 높습니다.
결론
우리는 작업하면서 두 가지 문제에 직면했습니다.
- 검열된 데이터
- 우리는 음수 값(적어도 낮은 쪽에서는)이 발생하지 않는 방식으로 노이즈를 모델링해야 했습니다.
우리는 데이터를 이용해 두 가지 방법으로 이러한 문제를 해결할 수 있었습니다.
- Parametric Survival Platform을 사용하여 검열된 데이터와 로그 정규 분포를 분석합니다.
- 표준 최소 제곱법을 사용하여 절사된 값을 범위의 평균으로 바꾸어 데이터의 로그 변환을 분석합니다.
결과적으로 정규 분포가 여기서는 잘 작동했습니다. 음의 쿠키 높이는 예측되지 않았습니다.
이 두 가지 방법 모두 단순히 데이터를 검출 한계 아래로 0으로 만드는 것보다 더 나은 예측을 했습니다. 두 가지 방법 모두 본질적으로 동일한 Sweet Spot을 찾았습니다.
그렇다면 우리는 실제로 무엇을 배웠을까?
- 알 수 없는 값에 0을 할당하는 것은 충분히 잘 작동했습니다. 이는 아마도 행운 덕분이었을 것입니다. 이것이 모든 데이터 세트에서 작동할 것이라고 기대하지는 않았습니다.
- 검열된 범위의 평균을 할당하는 것이 더 잘 작동했지만, 이는 그저 행운이었을 가능성이 큽니다. 우리는 이것이 일반적으로 좋은 전략이 될 것이라고 기대하지 않습니다.
- JMP의 Parametric Survival 플랫폼은 검열된 데이터를 분석할 수 있게 해주지만, 이 경우 검열된 범위의 평균보다 더 나은 결과를 얻지 못했습니다. 그럼에도 불구하고, 이는 앞으로 가장 좋은 전략이 될 가능성이 큽니다. (1)과 (2)는 단순한 추측이지만, Parametric Survival 플랫폼의 최대 우도 추정은 확립되어 있습니다.
- 정규분포와 로그정규분포 모두 우리에게 잘 맞았습니다.
그리고 이제 우리는 우리의 모험(과 우리의 학습)을 여러분과 공유했습니다. 이제 쿠키를 먹을 시간입니다!
더 많은 것을 찾으시나요?
추가 정보를 얻을 수 있는 흥미로운 참고 자료는 다음과 같습니다.
Russell B. Millar, 최대 우도 추정 및 추론: R, SAS 및 ADMB의 예제 포함 , J. Wiley and Sons, 2011, ISBN 978-0470094822 .
http://ussynthetic.com/ (US Synthetic에 대한 정보)
http://www.ObjectiveExperiments.com (교육 및 워크숍에 대한 정보)
http://www.jmp.com/ (JMP 소프트웨어에 대한 정보)
http://en.wikipedia.org/wiki/Censoring_(통계) (검열에 대한 좋은 설명)
http://mathworld.wolfram.com/MaximumLikelihood.html (최대 우도 추정에 대한 간략한 설명)
http://en.wikipedia.org/wiki/Chocolate_chip_cookie (초콜릿칩 쿠키의 역사)
저자 소개
Julie Kidd는 US Synthetic의 재료 엔지니어입니다. 그녀의 전문 분야는 세라믹 및 복합 시스템, 그리고 법의학 야금 및 고장 분석을 포함한 재료 특성화입니다.
Heather Schaefer는 US Synthetic의 재료 엔지니어입니다. 그녀의 전문 분야는 적외선 미끼 플레어 개발에 중점을 둔 주조 및 프레스 에너지 재료입니다.
현재 두 회사는 석유 및 가스 산업용으로 개량된 합성 다이아몬드를 개발하고 있습니다.
빌 카펠은Ob의 대통령객관적 실험.그는 강의 전달과 개발을 담당합니다.줄리그리고 히스빌에게 실험 설계를 배웠습니다.
