선별 설계 - 효과가 유의하지 않은지 또는 반복실험을 수행하지 않고 전체 데이터가 좋지 않은지(유의한 변동) 여부를 어떻게 알 수 있습니까?화학 공정의 견고성을 보여주기 위해 우리는 종종 선택된 매개변수(온도, 등가물, 시간 및 시약 비율)가 최종 제품의 품질(순도)에 영향을 미치지 않는다는 것을 규제 기관에 보여줄 필요가 있습니다.이를 보여주기 위해 규제 기관은 선별 설계를 수행하는 것을 선호합니다.일반적으로 우리는 매개변수가 연구 범위 내에서 해로운 영향을 미치지 않는다는 것을 보여주므로 공정이 견고합니다.
제 질문은 실험자가 최대한 정밀하게 수행하고 데이터가 품질에 영향을 미치는 요인(또는 상호 작용 용어)이 없음을 보여주는 경우 괜찮습니다.실험자가 좋지 않은 데이터를 수집하고 모델에 영향을 미치는 요인이 하나도 없는 것으로 나타나면 데이터와 모델을 신뢰할 수 있는지 어떻게 알 수 있습니까?어쨌든, 특히 변동을 보기 위한 반복 실행이 없는 경우가 있습니까?
최종 선별 설계에 반복 실험이 반드시 포함되는 것은 아니지만 응답에 상당한 변동성이 있는지 어떻게 알 수 있습니까?
암사슴Re: 스크리닝 설계 - 효과가 유의하지 않은지 또는 반복실험을 수행하지 않고 전체 데이터가 좋지 않은지(유의한 변동) 여부를 어떻게 알 수 있습니까?몇 가지 생각을 해볼께요.
첫째: 응답의 변동이 요인 변동으로부터 숨겨져 있을 수 있는 신호를 압도하는 경우 세 가지 원인 중 하나가 있습니다.
1. 과도한 측정 시스템 변동. 이 시나리오에서 응답 변동의 주요 원인은 주로 측정 시스템 변동입니다. 측정 시스템을 위한 지속적인 공정 제어 시스템이 있습니까? 측정 시스템의 고유한 '정상' 변동을 알고 있습니까? 그렇지 않으면 요인 변동으로 인한 '영향 없음'이라는 결론이 실제인지 아니면 과도한 측정 시스템 변동으로 인한 환상인지 알 수 없습니다.
2. 응답 변동을 증가시키는 방식으로 실험 과정에 영향을 미치는 소음/불편한 변수. 실험을 수행하는 동안 이러한 유형의 영향을 항상 경계하는 것이 중요합니다. 이것은 확실히 알 수 없기 때문에 까다롭습니다... 그러나 실험을 수행하고 계획하는 동안 아마도 독립적인 제3자가 주의 깊게 관찰하는 것이 도움이 될 수 있습니다.
3. 정말 아무일도 없다...
전반적으로 귀하의 질문은 가설 테스트의 핵심입니다. 우리는 '요인에 대해 아무 일도 일어나지 않는다'는 귀무 가설을 결코 '수용'할 수 없습니다... 단지 그것을 기각하지 못할 뿐입니다. 귀하가 설명한 경우에 귀하가 실제로 말할 수 있는 것은 각 추정 가능한 효과가 0과 같다는 귀무 가설을 기각하는 데 실패했다는 것뿐입니다.
Re: 스크리닝 설계 - 효과가 유의하지 않은지 또는 반복실험을 수행하지 않고 전체 데이터가 좋지 않은지(유의한 변동) 여부를 어떻게 알 수 있습니까?먼저 커뮤니티에 오신 것을 환영합니다. 몇 가지 아이디어를 제공하기 위해 노력할 것이며 귀하의 상황에 대해 더 많은 정보를 제공하여 자유롭게 응답해 드리겠습니다.
피트는 몇 가지 훌륭한 점을 지적했습니다. 내 추가 생각은 다음과 같습니다.
1. 나에게 견고함이란 변화하는 소음에 대한 모델의 일관된 성능 (정량적으로 노이즈별 모델 상호작용의 부재). 소음은 주변 조건, 유입되는 화학 물질의 순도, 통의 청결도, 측정 시스템 오류, 특별히 제어되지 않는 X의 변동, 제어 수준 내에서의 X의 변동 등이 될 수 있습니다. 당신이 관리/통제하고 싶지 않은 요인들 ).
2. X 값을 동시에 기록하면서 반응 변수에 대한 데이터를 수집할 수 있습니까? 이 데이터를 사용하여 선형 회귀를 수행합니다. 응답 변수의 변동이 상대적으로 작고 X와 관계가 없기를 바랍니다. 이것은 X도 크게 다르지 않을 가능성 때문입니다(이것이 실제로 있을 수 있는 경우에도 인과 관계의 증거가 거의 없는 이유입니다).
3. 그들이 정말로 요구하는 것은 (내 생각에) 스크리닝 디자인을 하는 것이 아니라 X를 대담하게 변경하고 잠재적인 인과 관계를 발견하기 위한 것이므로 허용 오차 디자인과 같은 것입니다. 아마도 의미론적일 수 있지만 그들이 알고 싶은 것은 X의 정상적인 무작위 변동이 응답 변수에 영향을 미치는지 여부입니다. 따라서 x의 자연적 변동의 극단을 나타내는 수준을 선택하고 일종의 요인 설계를 실행합니다. 다른 노이즈 소스(차단, 반복, 분할 플롯 등)도 처리하기 위해 몇 가지 전략을 사용해야 한다고 생각합니다.
4. "무슨 말인지 잘 모르겠어" 실험자가 좋지 않은 데이터를 수집한 경우". 이것은 측정 시스템이 의심스럽다는 것을 의미합니까? 어떤 경우에 측정 시스템을 연구해야 하며 실험을 수행하는 경우 측정 구성 요소를 추정하고 설계의 정밀도를 높이기 위해 편차를 평균화하기 위해 반복적인 측정을 수행합니다.
Re: 스크리닝 설계 - 효과가 유의하지 않은지 또는 반복실험을 수행하지 않고 전체 데이터가 좋지 않은지(유의한 변동) 여부를 어떻게 알 수 있습니까?당신의 답변에 감사드립니다.내가 뭔가를 명확히 하자.
요인 A, B, C가 화학 반응에서 제품의 순도에 영향을 미칠 가능성이 있지만 극한에서 테스트한 경우에만 있다고 가정해 보겠습니다.순도에 아주 미미한 영향을 미치는 수많은 다른 요소(이를 X라고 합시다)가 있을 것입니다.이러한 다른 요인들은 순도에 미치는 영향이 미미하거나 공정이 공장으로 가는 설정점에서 정확하게 제어될 수 있다는 높은 신뢰도 때문에 연구에 포함되지 않았습니다.
이제 연구의 목표는 다른 모든 잡음 요소를 일정하게 유지하면서 A, B 및 C 요소를 체계적으로 변화시키는 실험실(가능한 한 큰 규모의 작업을 모방한 소규모)에서 실험을 수행하는 것입니다.
이러한 반응을 수행하는 화학자가 실험을 세심하게 수행하지 않은 가상 상황에서 A, B 및 C 요인을 연구에 필요한 지점에서 유지하지 않고 지정된 값에서 노이즈 요인을 제어하지 않음을 의미합니다. 잡음 요인의 조합이 요인 A, B 및 C의 체계적인 변동에서 나오는 실제 신호를 흐리게 하는 상황이 될 수 있습니다.이러한 상황에서 결과는 요소가 테스트된 범위 내에서 순도에 영향을 미치지 않음을 나타낼 수 있습니다.
실험이 의도한 대로 수행되지 않았기 때문에 결과가 신뢰할 수 없다고 말할 수 있는 방법이 있습니까?특히 매트릭스에 반복 실험이 없다면?
Re: 스크리닝 설계 - 효과가 유의하지 않은지 또는 반복실험을 수행하지 않고 전체 데이터가 좋지 않은지(유의한 변동) 여부를 어떻게 알 수 있습니까?statman에게 감사드립니다. P_Bartell에 대한 제 답변을 참조하십시오.
내가 제공한 추가 세부 정보를 참조하십시오.
Re: 스크리닝 설계 - 효과가 유의하지 않은지 또는 반복실험을 수행하지 않고 전체 데이터가 좋지 않은지(유의한 변동) 여부를 어떻게 알 수 있습니까?내가 생각할 수 있는 유일한 기술은 당신이 설명하는 시나리오에 사용할 수 있다는 것입니다. 실험 시도가 규정된 대로 실행된 경우 예상되는 결과에 대한 경험적 결과를 조사하는 것입니다. 분명히 예상된 응답과 관찰된 응답 사이에는 의심을 불러일으킬 만큼 큰 차이가 있어야 할 것입니다. 하지만 그것이 당신을 위한 유일한 생각입니다.
잠재적으로 유용한 정보 기술은 당신이 믿는 모델이 포함된 JMP 예측 프로파일러를 사용하는 것일 수 있습니다. 그런 다음 '새로운' 실험의 주어진 조합에 대해 '예상된 반응이 실제 반응에서 얼마나 멀리 떨어져 있습니까?' .예측 간격을 유익한 기준으로 사용합니다.
당신이 설명한 시나리오는 일반적으로 DOE에 대해 회의적인 팀이 있는 프로젝트에서 한 번 나에게 일어났습니다...나는 팀의 통계학자였으며 팀의 많은 사람들은 DOE가 흑마법과 유사하다고 느꼈습니다. 우리는 우리가 선택한 최적의 x를 기반으로 확인 시도를 실행했습니다. 거의 모든 응답에 대해 결과가 가깝지 않았습니다. 그래서 팀은 '무엇이 잘못되었나요?'를 찾기 위해 최고의 셜록 홈즈 모드로 들어갔습니다. 운영자가 의도적으로 핵심 x 요인 중 하나를 '우리가 항상 사용하는 것...시트에 쓰여진 이 말도 안되는 수준'으로 선택했다는 것이 밝혀졌습니다. 운영자를 루프에 넣지 않은 것에 대해 우리에게 부끄러운 일입니다. 우리는 프로세스 지식을 확인하기 위해 그 '어리석은 수준'을 원했습니다. 그래서 운영자가 실제로 선택한 것을 발견한 후 JMP Prediction Profiler를 실행하고 x factor...lo에 대해 부적절한 수준을 입력했습니다. 그리고 Profiler는 우리가 관찰한 형편없는 결과를 놀라운 정확도로 예측했습니다. 회의가 끝날 무렵에는 DOE 회의론자들조차 이겼습니다.
Re: 스크리닝 설계 - 효과가 유의하지 않은지 또는 반복실험을 수행하지 않고 전체 데이터가 좋지 않은지(유의한 변동) 여부를 어떻게 알 수 있습니까?여기 '잘못된 데이터'의 근본 원인을 감지하는 데 도움이 되지 않지만 예방하는 데 도움이 되지 않는 두 번째 아이디어가 있습니다...개인 경험에서 비롯된 것입니다. 내 고용주(주로 새로운 프로세스/제품 개발 공간에서)에서 수많은 프로젝트에 대해 DOE 컨설팅을 몇 년 후, 실제로 실험을 실행하는 사람들이 '자신의 손으로 일을 처리'할 것이라는 생각이 너무 자주 들었습니다. 우리가 원하는 바를 법의 서한에 따르지 않고 실험적으로 실행했습니다.
예를 들어, 실험의 무작위화는 운영자가 무작위 방식으로 재설정 요인을 발견하고 실험을 덜 고통스럽게 만들기 위해 '인자 변경에 대한 고통' 실행을 함께 그룹화했기 때문에 종종 곁길로 떨어졌습니다. 아야...무작위가 진행되고... 분할 플롯 디자인을 지정하지 않았습니다. 그래서 바로 거기에서 우리는 '나쁜 데이터'에 대한 가능성을 열어 둡니다.
그래서 제가 주장하기 시작한 것은 실험이 실행될 때 참석하고 관찰하고 운영자와 함께 진행하는 동안 도움을 주려고 노력하는 것이었습니다. 나는 이것이 몇 가지 이점이 있다는 것을 발견했습니다. 하나는 위의 시나리오처럼 우리가 원하지 않는 방식으로 결과에 영향을 미칠 수 있는 무언가를 종종 보았습니다. 나는 우리가 지정한 임의의 순서로 실험을 실행하고 ... 스스로 문제를 해결하지 말 것을 주장합니다. 팀워크 측면에서... 또한 흰색 셔츠를 입은 통계학자인 제가 기꺼이 실험실에 가거나 작업장에 나가 손을 더럽히고 때로는 밤샘이나 다른 모든 노동자들과 함께 묘지를 바로 이동하고... 그리고 프롤레타리아트에게 선언문을 발표하면서 하루 종일 내 상아 사무실에 앉아 있지 않습니다.
Re: 스크리닝 설계 - 효과가 유의하지 않은지 또는 반복실험을 수행하지 않고 전체 데이터가 좋지 않은지(유의한 변동) 여부를 어떻게 알 수 있습니까?나는 당신이 그들에 동의하지 않을 수도 있지만 내 생각을 공유합니다. 복제된 설계는 실험에 노이즈를 포함하는 한 가지 방법일 뿐입니다. 복제되지 않은 디자인은 매우 유용할 수 있습니다. 저는 요인 관계 다이어그램을 사용하여 실험에서 설계 요인과 노이즈 요인 간의 관계를 그래픽으로 표시합니다. 이렇게 하면 비교의 기초를 구성하는 요소를 이해하고 해당 소음이 미래 조건을 나타내는지 여부를 결정하기 위해 과학적/공학적 판단을 사용할 수 있으며 그러한 소음의 잠재적 효과에 대한 생각과 가설 개발을 자극할 수 있습니다. 노이즈 분할은 추론 공간에 부정적인 영향을 미치지 않으면서 설계 정밀도를 높이는 데 매우 유용할 수 있습니다.
당신의 진술 " 이제 연구의 목표는 실험실에서 (가능한 한 대규모 작업을 모방한 소규모로) 요인 A, B 및 C를 체계적으로 변경하면서 실험을 수행하는 것입니다. 다른 모든 소음 요인을 일정하게 유지 ." 나에게 의미가 없습니다. 첫째, 목표는 IMHO여야 합니다. 화학적 순도에 영향을 미치는 인과구조! 둘째, 소음은 정의상 제어할 의사가 없거나 제어할 수 없는 요소의 집합입니다. 데이터를 수집하는 방법은 실험을 사용하는 것입니다(조작이 수행되지 않고 데이터를 샘플링하고 합리적으로 하위 그룹화하는 방법을 통해 소스를 분할하는 데 의존하는 방향 샘플링 대신). 전체 실험에 대해 잡음을 일정하게 유지하는 것은 영원히 일정하게 유지하려는 의도가 아니라면(그리고 잡음을 제어하는 데 추가 비용을 지불하려는 의도가 아니라면) 끔찍한 생각입니다.
아시다시피 Fisher는 노이즈가 다양하고 결과에 영향을 줄 수 있다는 현실에 직면했을 때 결과적으로 추론 공간이 너무 좁아 쓸모가 없었기 때문에 이것이 잘못된 생각이라는 것을 발견했습니다(농업 실험에 대한 Fisher 논문 참조). 그는 노이즈를 처리하기 위해 차단 기술을 도입하여 노이즈가 블록 내에서 일정하게 유지되고 의도적으로 블록 간에 변경되므로 추론 공간을 확장하고 설계의 정밀도를 동시에 높일 수 있습니다. 또한 견고성의 척도인 블록별 상호작용을 추정할 수 있습니다.
"할 수 있는 것을 차단하고 불가능한 것을 무작위화" GEP 상자
Shewhart는 Shewhart 주기에서 "연구를 가능한 한 소규모로 수행하십시오"라고 제안했으며 의도한 것은 소규모 연구에서 실제 세계 조건을 시뮬레이션하려는 것이라고 생각합니다. 나는 이것을 하는 방법이 아주 짧은 시간(실험)에 노이즈의 장기적인 변화를 포착하기 위해 노이즈의 영향을 과장하는 것이라고 생각합니다.
즉, 귀하의 질문에 대답하기 위해 의사 베이지안 철학을 사용합니다. 나는 과학자/엔지니어가 실험의 각 처리에 대한 데이터를 예측하고(물론 선험적으로 엔지니어 가설에 의해 편향됨), 가능한 모든 결과를 예측하고(편향을 완화하기 위해) 가능한 모든 결과에 대해 취할 조치를 예측하도록 합니다. . 이는 실험 분석에 대한 컨텍스트를 제공하고 데이터 평가에 대한 실용적인 접근 방식을 제공합니다. 예를 들어, 예상한 것과 크게 다른 치료 결과를 얻은 경우 해당 데이터를 설명할 수 있습니까(가설 또는 수정된 가설). 그렇지 않은 경우 해당 치료의 실행에 의문을 제기하거나 다른 상황이 어떻게 진행되었는지 질문할 수 있습니다. 해당 처리를 실행하는 동안(그리고 데이터가 일치하지 않는 이유를 예측하면 무작위 효과를 찾을 가능성이 높아집니다).
루이 파스퇴르의 말을 인용한 "우연은 준비된 마음을 선호한다".
