선별 설계 - 반복실험을 수행하지 않고 효과가 중요하지 않은지 또는 전체 데이터가 좋지 않은지(유의한 변동) 어떻게 알 수 있습니까?화학 공정의 견고성을 보여주기 위해 우리는 선택된 매개변수(온도, 등가물, 시간 및 시약 비율)가 최종 제품의 품질(순도)에 영향을 미치지 않는다는 것을 규제 기관에 보여줄 필요가 있는 경우가 많습니다.이를 보여주기 위해 규제 당국은 스크리닝 설계 수행을 선호합니다.일반적으로 우리는 매개변수가 연구된 범위 내에서 해로운 영향을 미치지 않음을 보여 프로세스가 견고하다는 것을 보여주고 싶습니다.
내 질문은 실험자가 최대한의 정밀도로 수행하고 데이터에 어떤 요소(또는 상호작용 조건)도 품질에 영향을 미치지 않는 것으로 나타나는지 여부입니다. 그러면 괜찮습니다.실험자가 좋지 않은 데이터를 수집했는데 모델에서 어떤 요인도 영향력이 없는 것으로 나타나면 데이터와 모델을 신뢰할 수 있는지 어떻게 알 수 있을까요?어쨌든, 특히 변화를 확인하기 위한 반복 실행이 없는 경우에도 있습니까?
확정 선별 설계에 반복 실험이 반드시 포함되는 것은 아닌데, 반응에 상당한 변동성이 있는지 어떻게 알 수 있습니까?
실험 설계Re: 선별 설계 - 반복실험을 수행하지 않고 효과가 중요하지 않은지 또는 전체 데이터가 좋지 않은지(유의한 변동) 어떻게 알 수 있습니까?나는 이미 귀하의 질문에 대한 답변을 제공했다고 생각합니다. 화려하지 않을 수도 있지만, 과학자/엔지니어의 눈으로 해석하는 것이 합리적이고 논리적인 접근이라고 생각합니다. 실제 분석(결과를 얻기 전에 결과를 예측하면 크게 향상됨)을 통해 결과가 합리적인지 또는 "전부" 있는지 평가할 수 있다면 뭔가 제대로 수행되지 않았다는 단서를 얻을 수 있습니다. 모델을 개발하고 잔차, RMSE, R-square-Rsquare-Adj 델타, p-값 등을 살펴볼 수 있다고 가정합니다. 알. 모델이 프로세스를 얼마나 잘못 설명하는지 확인합니다.
Re: 선별 설계 - 반복실험을 수행하지 않고 효과가 중요하지 않은지 또는 전체 데이터가 좋지 않은지(유의한 변동) 어떻게 알 수 있습니까?나는 "모든 소음 요인을 일정하게 유지한다"는 내 말이 진정한 의미에서 정확하지 않다는 데 동의합니다.그러나 이 맥락에서는 "소음"에 대한 나의 정의가 다릅니다.예를 들어 보겠습니다.
내 반응이 물에 별로 민감하지 않다고 가정해 보겠습니다.반응 매체의 수분 함량을 측정할 필요는 없습니다.그러나 물의 양이 20% 정도라면 품질에 영향을 줄 수 있습니다.이번에도 반응을 왜곡할 만큼 충분히 중요합니다.화학자가 적절하게 건조된 실험실 규모 반응기(일반적인 관행)에서 화학 반응을 수행하는 경우에는 문제가 되지 않습니다.그러나 화학자가 실험실 규모 반응기를 건조시키는 작업을 조잡하게 수행했고 상당히 젖은 반응기를 가져와 설계표에 있는 실험 중 하나(또는 여러 개)를 수행했다고 가정해 보겠습니다. 그러면 결과는 신뢰할 수 없습니다.좋은 실험실 관행에서는 이런 일이 일어나서는 안 되지만, 저는 이상적이지 않은 조건에 대해 이야기하고 있습니다.이는 우리가 연구할 요소는 아니지만 화학자가 지침을 제대로 따르지 않으면 심각한 영향을 미칠 수 있습니다.내가 "소음"이라고 말한 것은 이와 같은 상황을 의미했습니다.이제 설계 표의 실험이 적절하게 건조된 반응기 일부와 부분적으로 건조된 반응기, 전혀 건조되지 않은 반응기를 사용하여 수행된 경우입니다. 지시 사항은 적절하게 건조된 반응기에서 모든 실험을 수행하는 것이지만 결과는 완전히 끝날 수 있습니다.
이 시나리오에서는 분석을 통해 데이터가 신뢰할 수 없다는 것을 알아내는 것이 가능합니까?
Re: 선별 설계 - 반복실험을 수행하지 않고 효과가 중요하지 않은지 또는 전체 데이터가 좋지 않은지(유의한 변동) 어떻게 알 수 있습니까?귀하의 의견에 진심으로 감사드리며, 운영자가 문제를 직접 처리하는 것과 한 매개변수에 대해 다른 매개변수에 대한 "내재적 편견"을 완전히 이해하고 있습니다.나는 그것에 연결할 수 있고 제안은 잘 받아들여졌습니다.
Re: 선별 설계 - 반복실험을 수행하지 않고 효과가 중요하지 않은지 또는 전체 데이터가 좋지 않은지(유의한 변동) 어떻게 알 수 있습니까?비록 당신이 동의하지 않더라도 나는 내 생각을 공유할 것입니다. 복제된 설계는 실험에 노이즈를 포함시키는 한 가지 방법일 뿐입니다. 복제되지 않은 디자인은 매우 유용할 수 있습니다. 실험에서 설계 요인과 잡음 요인 간의 관계를 그래픽으로 표시하기 위해 요인 관계 다이어그램을 사용합니다. 이렇게 하면 어떤 요소가 비교의 기초를 구성하는지 이해하고 과학적/공학적 판단을 사용하여 해당 소음이 미래 조건을 대표하는지, 그러한 소음의 잠재적 영향에 대한 생각과 가설 개발을 자극할 수 있는지 확인할 수 있습니다. 노이즈를 분할하는 것은 추론 공간에 부정적인 영향을 주지 않으면서 설계 정밀도를 높이는 데 매우 유용할 수 있습니다.
귀하의 진술 " 이제 연구의 목표는 실험실에서 (가능한 한 대규모 작업을 모방하는 소규모로) 요인 A, B 및 C를 체계적으로 변화시키는 실험을 수행하는 것입니다. 다른 모든 소음 요인을 일정하게 유지 ." 이라는 말은 나에게는 아무 의미가 없습니다. 첫째, 목표는 IMHO가 되어야 합니다. 화학적 순도에 영향을 미치는 인과구조! 둘째, 정의에 따르면 소음은 통제할 의향이 없거나 제어할 수 없는 일련의 요소입니다. 데이터를 수집하는 방법은 실험을 사용하는 것입니다(조작이 수행되지 않고 데이터를 샘플링하고 합리적으로 하위 그룹화하는 방법을 통해 소스를 분할하는 직접 샘플링 대신). 전체 실험에 대해 노이즈를 일정하게 유지하는 것은 노이즈를 영원히 일정하게 유지하려는 의도가 아닌 이상(그리고 노이즈 제어에 추가 비용을 지불하지 않는 한) 끔찍한 아이디어입니다. 물론 노이즈가 아닌 해당 요소를 제어할 수 있게 됩니다.
아시다시피 Fisher는 소음이 다양하고 결과에 영향을 미칠 수 있다는 현실에 직면했을 때 결과 추론 공간이 너무 좁아서 쓸모가 없기 때문에 이것이 나쁜 생각이라는 것을 발견했습니다(농업 실험에 대한 Fisher의 논문 참조). 그는 노이즈를 처리하기 위한 차단 기술을 도입하여 노이즈가 블록 내에서 일정하게 유지되고 의도적으로 블록 간에 변경되므로 추론 공간을 확장하는 동시에 설계의 정밀도를 높일 수 있습니다. 또한 견고성의 척도인 블록별 상호 작용을 추정할 수 있습니다.
"할 수 있는 것은 차단하고, 할 수 없는 것은 무작위로 지정" GEP 상자
Shewhart는 Shewhart Cycle에서 "바람직하게는 소규모로 연구를 수행"할 것을 제안했습니다. 저는 의도된 바가 소규모 연구에서 실제 세계 조건을 시뮬레이션하려는 것이라고 믿습니다. 내 생각에 이 작업을 수행하는 방법은 매우 짧은 기간(실험)에서 소음의 장기적인 변화를 포착하기 위해 소음 효과를 과장하는 것이라고 생각합니다.
즉, 귀하의 질문에 대답하기 위해 나는 의사 베이지안 철학을 사용합니다. 나는 과학자/엔지니어에게 실험의 각 처리에 대한 데이터를 예측하고(물론 선험적으로 엔지니어의 가설에 의해 편향됨) 가능한 모든 결과를 예측하고(편향을 완화하기 위해) 가능한 모든 결과에 대해 어떤 조치를 취할지 예측하도록 합니다. . 이는 실험 분석에 대한 맥락을 제공하고 데이터 평가에 대한 실용적인 접근 방식을 제공합니다. 예를 들어, 예상했던 것과 크게 다른 치료 결과를 얻은 경우 해당 데이터를 설명할 수 있습니까(가설 또는 수정된 가설). 그렇지 않은 경우 해당 치료의 실행에 의문을 제기하거나 다른 일이 진행 중인지 의문을 제기할 수 있습니다. 해당 처리를 실행하는 동안(데이터가 일치하지 않는 이유를 예측하면 무작위 효과를 찾을 가능성이 높아집니다)
루이 파스퇴르(Louis Pasteur)의 "기회는 준비된 사람에게 주어진다"라는 명언을 인용한 것입니다.
Re: 선별 설계 - 반복실험을 수행하지 않고 효과가 중요하지 않은지 또는 전체 데이터가 좋지 않은지(유의한 변동) 어떻게 알 수 있습니까?여기에 '잘못된 데이터'의 근본 원인을 감지하는 데 도움이 되지 않지만 이를 예방하는 데 도움이 되지 않는 두 번째 아이디어가 있습니다. 개인적인 경험을 바탕으로 한 것입니다. 내 고용주(주로 새로운 프로세스/제품 개발 공간)에서 수많은 프로젝트에 대해 몇 년간 DOE 컨설팅을 한 후 실제로 실험을 실행하는 사람들이 우리가 좋아하는 것보다 너무 자주 '일을 스스로 해결'한다는 사실을 깨달았습니다. 실험적인 실행에서 우리가 원하는 것을 법의 조항을 따르지 않았습니다.
예를 들어, 실험의 무작위화는 운영자가 무작위 방식으로 요인을 재설정하는 것이 고통스럽다는 것을 발견하고 실험을 덜 고통스럽게 만들기 위해 '인자 변경에 대한 고통'을 함께 그룹화했기 때문에 종종 중단되었습니다. 아...무작위화가 진행되고 있습니다...그리고 분할 플롯 디자인을 지정하지 않았습니다. 그래서 바로 거기에서 우리는 '나쁜 데이터'의 가능성을 열어 놓습니다.
그래서 제가 주장하기 시작한 것은 실험이 진행되는 동안 현장에 서서 관찰하고 운영자와 함께 도움을 주려고 노력하는 것이었습니다. 나는 이것이 여러 가지 이점이 있다는 것을 알았습니다. 하나는 위의 시나리오와 같이 우리가 원하지 않는 방식으로 결과에 영향을 미칠 수 있는 일을 자주 보았다는 것입니다. 나는 우리가 지정한 무작위 순서로 실험을 실행하고 문제를 스스로 해결하지 않을 것을 주장합니다. 팀워크 측면에서... 흰색 셔츠를 입은 통계학자인 제가 실험실이나 작업 현장에 기꺼이 들어가 손을 더럽히고 때로는 밤샘 작업을 했기 때문에 운영자와 거리에서 신뢰를 쌓는 데 도움이 되었습니다. 다른 모든 일하는 직원들과 함께 묘지 교대 근무를 하고...그리고 하루 종일 내 상아 사무실에 앉아 프롤레타리아트에게 선언문을 발표하지 마십시오.
Re: 선별 설계 - 반복실험을 수행하지 않고 효과가 중요하지 않은지 또는 전체 데이터가 좋지 않은지(유의한 변동) 어떻게 알 수 있습니까?내가 생각할 수 있는 유일한 기술은 설명하는 시나리오에 사용할 수 있는 방법은 실험 시험이 규정대로 실행된 경우 예상되는 경험적 결과를 검토하는 것입니다. 분명히 예상된 반응과 관찰된 반응 사이에는 의심을 불러일으킬 만큼 큰 차이가 있어야 할 것입니다. 하지만 그것이 제가 여러분을 위한 유일한 생각입니다.
잠재적으로 도움이 되는 정보 기술은 자신이 믿는 모델이 포함된 JMP 예측 프로파일러를 사용하는 것입니다. 그런 다음 주어진 '새로운' 실험 조합에 대해 '예측 반응과 실제 반응이 얼마나 멀리 떨어져 있습니까?'라고 질문해 보세요. .정보 기준으로 예측 구간을 사용합니다.
당신이 설명한 시나리오는 일반적으로 DOE에 회의적인 팀이 있는 프로젝트에서 실제로 나에게 일어났습니다. 나는 팀의 통계학자였고 팀의 많은 사람들이 DOE가 흑마술과 유사하다고 느꼈습니다. 우리는 선택한 최적의 x를 기반으로 확인 시험을 실행했습니다. 우리의 거의 모든 응답에 대한 결과는 가깝지도 않았습니다. 그래서 팀은 '무엇이 잘못되었나요?'를 찾기 위해 최선의 셜록 홈즈 모드에 들어갔습니다. 운영자가 의도적으로 주요 x 요소 중 하나를 '우리가 항상 사용하는 것...시트에 적힌 이 말도 안되는 수준이 아닌' 것으로 선택한 것으로 나타났습니다. 운영자를 루프에 두지 않은 것이 부끄럽습니다. 우리는 프로세스 지식을 확인하기 위해 '어리석은 수준'을 원했습니다. 그래서 운영자가 실제로 무엇을 선택했는지 알아낸 후 저는 JMP 예측 프로파일러를 실행하여 x 요인에 대해 부적절한 수준을 입력했습니다. 그런데 프로파일러가 우리가 관찰한 형편없는 결과를 놀랄 만큼 정확하게 예측했습니다. 회의가 끝날 무렵에는 DOE 회의론자들조차 승리했습니다.
Re: 선별 설계 - 반복실험을 수행하지 않고 효과가 중요하지 않은지 또는 전체 데이터가 좋지 않은지(유의한 변동) 어떻게 알 수 있습니까?statman에게 감사드립니다. P_Bartell에 대한 내 답변을 참조하십시오.
제가 제공한 추가 세부정보를 참조하세요.
Re: 선별 설계 - 반복실험을 수행하지 않고 효과가 중요하지 않은지 또는 전체 데이터가 좋지 않은지(유의한 변동) 어떻게 알 수 있습니까?당신의 답변에 감사드립니다.뭔가를 명확히하겠습니다.
요인 A, B, C가 화학 반응에서 제품의 순도에 영향을 미칠 가능성이 있지만 이는 극단적인 테스트를 거친 경우에만 가능합니다.순도에 매우 미미한 영향을 미치는 수많은 다른 요소(X라고 부르겠습니다)가 있습니다.이러한 다른 요소들은 순도에 미미한 영향만 미치거나 프로세스가 공장으로 진행됨에 따라 설정 지점에서 정확하게 잘 제어될 수 있다는 높은 신뢰도를 갖기 때문에 연구에 포함되지 않습니다.
이제 연구의 목표는 다른 모든 잡음 요인을 일정하게 유지하면서 요인 A, B 및 C를 체계적으로 변화시키는 실험실에서 실험(가능한 한 대규모 작업을 모방하는 소규모)을 수행하는 것입니다.
이러한 반응을 실행하는 화학자가 실험을 세심하게 수행하지 않은 가상의 상황에서, 즉 연구에 필요한 지점에서 A, B 및 C 인자를 유지하지 않고 지정된 값에서 잡음 인자를 제어하지 않는다는 의미입니다. 잡음 요인의 조합이 요인 A, B, C의 체계적인 변화에서 나오는 실제 신호를 흐리게 하는 상황이 될 수 있습니다.그러한 상황에서 결과는 요소가 테스트된 범위 내에서 순도에 영향을 미치지 않는다는 것을 나타낼 수 있습니다.
실험이 의도한 대로 진행되지 않았기 때문에 결과를 신뢰할 수 없다고 말할 수 있는 방법이 있나요?특히 매트릭스에 반복 실험이 없다면?
Re: 선별 설계 - 반복실험을 수행하지 않고 효과가 중요하지 않은지 또는 전체 데이터가 좋지 않은지(유의한 변동) 어떻게 알 수 있습니까?먼저, 커뮤니티에 오신 것을 환영합니다. 우리는 귀하에게 몇 가지 아이디어를 제공하려고 노력할 것이며, 귀하의 상황에 대해 더 많은 정보를 제공해 주시기 바랍니다.
피트는 몇 가지 훌륭한 점을 제시했습니다. 내 추가 생각은 다음과 같습니다.
1. 나에게 견고함이란 노이즈 변화에 따른 모델의 일관된 성능 (정량적으로 모델별 노이즈 상호 작용이 없음) 소음은 주변 조건, 들어오는 화학 물질의 순도, 통의 청결도, 측정 시스템 오류, 특별히 제어되지 않는 X의 변화, 제어 수준 내에서 X의 변화 등이거나 소음을 정의할 수 있습니다. 관리/통제하고 싶지 않은 요인 ).
2. X 값을 기록하는 동시에 반응 변수에 대한 데이터를 수집할 수 있습니까? 이 데이터를 사용하여 선형 회귀를 수행합니다. 반응 변수의 변동이 상대적으로 작고 X와 관계가 없기를 바랍니다. 이는 X가 크게 변하지 않을 가능성 때문입니다(이것이 실제로 인과 관계가 있을 수 있음에도 불구하고 인과 관계에 대한 증거가 거의 없는 이유입니다).
3. 그들이 실제로 요구하는 것은 선별 설계를 수행하라는 것이 아닙니다. 이 설계의 목적은 X를 대담하게 변경하고 잠재적인 인과관계를 발견하는 것이기 때문에 공차 설계와 더 유사한 것입니다. 아마도 의미론일 수도 있지만 그들이 알고 싶은 것은 X의 정상적인 무작위 변형이 응답 변수에 영향을 미치는지 여부입니다. 따라서 x의 자연적 변동의 극단을 나타내는 수준을 선택하고 일종의 요인 설계를 실행하십시오. 나는 다른 노이즈 소스(차단, 반복, 분할 플롯 등)도 처리하기 위해 몇 가지 전략을 사용해야 한다고 생각합니다.
4. "라는 말이 무슨 뜻인지 잘 모르겠습니다. 실험자가 수집한 데이터가 좋지 않은 경우." 이는 측정 시스템이 의심스럽다는 뜻인가요? 어떤 경우에는 측정 시스템을 연구해야 하며 실험을 수행하는 경우 반복 측정을 수행하여 측정 구성 요소를 추정하고 평균을 구하여 설계의 정밀도를 높일 수도 있습니다.
Re: 선별 설계 - 반복실험을 수행하지 않고 효과가 중요하지 않은지 또는 전체 데이터가 좋지 않은지(유의한 변동) 어떻게 알 수 있습니까?몇 가지 생각을 해보겠습니다.
첫째: 반응의 변동이 요인 변동으로 인해 숨겨져 있을 수 있는 신호를 압도하는 경우 세 가지 원인 중 하나가 있습니다.
1. 과도한 측정 시스템 변형. 이 시나리오에서 반응 변동의 주요 원인은 주로 측정 시스템 변동입니다. 측정 시스템을 위한 지속적인 프로세스 제어 시스템이 마련되어 있습니까? 측정 시스템의 고유한 '정상' 변동을 알고 계십니까? 그렇지 않다면 요인 변동으로 인한 '효과 없음'이라는 결론이 실제인지 아니면 단지 과도한 측정 시스템 변동으로 인한 착각인지 결코 알 수 없습니다.
2. 반응 변화를 증가시키는 방식으로 실험 과정에 영향을 미치는 소음/불쾌한 변수. 실험을 수행하는 동안 이러한 유형의 영향을 항상 경계하는 것이 중요합니다. 확실히 알 수 없기 때문에 이는 까다로운 문제입니다. 하지만 실험 수행 및 계획 중에 독립적인 제3자가 주의 깊게 관찰하는 것이 도움이 될 수 있습니다.
3. 정말 아무 일도 일어나지 않아요...
전반적으로, 귀하의 질문은 가설 테스트의 핵심입니다. '요인에 아무 일도 일어나지 않는다'는 귀무 가설을 '수용'할 수는 없습니다. 단지 이를 거부하는 데 실패할 뿐입니다. 당신이 설명한 경우에 당신이 실제로 말할 수 있는 것은 각각의 추정 가능한 효과가 0과 같다는 귀무가설을 기각하지 못했다는 것뿐입니다.
