DOE에서 전력 분석을 고려해야 합니까?누군가 나에게 DOE를 평가할 때 전력을 80% 이상으로 유지해야 한다고 말했는데 PB 설계를 사용할 때 전력이 왜 그렇게 낮습니까? 예를 들어 11개의 요인으로 12번의 실험을 실행하면 검정력은 약 0.27입니다. 저전력으로 이 디자인을 신뢰할 수 있습니까? 감사합니다.
실험 설계Re: DOE에서 전력 분석을 고려해야 합니까?@Victor_G 의 답변이 정말 좋습니다.
질문 2에서 알파 = 0.5 및 RMSE = 1만을 기준으로 전력을 계산할 수 없다고 덧붙입니다. 이전 회신에서 말했듯이 감지해야 하는 신호 크기의 추정치도 필요합니다.
또한 Excel에서 전력을 계산하는 것이 쉽지 않을 것이라고 덧붙입니다. 나는 이것을 시도하지 않는 것이 좋습니다.
힘을 정말로 이해하고 싶다면 대신 몇 가지 시뮬레이션을 실행하는 것이 좋습니다.
1. 실험 디자인 만들기
2. 각 "활성" 요인 효과에 대한 매개변수를 사용하여 각 실행에 대한 반응을 계산하기 위한 모델을 결정합니다(JMP에서는 "예상 계수").
3. 각 응답 값에 무작위 노이즈를 추가합니다(예: 표준 편차 1, 평균 0).
4. 시뮬레이션된 데이터를 분석하여 결정된 알파 수준에서 활성 효과가 중요한지 확인합니다(0.05가 가장 자주 사용되며 0.5는 이상한 선택입니다!).
5. 새로운 무작위 노이즈로 3단계와 4단계를 여러 번 반복합니다.
6. 각 활성 효과가 중요하다고 선언된 횟수를 세십시오.
활성 효과가 중요하다고 선언된 횟수의 비율이 JMP에서 계산한 검정력과 일치해야 합니다.
이와 같은 시뮬레이션은 JMP Pro에서 매우 쉽게 할 수 있습니다. 실제로는 다음과 같은 상황에서 사용됩니다. 선험적으로 전력 추정이 불가능합니다. 예를 들어 응답이 이진인 경우입니다. 마케팅 회사가 판촉에 대한 응답(응답/응답하지 않음)에 영향을 미치는 요인을 이해하기 위해 실험의 힘을 결정하는 데 이것을 사용한 적이 있습니다!
JMP에서 이러한 종류의 시뮬레이션을 수행하려면 더 많은 노력이 필요하고 약간의 스크립팅이 필요합니다. 하지만 여전히 Excel에서 힘을 계산하는 것보다 시간을 더 잘 사용한다고 생각합니다.
Re: DOE에서 전력 분석을 고려해야 합니까?에 추가 @Victor_G 의 설명에 따르면 '매크로' 보기는 분산 분석 테이블의 F-비율로 구체적으로 답변됩니다. 귀무 가설은 절편 매개변수만 0이 아니라는 것입니다. 대안 가설은 절편이 0이 아니라는 것입니다. '마이크로' 보기는 효과 테스트에서 제공하는 용어 수준 테스트이거나 매개변수 추정에서 제공하는 매개변수 수준입니다. 효과 테스트는 매개 변수 추정 테스트가 개별 매개 변수를 다루는 전체 기간을 처리합니다. 수준이 2개 이상인 범주형 요인이 없는 한 동일합니다. 효과 테스트는 일반적으로 매개변수가 아닌 항을 제거하기 때문에 모델 선택에 더 유용할 수 있습니다. 효과 검정은 F-비를 기반으로 하고 모수 추정치는 t-비를 기반으로 합니다. t 비율은 (추정치 - 가설 추정치) / 추정치의 표준 오차입니다. 그들은 이러한 테스트에 대해 값이 0(영향 없음)이라고 가정했습니다.
Re: DOE에서 전력 분석을 고려해야 합니까?안녕 @lazzybug ,
귀하의 질문에 최선을 다해 답변해 드리겠습니다.
1. DoE에서는 "매크로" 보기(모델 자체)와 "자세한" 보기(각 매개변수의 중요성)에서 가설 테스트를 실현합니다. 이는 DoE의 응답 모델링에서 "최소 제곱 맞추기" 보고서에서 볼 수 있습니다. 여기서 일반 모델에 대한 p-값이 제공됩니다("실제 vs. 예측" 시각화 아래). 모델이 얼마나 중요한지에 대한 아이디어를 제공합니다. 값의 평균과 "효과 요약표"의 각 요인에 대해 계산된 p-값.
- "매크로" 보기(전체 모델)에서 귀무 가설은 다음과 같습니다. 반응의 변화는 요인의 변화와 상관관계가 없습니다(또는 요인의 추정치는 0에 가깝습니다). 대안 가설은 응답의 변화가 적어도 하나의 요인과 상관관계가 있다는 것입니다(또는 적어도 하나의 요인이 0과 크게 다른 추정치를 가짐).
- "자세한 보기"(각 요인에 대해)에서 귀무 가설은 다음과 같습니다. 이 요인은 최종 결과에 영향을 미치지 않습니다(수준(-1) = 수준(+1)). 대립 가설: 이 요소는 최종 결과에 영향을 미칩니다(수준(-1) != 수준(+1)).
이 주제에 대한 흥미로운 리소스: 다변량 분석을 위한 실험 설계의 기본 사항 - JMP 사용자 커뮤니티
2. 어디서 그리고/또는 어떻게 찾을 수 있는지 확실하지 않지만 여기에서 답을 찾을 수 있습니다.
전력 계산(jmp.com)
예상 샘플 크기 및 검정력(jmp.com)
또한 샘플 데이터 색인(도움말 -> 샘플 데이터 -> 교육 리소스) 또는 통계 색인에서 "파워"를 검색하여 다양한 계산기와 시뮬레이션을 확인할 수 있습니다.
@Phil_Kay 및 기타 JMP 기술 전문가가 답변을 완성하거나 수정할 수 있습니다. 
이것이 도움이 되기를 바랍니다.
Re: DOE에서 전력 분석을 고려해야 합니까?안녕하세요 Victor, 귀하의 자료에 감사드립니다. 향후 최적화 작업을 위해 DSD를 우리 그룹에 도입할 예정입니다.
DoE에 대한 제 질문을 설명해 주시겠습니까?
1. 통계에서 유형 I 및 유형 II 오류를 DoE에 적용하는 방법을 알고 있었습니다. 예를 들어, 1종 오류(알파): H0이 참이면 거부할 확률입니다. 유형 II 오류(베타): Ha는 참이며 H0을 수락할 확률입니다. 특정 DoE의 경우 H0 및 Ha는 무엇입니까?6개의 요인이 있고 6개의 귀무가설이 있고 각 요인은 H0: 수준(-1) = 수준(+1), Ha: 수준(-1)!=수준(+1)?
2. JMP DoE에 표시된 대로 알파 = 0.5, RMSE = 1을 기반으로 주효과, 상호작용 및 2차 검정력을 수동으로 계산하는 방법을 설명하는 한 가지 예가 있습니까? Excel로 전력을 수동으로 계산하고 싶습니다.
다시 한 번 도움을 주셔서 감사합니다.
Re: DOE에서 전력 분석을 고려해야 합니까?안녕 @lazzybug ,
목표는 많은 요인 목록에서 유의미한 요인을 탐지하는 것이므로 확실히 선별 설계를 사용합니다.
내가 읽은 내용에 따르면 요인의 유형과 수에 따라 귀하의 경우에 매우 잘 작동할 수 있는 두 가지 주요 디자인이 있습니다.
- D-최적 맞춤 설계(플랫폼 "맞춤 설계"를 통해 요인과 범위를 지정하면 JMP가 실험 공간에 대한 최적의 설계를 찾습니다). 매우 편리한 설계 플랫폼으로 요인 유형에 대해 많은 유연성을 제공하고 무작위화를 억제할 수 있는 가능성(변경하기 어려운 요인이 있는 경우)과 공변량, 차단 요인을 추가할 수 있는 가능성이 있습니다.
- 매우 효율적인 방식으로 많은 요인(5개 이상의 요인에 유용함)을 선별하고 싶지만 이러한 유형의 설계에는 제한이 있는 확정 선별 설계: 연속 또는 2-수준 범주형 요인만 있고 추가 가능성 없음 차단 요인(예를 들어 장비 실행당 10개의 실험만 측정할 수 있는 경우 서로 다른 장비 실행 간의 가변성을 설명하기 위해 실행당 10개의 측정 차단 요인을 추가할 수 있습니다.) 그러나 유의한 요인의 수가 적은 경우 이 설계를 사용하여 상호 작용 및 2차 효과를 통해 선별할 수 있으므로 매우 효율적입니다. 주목해야 할 중요한 점은 주효과가 서로 상관관계가 없고(직교) 2요인 상호작용 및 2차 효과와도 관련이 있다는 것입니다.
Plackett-Burmann 선별 설계와 같은 보다 고전적인 접근 방식을 시도할 수도 있지만 이러한 고전적인 설계는 때때로 특정 문제에 맞추기 어려울 수 있습니다.
결국 설계 선택은 실험 설정(요인의 수와 유형, 제약 조건, 최대 실험 수 등)과 설계 사양/특성 사이에서 찾을 수 있는 최상의 절충안이 될 것입니다. 다양한 디자인과 실행 횟수를 시도하고 "디자인 비교" 플랫폼(DoE -> 디자인 진단 -> 디자인 비교)을 사용하여 각 디자인의 강점과 약점에 대한 좋은 개요를 파악하고 어떤 디자인과 설정이 적합한지 결정하는 것이 좋습니다. 특정 주제에 대해 최상의 절충안을 만듭니다.
어떤 설계를 선택하든 일단 선별이 완료되고 중요한 요인/주요 효과가 식별되면 설계를 보강하여 이러한 요인의 최적화를 위한 완전한 맞춤형 반응 표면을 생성할 수 있습니다.
확정 선별 설계에 대한 일부 리소스:
최종 선별 설계: 간단한 정의, 사용 시기 - 통계 방법
확정 선별 설계 - JMP 사용자 커뮤니티
최종 선별 설계의 강력한 분석: 설계의 특성 활용 - JMP 사용자 커뮤니티
도움이 되길 바랍니다.
Re: DOE에서 전력 분석을 고려해야 합니까?@Victor_G 그리고 @Phil_Kay , 설명해주셔서 정말 감사합니다. 전력과 RMSE를 이해하는 것이 매우 유용합니다. 질문이 하나 더 있습니다. 내 실험의 경우 선별 설계를 통해 내 반응에서 많은 요인 중 어떤 요인이 중요한지 탐지하고 싶습니다. 그런 다음 선택한 요인을 최적화하기 위해 반응 표면을 사용합니다. 실험하기 전에는 RMSE가 무엇인지, 전력 분석에서 어떤 계수를 설정해야 하는지 모릅니다. 내 실험을 어떻게 설계해야 하는지 자세히 설명해 주시겠습니까? 다시 한번 감사드립니다.
여기가 질문하기에 좋은 곳이라는 것을 방금 알았습니다. 이 커뮤니티를 더 일찍 알았기를 바랍니다.
Re: DOE에서 전력 분석을 고려해야 합니까?나는 모든 것에 동의한다 @Victor_G 말했다. 권력은 다음과 같은 경우에만 의미가 있음을 반복하고 싶습니다.
- 감지해야 하는 신호의 크기를 알고 AND...
- 실험 및 응답 측정 잡음(RMSE)에 대한 좋은 추정치를 가지고 있습니다.
(유의 수준도 결정해야 함)
이 중 하나 또는 둘 다를 놓치는 것은 매우 일반적입니다. 이러한 경우 전력은 여전히 유용할 수 있지만 대체 설계를 비교하는 방법으로만 사용할 수 있습니다.
JMP에서 기본 신호 및 노이즈 추정치를 사용하는 경우 검정력이 80% 미만인지 걱정할 필요가 없습니다.
JMP DOE에서 전력이 작동하는 방식을 설명하기 위해 제가 만든 슬라이드를 첨부했습니다.
도움이 되길 바랍니다.
필
Re: DOE에서 전력 분석을 고려해야 합니까?안녕 @lazzybug ,
검정력은 효과적으로 존재하는 경우 중요한 효과를 감지할 수 있는 능력입니다.
이 80%는 선별 설계가 주효과를 효율적으로 탐지할 수 있는지 평가하기 위한 실용적인 경험 법칙이지만, 검정력 계산은 설계(및 표본 크기)뿐만 아니라 유의성에도 의존한다는 점을 명심해야 합니다. 수준(종종 0,05), 감지할 차이 크기 및 응답의 예상 신호 대 잡음비(또는 RMSE).
따라서 예상 RMSE가 더 낮거나(응답이 더 정확하고 더 낮은 분산으로 측정됨) 탐지하려는 차이 크기가 더 크면 효과에 대해 더 높은 검정력을 기대할 수 있습니다.
검정력은 최적화 설계(혼합물 설계, 공간 채우기 설계...)의 경우 고려하기에 그리 흥미롭지 않을 수 있습니다. 왜냐하면 그들의 주요 초점은 추정 계산 정밀도가 아니라 응답 예측 정밀도에 있기 때문입니다. 그러나 귀하의 경우와 같이 스크리닝 디자인의 경우 권력이 주요 관심사입니다.
디자인 자체와 기대치(RMSE, 유의 수준, 탐지할 차이 크기 등)뿐만 아니라 어떤 요인을 선별할지에 따라 달라지기 때문에 이러한 정보로 디자인을 신뢰할 수 있는지 여부를 말하기 어렵습니다. , 감지할 것으로 예상되는 중요하고 예상되는 차이는 무엇입니까? = 도메인 전문성.
다른 스크리닝 디자인의 강점과 약점을 비교하기 위해 다양한 디자인을 계산해 보는 것이 한 가지 해결책이 될 수 있습니다.
사용자 정의 디자인을 보면 11개의 연속 요인(최소 런 수 필요)에 대해 12개의 실험을 고정하면 주효과에 대한 검정력도 0,21에 가깝습니다(따라서 유의미한 효과가 있는 경우 21%의 확률). 그러나 런 수를 16으로 늘리면(JMP에서 권장하는 "기본값" 설정) 주효과에 대한 검정력이 0.84까지 올라갑니다. 실험 비용이 만만치 않다면 표본 크기를 늘리는 것이 선별 능력에 대한 자신감을 얻는 데 많은 도움이 될 수 있습니다.
도움이 되길 바랍니다.
