비직교 실험 설계에서 효과 크기 찾기안녕하세요, 저는 JMP를 처음 사용해 보는 사용자인데 회귀 효과와 직교화 효과를 해석하는 방법에 대해 질문이 있습니다.
저는 시뮬레이션을 이용하여 3개 요인, 3개 수준(X, Y, Z)의 실험설계(DOE)를 실행하고 반응변수(힘)에 대한 주효과와 상호작용을 분석했습니다. 몇몇 실행이 누락되어 완전한 직교설계는 아닙니다.
Fit Model을 사용하여 회귀 분석을 실행하고 일반적인 출력값(추정치, t 비율, Prob>|t|)을 얻었습니다. 또한 직교 코딩된 효과를 사용하는 효과 스크리닝/파레토 플롯도 살펴보았습니다.
제가 실제로 무엇을 사용해야 할지 좀 헷갈립니다.
- 효과가 유의미한지 판단할 때 일반 회귀 분석 결과(p값)를 사용해야 할까요, 아니면 직교화된 p값을 사용해야 할까요?
- 반응에 미치는 영향의 크기를 보고할 때 회귀 계수, 직교 코딩 값, 또는 요인 범위에 걸친 예측 변화와 같은 것을 사용하는 것이 더 나을까요?
- JMP에서 직교 코딩된 효과를 보고할 때, 해당 효과는 여전히 중심화된 (X - 평균)(Y - 평균) 유형 항을 기반으로 하는 것입니까, 아니면 직교화로 인해 상호작용 해석에 사용되는 기준점이 변경되는 것입니까?
설계가 완벽하게 직교하지 않다는 점을 고려했을 때, 제가 모든 것을 제대로 해석하고 있는지 확인하고 싶습니다.
감사해요!
데이터 탐색 및 시각화실험 설계결과 공유 및 소통제목: 비직교 실험 설계에서 효과 크기 찾기안녕하세요 @RandomSquirrel1 님 ,
커뮤니티에 오신 것을 환영합니다!
제공해주신 정보와 맥락이 부족하여 정확한 도움과 안내를 드리기가 어렵습니다. 주제를 더 잘 이해하고 논의를 시작하는 데 도움이 될 만한 몇 가지 질문을 드리겠습니다.
- 연구의 목적은 무엇입니까? 특정 효과/용어를 파악하는 것, 현상을 예측하는 것, 반응을 최적화하는 것, 실험 공간을 탐색하는 것 등입니까?
- 어떤 유형의 설계를 만드셨나요? 3개의 요인 각각에 대해 3단계 척도를 사용하신 것으로 보아, 연속형 요인에 대해서는 I-Optimal, CCD 또는 Box-Behnken과 같은 반응 표면 모델 설계를, 범주형 요인에 대해서는 완전/부분/최적 요인 설계를 사용하신 것 같습니다. 이 설계에서 실행 횟수는 몇 회인가요? 반복 실행은 있나요?
- 누락된 실험 데이터는 몇 개이며, 어디에서 발생한 데이터입니까? 누락된 실험 데이터의 이유는 무엇입니까? (실험 수행 또는 반응 측정의 불가능/비현실성 때문입니까?)
먼저 누락된 행(제외된 행)을 포함한 설계와 의도한 전체 설계를 비교하여 누락된 행이 미칠 수 있는 영향을 평가해 보는 것이 좋습니다. 이를 위해 '설계 비교' 플랫폼을 사용하여 누락된 행이 있는 설계 테이블과 없는 설계 테이블을 비교할 수 있습니다. 이렇게 하면 별칭 구조의 변화와 모델 항들의 상대적 추정 효율성 변화를 파악하는 데 도움이 됩니다.
설계 상황을 평가한 후에는 매개변수 추정 패널에서 분산팽창계수(VIF) 값과 표준 오차를 확인하여 누락된 실행 데이터가 모델 항 추정에 얼마나 많은 다중공선성을 유발했는지 평가할 수 있습니다. VIF 값과 표준 오차는 일부 실행 데이터가 없는 경우 모델 항 추정치(및 관련 p값)의 신뢰도를 평가하는 데 도움이 됩니다.
직교화된 항의 효과와 p값을 일반적인 결과와 비교해 보겠습니다. 두 결과에서 모수 추정치에 실질적으로 중요한 변화가 있습니까? p값은 유사합니까? 실질적으로 중요한 효과가 반응에 영향을 미칩니까? 실질적 중요성과 통계적 유의성 모두 고려해야 합니다.
보고서 작성에 대한 질문에 대한 답변은 질문 내용 및 목표와도 관련이 있습니다. 무엇을 찾거나 연구하려고 하셨나요? 이러한 변화 중 어떤 것이 연구에 더 중요한 의미를 갖나요?
마지막 질문에 대해 답변드리자면, 직교정규화 과정은 원래 추정값을 사용하고, 공분산 행렬과 행 수 및 RMSE에 연결된 스케일링 계수를 이용하여 스케일링합니다. 만약 요인들이 '코딩' 열 속성을 통해 잘 정의되어 있다면, 직교정규화된 추정값은 중심화되고 스케일링된 추정값을 기반으로 합니다. 이러한 직교정규화된 추정값은 모델에서 항의 도입 순서 에 따라 달라지므로, 효과 유전성을 고려하여 순서를 지정하는 데 주의하시기 바랍니다.
이 토론 주제가 도움이 되기를 바랍니다.
제목: 비직교 실험 설계에서 효과 크기 찾기이 답변이 아직 게시되지 않았을 경우를 대비하여 다시 보내드립니다 (이전에 보낸 답변들이 표시되지 않고 있습니다).
안녕하세요, 빅터님.
답변해 주셔서 감사합니다.
좀 더 자세히 설명드리자면, 본 연구는 앵커의 기하학적 위치(X, Y, Z)가 부상 지표에 미치는 영향을 분석합니다. 목표는 어떤 방향이 가장 큰 영향을 미치는지 파악하고, 각 방향의 변화가 반응에 미치는 영향을 정량화하는 것입니다(예: 앵커를 최대 위치에서 최소 위치로 이동시키는 경우).
각 요인을 연속 변수로 취급하고, 수준을 -1, 0, 1로 코딩한 후 최소제곱법을 사용하여 1차 선형 회귀 모델을 적용했습니다. 각 구성에 대해 한 번씩 시뮬레이션을 수행했습니다.
물리적인 불가능성으로 인해 극단적인 위치에서는 일부 실행이 누락되었습니다.
• 첫 번째 DOE: 27개 중 3개 누락
• 두 번째 DOE: 27개 중 7개 누락
적합된 모델은 다음과 같습니다.
부상 = β₀ + β₁X + β2Y + β₃Z + β₄XY + β₅XZ + β₆YZ + β₇XYZ
모델 진단:
- VIF 값은 약 1.0에서 1.35 사이로 나타나 다중공선성이 낮음을 보여줍니다.
- 표준 오차는 약 0.4에서 약 1.1 사이였습니다.
제가 해석하려는 출력 결과는 다음과 같습니다.
• 어떤 주요 효과와 상호작용 효과가 중요한지 파악하기
• 각 효과의 크기 추정(예: 반응이 -1에서 +1로 변화하는 정도). 제 생각에는 코딩된 변수의 경우 이는 회귀 계수의 약 2배가 될 것 같습니다.
일반 회귀 분석 결과와 직교화된 결과를 비교했을 때, 유의미한 효과는 일반적으로 일관적이지만, 몇몇 경우에는 상호작용 항이 유의성 임계값 주변에서 약간 이동하는 것을 볼 수 있습니다(예: p = 0.048 대 0.051).
이러한 점을 고려할 때, 유의성을 판단하고 효과 크기를 해석하는 데 표준 회귀 분석 결과(추정치, t 비율, Prob>|t|)를 사용하는 것이 적절할까요?
도와주셔서 감사합니다!
제목: 비직교 실험 설계에서 효과 크기 찾기안녕하세요, 빅터님.
답변해 주셔서 감사합니다.
좀 더 자세히 설명드리자면, 본 연구는 앵커의 기하학적 위치(X, Y, Z)가 부상 지표에 미치는 영향을 분석합니다. 목표는 어떤 방향이 가장 큰 영향을 미치는지 파악하고, 각 방향의 변화가 반응에 미치는 영향을 정량화하는 것입니다(예: 앵커를 최대 위치에서 최소 위치로 이동시키는 경우).
각 요인을 연속 변수로 처리하고, 수준을 -1, 0, 1로 코딩한 후 최소제곱법을 사용하여 1차 선형 회귀 모델을 적용했습니다. 각 구성에 대해 한 번씩 시뮬레이션을 수행했습니다. 반응 변수의 범위는 40에서 55까지였습니다.
물리적인 불가능성으로 인해 극단적인 위치에서는 일부 실행이 누락되었습니다.
• 첫 번째 DOE: 27개 중 3개 누락
• 두 번째 DOE: 27개 중 7개 누락
적합된 모델은 다음과 같습니다.
부상 = β₀ + β₁X + β2Y + β₃Z + β₄XY + β₅XZ + β₆YZ + β₇XYZ
모델 진단:
- VIF 값은 약 1.0에서 1.35 사이로 나타나 다중공선성이 낮음을 보여줍니다.
- 표준 오차는 약 0.4에서 약 1.1 사이였습니다.
제가 해석하려는 출력 결과는 다음과 같습니다.
• 어떤 주요 효과와 상호작용 효과가 중요한지 파악하기
• 각 효과의 크기 추정(예: 반응이 -1에서 +1로 변화하는 정도). 제 생각에는 코딩된 변수의 경우 이는 회귀 계수의 약 2배가 될 것 같습니다.
일반 회귀 분석 결과와 직교화된 결과를 비교했을 때, 유의미한 효과는 일반적으로 일관적이지만, 몇몇 경우에는 상호작용 항이 유의성 임계값 주변에서 약간 이동하는 것을 볼 수 있습니다(예: p = 0.048 대 0.051).
이러한 점을 고려할 때, 유의성을 판단하고 효과 크기를 해석하는 데 표준 회귀 분석 결과(추정치, t 비율, Prob>|t|)를 사용하는 것이 적절할까요?
도와주셔서 감사합니다!
제목: 비직교 실험 설계에서 효과 크기 찾기안녕하세요 @RandomSquirrel1 님 ,
네, 감사합니다. 추가해주신 정보와 결과 덕분에 상황을 이해하는 데 큰 도움이 되었습니다.
제시하신 설계에서 요인, 수준 및 총 실행 횟수의 수를 고려할 때, 완전 요인 설계를 수행하신 것으로 추정됩니다. 이러한 설계는 모든 요인 수준의 조합을 검정하므로 (일부) 결측값에 대해 상당히 강건합니다. 이러한 진단은 얻어진 결과로 뒷받침되는 것으로 보입니다. 낮은 VIF 값과 직교화된 값과 일반 값 간의 작은 차이를 감안할 때, 표준 회귀 분석 결과를 사용하는 것이 적절해 보입니다.
네, 맞습니다. 주효과에 대한 모수 추정값은 다른 요인들이 고정된 상태에서 해당 요인이 0에서 1로 (또는 -1에서 0으로, 1단위 척도) 변할 때 반응값의 변화량을 나타냅니다. 즉, 범위의 절반에 해당하는 값입니다.
몇 가지 추가적인 의견을 말씀드리겠습니다.
- 모델이 회귀 분석 가정을 충족하는지 확인하려면 행 진단 플롯( 실제값 대 예측값 플롯 및 잔차 플롯)에서 패턴이 없는지 확인하십시오. 이는 모델이 데이터에 적절하게 맞는지, 모델에 누락된 항이 없는지(예: X*X, Y*Y, Z*Z와 같은 이차 효과를 모델에 추가해야 할 수 있음) 또는 특정 변환(예: Box-Cox 변환 )을 데이터에 적용해야 하는지 여부를 확인하기 위한 것입니다.
- 모델이 데이터에 적합한지 확인하려면 여러 지표를 활용하세요. 개별 p값과 각 항의 유의성은 좋은 출발점이지만, 이 정보만으로 모델에서 특정 항을 제거하는 것은 바람직하지 않습니다. 모델 적합도 요약(Summary of Fit )을 살펴보고, 특히 RMSE(예측 정확도), R²/R² 조정값(두 값의 차이도 최소화해야 함), 전체 모델의 통계적 유의성, 그리고 모델의 복잡성과 정확도 사이의 균형을 파악하는 데 도움이 되는 AICc/BIC 정보 기준(최소화해야 함)을 확인하세요. 통계적 유의성에 근접한 항이 있다면 모델에 유지하는 것이 좋습니다.
- 모델의 정확도가 적절한지 확인하는 데 도움이 되는 검증 실행을 통해 모델을 검증해 보세요. 이렇게 하면 계산된 모델 항에 대한 신뢰도도 높아집니다.
- 극단적인 위치를 피하면서 모델 검증을 실행하거나, 모델 검증이 성공적이지 못하여 제약 조건을 준수하면서 모델을 개선하고 적합성을 확인하기 위해 추가 실행이 필요한 경우, 증강 디자인 플랫폼을 사용하여 설계에 새로운 실행을 생성하고 요인 제약 조건을 지정하여 이러한 새로운 실행이 극단적인 위치에서 생성되지 않도록 할 수 있습니다.
이 답변과 향후 진행 가능한 단계들이 학습을 완료하는 데 도움이 되기를 바랍니다.
제목: 비직교 실험 설계에서 효과 크기 찾기몇 가지 의견/관찰 사항입니다(순서는 특별히 정해져 있지 않습니다).
맥락을 이해하는 데 도움이 되도록 X, Y 또는 Z가 부상 지표에 영향을 미치는 이유(가설)를 설명해 주시겠습니까? 모델 효과의 순위를 예측한다면 어떤 순서가 될 것 같습니까?
1. 1차 모델을 적합시켰다고 하셨는데... 정확히는 아닙니다. 모델에 2차 및 3차 상호작용을 포함시켰습니다. 요인 모델과 다항식 모델 모두 존재합니다.
2. 각 변수를 3단계로 검정했으므로 이차항도 추정할 수 있습니다. 그런데 왜 이 항들을 모델에서 제외했나요? 또는 비선형성에 관심이 없었다면 왜 3단계로 검정했나요?
3. 응답 변수가 "부상 지표"라고 되어 있는데, 이 응답에 대한 맥락이 없습니다. 구체적으로 무엇인가요? 시뮬레이션 실험에서 발생한 변동 범위가 40에서 55로 바뀌었는데, 이것이 실질적으로 어떤 의미가 있나요? 해당 지표의 변화가 어느 정도여야 의미가 있을까요? 지표가 1만큼 변하면 중요하게 생각하시나요? 5, 10만큼 변하면 어떤가요?
4. 시뮬레이션을 실행하고 있는데, 알고리즘(모델)이 이미 존재한다는 것을 알게 되었습니다. 알고리즘을 밝혀내려고 하는 것인가요? 시뮬레이션에서 물리적으로 불가능한 부분이 나타나는 이유는 무엇인가요?
5. 첫 번째 실험과 두 번째 실험이라는 게 무슨 뜻인가요? 이것들은 반복 실험인가요? 반복 실험 간에 무엇이 달라졌나요? 만약 두 실험이 동일한 처리 조합(반복 실험)이라면, 첫 번째 실험에서는 3이 불가능하고 두 번째 실험에서는 7이 불가능한 이유는 무엇인가요? 첫 번째 실험에서 누락된 실행 결과가 두 번째 실험에서 사용 가능한가요(또는 그 반대의 경우)?
6. 일반적으로 분석은 먼저 실질적 유의성을 판단하고, 그 기준이 충족되면 그래프 분석, 마지막으로 정량적 분석을 수행해야 합니다. 특이한 데이터 포인트가 있는지 확인해야 합니다. 정량적 분석은 포화 모델(무작위 반복 실험에서는 불가능할 수 있음)부터 시작해야 합니다. 평균 제곱 오차 추정치를 구성하는 요소(어떤 요인이나 노이즈)를 이해해야 합니다. 오차가 어떻게 추정되는지, 그리고 그 오차가 실제 변동을 대표하는지 여부를 알지 못하면 p값은 큰 의미가 없습니다. 조정된 R제곱은 기본적으로 최대화해야 하는 통계량이며, R제곱 - 조정된 R제곱 차이(과잉 사양 감소)를 최소화하는 것이 좋습니다.
참고로, 극단적인 정점을 구현하는 데 어려움이 있다면 Box-Behnken 설계가 권장됩니다.
제목: 비직교 실험 설계에서 효과 크기 찾기안녕하세요, statman님. 자세한 피드백 감사드립니다. 시간을 내어 검토해 주셔서 정말 감사합니다.
몇 가지 사항을 명확히 하자면:
제가 1차 선형 모델이라고 잘못 썼는데, 상호작용항이 포함된 선형 모델입니다. 세 가지 수준(-1, 0, 1)을 사용한 것은 설계 공간을 더 잘 나타내고 잠재적인 비선형성을 감지하는 동시에 앵커 위치 범위 전체에 걸쳐 주효과와 상호작용 효과를 더 정확하게 추정하기 위함입니다. 중간값은 선형 및 상호작용 계수 추정에 기여하고 선형성 가정을 검증하는 데 사용될 예정입니다.
실질적인 의미 측면에서, 반응 변수는 흉골 변위(mm)이며, 이는 부상 위험(예: 늑골 골절)과 직접적으로 연관됩니다. 이 수치의 비교적 작은 변화조차도 부상 확률의 의미 있는 증가로 이어질 수 있으므로, 결과 해석 시 통계적 의미와 실질적 의미를 모두 고려했습니다.
두 실험계획법(DOE)은 복제 실험이 아닌 서로 다른 기준점 구성에 해당하므로 누락된 실험 결과가 서로 다릅니다. 제외된 구성은 물리적으로 비현실적이거나 유효하지 않은 설정을 초래하는 극단적인 위치에 있었기 때문에 실행 불가능한 것으로 간주되었습니다.
말씀하신 모델 진단 부분을 더 자세히 살펴보겠습니다. 잔차 동작, 모델 적합도 지표(RMSE, R²/R² 조정값), 그리고 반복 실험이 없는 경우 오차항의 역할 등을 분석할 예정입니다. 이를 통해 추가 항(예: 이차 효과)이나 모델 개선이 필요한지 여부를 더욱 정확하게 평가할 수 있을 것입니다.
모델 진단 및 실제 해석에 대한 제안을 다시 한번 감사드립니다.
제목: 비직교 실험 설계에서 효과 크기 찾기안녕하세요, 빅터님.
추천해 주셔서 정말 감사합니다. 통계적 유의성만을 근거로 모델에서 항을 제거하는 데에는 신중을 기하겠습니다.
모델 출력 결과의 모수 추정치에 대해 질문이 있습니다. 상호작용 항에서 X Y 와 같은 형식이 아닌 (X − 0.0833) (Y + 0.0833)과 같은 형식으로 표시되는데, 이는 소프트웨어가 변수들을 재중심화했기 때문이라고 생각합니다.
이러한 재중심화가 주효과 및 상호작용 효과의 해석 방식에 영향을 미칠까요, 아니면 계수 해석은 원래 코딩된 변수와 여전히 일관성이 있을까요?
감사해요!
제목: 비직교 실험 설계에서 효과 크기 찾기안녕하세요 @RandomSquirrel1 님 ,
중심화는 상호작용 및 다항식과 같은 고차항 에서 저차 효과와 고차 효과 간의 다중공선성을 줄이는 데 도움이 됩니다.
중심화된 효과의 크기를 해석하는 방식은 중심화되지 않은 효과와 차이가 없지만, 중심화된 상호작용 항의 값은 요인 X와 Y가 평균값으로 설정되었을 때 0이 됩니다. 반면 중심화되지 않은 상호작용 효과의 경우 두 요인이 모두 0일 때 값이 0이 되는데, 이는 연구 대상 요인의 범위를 벗어나는 경우도 있을 수 있습니다. 이 주제에 대한 자세한 내용은 다음 토론에서 확인할 수 있습니다: 회귀 분석에서 상호작용 항에서만 독립변수 중심화
이 답변이 도움이 되길 바랍니다.
