출판을 위한 DOE 결과 보고안녕,
저는 실험 설계(플래킷-버먼 DOE와 완전 요인 DOE)를 포함하는 원고를 작성하고 있습니다.
하지만 가능한 한 투명하게 출판물에 보고하는 것이 중요한 것이 무엇인지 잘 모르겠습니다.
지금까지 모델 지표(R², R² 조정, PRESS, 모델 p-값, 적합도 부족 p-값)와 유의한 항 및 상호작용 항과 그 p-값을 포함했습니다. 유의한 상호작용 항이 포함된 회귀 모형의 경우, 요인/상호작용에 대한 모수 추정값을 보고하는 것은 의미가 없다고 생각합니다(이러한 모수 추정값은 상호작용으로 인해 변하기 때문입니다). 이 경우에는 예측 프로파일러를 사용하는 것이 가장 좋습니다. 하지만 예측 프로파일러는 출판을 위해 포함하기가 매우 어렵습니다. 그렇다면 요인과 그 상호작용의 결과를 의미 있게 보고하려면 어떻게 해야 할까요?
어떤 조언이라도 감사히 받겠습니다.
감사합니다
사라
실험 설계제목: 출판을 위한 DOE 결과 보고안녕하세요 @사라A ,
불행히도 DoE 출판물을 제작하는 방법을 아는 것은 매우 어려울 수 있습니다. 학술 출판물에 나오는 내용의 다양성과 품질이 매우 다양하기 때문입니다. 저는 DoE 작품을 출판하면서 얻은 경험을 바탕으로 이에 대한 몇 가지 생각을 가지고 있으며, 다른 사람들도 이에 대해 더 많이 이야기해 줄 것이라고 확신합니다.
가장 중요한 규칙: 독자들이 DoE나 통계에 대해 아무것도 모른다고 가정하세요!
실험 도구로 널리 사용되지만, 많은 독자들이 익숙하지 않을 수 있습니다. 따라서 DoE가 무엇을 하는지 전달하고 독자의 이해를 돕기 위해 시각화와 같은 도구를 사용해야 합니다. 많은 저자들이 이 부분에서 어려움을 겪습니다. 제가 가장 불만스러운 점은 논문에 공식 전체를 포함시키는 것입니다. "그 공식이 DoE의 결과를 제대로 전달할까요?" 마찬가지로, 앞서 언급하신 것처럼 매개변수 추정값 같은 것들은 파레토 플롯과 같은 다른 도구가 있다면 큰 의미가 없습니다.
나는 당신의 DoE를 보여주는 몇 가지 방법을 전달하기 위해 내 결과를 보여준 방법에 대한 몇 가지 예를 가져올 것입니다. (뻔뻔스러운 광고입니다. 여기에서도 기사를 찾을 수 있습니다.:(
배경 설정 - 간단한 시각화를 사용하여 DoE의 구조와 점들이 어떻게 탐색되는지 보여주세요. 요인이 많을 경우 그래프 빌더나 산점도 행렬을 활용할 수 있습니다. 이를 통해 독자들이 DoE가 실험에 대한 체계적인 접근 방식임을 이해하는 데 도움이 됩니다. 마찬가지로, 요인의 코딩을 보여주는 표(-, 0, +, 축(a, A)을 사용하는 경우)를 사용하면 큰 도움이 됩니다.
달성한 결과를 보여주세요 . 회귀 모델과 DoE 접근법의 더 복잡한 부분으로 넘어가기 전에, 얻은 실제 값을 강조해야 합니다. Tukey 검정과 같은 방법을 사용하여 Fit Y by X의 간단한 플롯을 그리는 것은 DoE 접근법을 사용하여 "얼마나 더 많은 것을 만들었는지 보세요"를 보여주는 매우 명확한 방법입니다. DoE의 가장 큰 장점 중 하나는 실험 영역을 탐색하는 체계적인 방법이라는 것입니다. 그 후 모델링 접근법은 또 다른 장점입니다! 위의 예에서 '00a'가 다른 점들보다 훨씬 더 생산적임을 알 수 있습니다. 사실, 제가 원하는 것을 얻었기 때문에 거기서 멈출 수도 있습니다!
모델 소개 - 말씀하신 대로, 모델이 충분함을 증명하는 데 필요한 기본 정보를 제시하고 있습니다. 대상 저널에 따라 이 정도면 좋은 모델을 구축했음을 증명하기에 충분할 것이며, (통계 중심 저널을 타겟으로 삼는 경우가 아니라면) 더 깊이 파고들 필요는 없을 수도 있습니다. 스튜던트화 잔차나 실제값 대 예측값 플롯과 같은 자료가 있다면 반드시 포함시키세요. 단, 추가 정보에 포함시키는 것이 좋습니다.
모델링 개념 소개 - 파레토 플롯은 독자가 용어의 중요성을 빠르게 파악하고 분석할 수 있는 좋은 방법이며, 이차 곡률(X1*X1)이나 상호작용(X1*X2)과 같은 더 복잡한 개념을 소개하는 데에도 효과적입니다. 독자는 '파란색 선이 좋다'는 것을 금방 알아차리고 용어의 중요성이 낮은 부분을 파악할 수 있습니다. 이는 시스템에 대한 이해와 연결하기에 매우 중요한 부분입니다. 예를 들어, 이 논문에서 사용된 유기체의 성장에 질소가 필수적이기 때문에 질소는 생산에 매우 중요합니다. 이는 단순히 통계적 실험 방법을 사용하는 것이 아니라 시스템을 더 잘 이해하기 위해 이를 활용하고 있음을 보여주는 데 도움이 됩니다.
표면을 보여주는 다양한 방법을 결합하세요 . 개인적으로 저는 예측 프로파일러를 좋아하고 시스템과 작동 방식을 보여주는 좋은 방법이지만, 말씀하신 대로 정적으로 표현해야 할 때 방해를 받을 수 있습니다. 간단한 시스템이라면 예측 프로파일러의 다양한 샷을 설정에 따라 보여줄 수 있습니다. 제 경우에는 예측 프로파일러를 최적 상태(인자의 모양을 보여줌)에서 보여주고 등고선 플롯과 결합하여 시스템을 더 잘 이해할 수 있도록 했습니다. 팁으로, 등고선 플롯을 예측 프로파일러와 동일한 요인 설정으로 설정하면 높은 그리드가 표면과 '교차'하는 영역(저는 흰색 하이라이트를 추가했습니다)이 예측 프로파일러의 표면을 반영합니다!
JMP Public에서 결과를 공유하는 것을 고려해 보세요. 점점 더 많은 출판사에서 결과 섹션을 구성한 데이터에 대한 액세스를 제공하고 있습니다(대단한 일이죠!). 저는 개인적으로 결과를 JMP Public에 게시하고 기사에 포함하는 것을 정말 좋아합니다. 이를 통해 독자는 실제로 예측 프로파일러를 사용해 보고 사용 가능한 데이터를 다운로드할 수 있습니다(여기는 제가 결과를 공유한 방법의 예 입니다).
도움이 되셨으면 좋겠고, 리뷰 단계에서 행운을 빕니다!
감사해요,
벤
제목: 출판을 위한 DOE 결과 보고안녕하세요 @사라A ,
어떤 저널이나 독자층을 대상으로 출판하시는지 모르니 도움을 드리기 어렵습니다. 또한, 이 출판물의 목적은 무엇이며, 기밀 유지/오픈소스로 얼마나 공개할 수 있는지 알려주시기 바랍니다.
응답에 따라 독자에게 제공할 수 있는 가장 좋은 방법은 모든 입력 및 응답, 예측 응답, 그리고 데이터에 대한 모든 처리 또는 결정(변환, 이상치 처리 또는 제외 등)을 포함한 전체 데이터 세트를 (부록으로) 제공하는 것입니다. 이렇게 하면 연구 결과와 연구를 재현할 수 있도록 모든 정보를 제공할 수 있습니다.
귀하의 의견에 관하여 :
@사라A님 이 작성하셨습니다:
상호 작용 항목(상호 작용으로 인해 이러한 매개변수 추정치가 변경됨)이 포함된 회귀 모델이 있는 경우 요인/상호 작용에 대한 매개변수 추정치를 보고하는 것은 의미가 없다고 생각합니다.
저는 강력히 동의하지 않습니다. 모수 추정치는 응답에 대한 요인의 실질적인 중요도(효과 크기)를 파악하는 데 도움이 됩니다. 통계적 유의성만으로는 모형이 적절하고, 신뢰할 수 있으며, 실질적으로 유용한지 판단하기에 충분하지 않습니다. 모형과 결과를 모두 해석하려면 두 가지 모두 필요합니다.
실제적 유의성과 통계적 유의성의 차이에 대한 자세한 설명은 효과 크기를 정의하는 데 로그워스 추정치와 확장 추정치 중 어느 것을 사용해야 할까요? 토론을 참조하세요.
참고로, 모델링 결과의 재현성을 보장하는 것도 좋은 방법입니다.
예측 프로파일러에 대해 알고 싶다면 대화형 HTML 파일을 제공하거나 웹 페이지(웹사이트 또는 JMP Live)에 프로파일러를 내장하여 공유할 수 있습니다.
모델의 유용한 "정적" 시각화를 제공하는 것도 고려해 볼 만합니다. 예를 들어 효과 크기 플롯(막대형 차트), 히트맵(여러 응답에 대한 요인의 영향을 보고 싶은 경우), 상관 관계 맵(응답용), 표면 플롯, 산점도 등이 있습니다. JMP를 사용하면 모델 결과를 시각화하는 데 많은 작업을 할 수 있습니다.
이 답변이 도움이 되기를 바랍니다.
제목: 출판을 위한 DOE 결과 보고@빅터_G
모델에서 X1과 X2 항목 사이에 상호 작용이 있고 X1과 X2에 대한 매개변수 추정치를 보고한다고 가정해 보겠습니다. 하지만 상호 작용으로 인해 이러한 추정치(즉, 기울기 계수)는 상호 작용하는 다른 요인의 수준에 따라 예를 들어 양의 기울기에서 음의 기울기로 바뀔 수 있습니다. 그렇다면 매개변수 추정치를 보고하는 이유는 무엇입니까?
제목: 출판을 위한 DOE 결과 보고나는 당신의 요점을 이해하지 못합니다.
X1과 X2의 수준에 관계없이 상호 작용 효과는 여전히 동일한 계수 값을 갖습니다(이 두 요인이 연속적일 경우).
요인 중 하나(또는 여러 개)가 범주형/순서형인 경우 모델의 확장 추정치를 표시하여 각 범주형 수준에 대한 상호 작용 효과 값을 제공할 수 있습니다.
이것이 내 요점을 명확히 해주기를 바랍니다.
제목: 출판을 위한 DOE 결과 보고@빅터_G
물론, 상호 작용 항은 X1과 X2의 수준에 관계없이 동일한 계수 값을 갖지만 주요 항(X1과 X2)의 계수 값은 다른 요인의 수준에 따라 다른 값을 갖게 되는 것이 맞나요?
제목: 출판을 위한 DOE 결과 보고아니요, 요인 수준에 따라 특정 위치의 기울기와 해당 요인의 주효과 사이에 오해가 있는 것 같습니다. 기울기는 반응 표면의 위치에 따라 달라질 수 있지만, 주효과 추정값은 변하지 않습니다.
제목: 출판을 위한 DOE 결과 보고@사라A 혹시 관심 있는 분들을 위해 매개변수 추정치를 보충 정보에 넣어둘 수 있습니다. 예를 들어 생명공학 개발 같은 분야를 다루는 저널에 논문을 게재하는 경우(저처럼), 본문에 포함시켜도 대상 독자는 크게 도움이 되지 않을 것 같습니다(제 생각에는). 매개변수 추정치의 의미를 좀 더 자세히 설명하자면, 계수는 예측 변수의 단위 변화에 대한 반응의 변화량입니다(다른 변수는 고정되어 있을 때). 예측 공식에도 이와 동일한 값이 나타납니다.
감사해요,
벤
제목: 출판을 위한 DOE 결과 보고상호작용과 관련하여 일반적으로 명심해야 할 또 다른 사항은 내재된 설계 자체에 의해 발생하는 효과의 교란 요인, 즉 설계의 분별화와 상호작용 효과를 실제로 추정할 수 있는지 여부입니다. 또 다른 실패 모드는 예를 들어 일부 처리 조합을 놓쳤을 경우 일부 효과를 추정할 수 없을 수 있다는 것입니다. 하지만 실험 실행의 신이 실험 실행에 미소를 지었고 모든 것이 계획대로 진행되었다면, 상호작용 효과를 보여주는 또 다른 방법은 적합 모형 보고서와 상호작용 플롯 보고서를 포함하는 것입니다. 자세한 설명은 여기를 참조하세요: 상호작용 플롯 . 예측 프로파일러만큼 인상적이지는 않지만, 필요한 기능은 충분합니다.
제목: 출판을 위한 DOE 결과 보고@벤_바잉흐
계수는 예측 변수의 단위 변경에 대한 응답의 변화량을 나타냅니다 (다른 계수는 일정하게 유지되는 경우).
제가 말하고자 하는 요점은 바로 이것입니다. 상호작용이 있을 때, 상호작용으로 인해 다른 항들은 일정하게 유지하면서 한 항을 한 단위씩 바꿀 수는 없습니다. X 항을 한 단위씩 바꾸면 Y 항도 함께 바뀝니다(X와 Y 사이에 상호작용이 있는 경우). 이것이 제가 유의미한 상호작용 항이 있을 때 주효과의 모수 추정치를 보고하는 것이 유용하지 않다고 배운 이유입니다.
제목: 출판을 위한 DOE 결과 보고계수를 보고하는 것이 중요한 것이 아니라, 결과를 해석하는 것이 중요합니다. 상호작용이 유의미하다면, 그 상호작용에 관련된 주효과를 해석할 때 신중해야 합니다.
제목: 출판을 위한 DOE 결과 보고@벤_바잉흐
여기에 표시된 처음 두 개의 그래프를 만드는 방법에 대한 자세한 정보는 어디에서 찾을 수 있나요?
제목: 출판을 위한 DOE 결과 보고안녕하세요 @사라A ,
첫 번째는 그래프 작성 도구를 이용해 점을 표시한 다음, 파워포인트를 이용해 정사각형과 원의 모양을 같은 색으로 그렸습니다.
두 번째 방법은 Fit Y by X를 사용하는 것입니다. 여기서 X는 '패턴'이고 Y는 응답입니다. 그런 다음 Tukeys 검정으로 평균 비교를 수행하여 비교 원을 표시했습니다.
도움이 되길 바랍니다!
벤제목: 출판을 위한 DOE 결과 보고안녕하세요 벤,
정말 감사합니다. 마지막 질문 하나 더: REML 분석 후 스케일링된 추정값 플롯을 어떻게 생성할 수 있나요? JMP는 혼합 모형 분석에서 이 플롯을 생성하지 않습니다(모수 추정값은 제공하지만, 스케일링된 추정값이나 파레토 플롯이 더 직관적이라고 생각합니다).
감사합니다
사라
제목: 출판을 위한 DOE 결과 보고안녕하세요 @사라A ,
네, X1이 반응에 미치는 변화의 규모는 X2와 상호작용하는 항이 있을 때 변경될 수 있습니다(즉, X2를 높은 값으로 유지하면 X1이 완전히 감소할 수 있음). 하지만 매개변수 추정치는 일반적인 관계를 보여주는 데 사용될 수 있습니다. 논의에서 시스템과 그 상호작용의 작동 방식에 대한 충분한 설명이 있다면, 매개변수 추정치를 통해 더 자세한 정보를 얻을 수 있습니다.
감사해요,
벤
제목: 출판을 위한 DOE 결과 보고안녕하세요 @사라A ,
REML은 방법의 특성상 분산 구성 요소에 초점을 맞추고 (최소 제곱법과 같은 방법과 달리) 표준화(모델링 워크플로의 사전 처리 단계)를 수행하지 않습니다. 혼합 모델에는 많은 복잡성이 있으며 이를 표준화하려고 시도합니다(전역적으로 표준화해야 할까요, 아니면 그룹 내에서 표준화해야 할까요? 두 그룹 간에 다른 변수를 표준화하려면 어떻게 해야 할까요?).
감사해요,
벤
