순서형 응답을 사용하여 DoE 감각 데이터를 어떻게 처리합니까?여러분, 안녕하세요 !
DoE(미국 식품의약국)에서 데이터를 처리하는 데 문제가 있어 연락드립니다. 식품에 대한 제형 매개변수의 영향을 연구하기 위해 최적 설계를 생성했습니다. 9명의 심사위원이 제품을 비교 시식하고 다음과 같은 여러 관능 평가 지표를 평가했습니다.
-3 = 참조보다 훨씬 작음, -2 = 참조보다 작음, -1 = 참조보다 약간 작음, 0 = 참조와 같음 1 = 참조보다 약간 큼, 2 = 참조보다 큼, 3 = 참조보다 훨씬 큼.
그래서 제 답변에는 순서형 데이터가 있습니다. 하지만 첫 번째 접근법으로 데이터를 연속형으로 간주하고 다중 선형 회귀 분석을 수행했습니다. 이를 위해 심판들의 데이터를 평균을 사용하여 결합했습니다(그 전에는 원시 데이터에 대한 심판의 영향을 연구했습니다). 적합도는 그다지 나쁘지 않았고, 이를 통해 어느 정도 결론을 도출할 수 있었습니다.
두 번째 방법으로 순서형 로지스틱 회귀 분석을 시도해 보고 싶었습니다. 하지만 모든 심사위원의 데이터를 결합하여 제품별로 한 줄씩 분석하는 방법을 찾을 수 없었습니다. 제가 이해하기로는 모든 심사위원의 데이터를 그대로 유지하면 모델이 어떤 심사위원의 데이터를 사용하여 적합을 도출했는지 알 수 없기 때문에 적절한 적합이 이루어지지 않는 것 같습니다.
혹시 제안해주실 수 있는 게 있으신가요? 감사합니다!:)
고급 통계 모델링Re: 순서형 응답을 사용하여 DoE 감각 데이터를 처리하는 방법커뮤니티에 오신 것을 환영합니다. 올바른 방향으로 가고 있다고 생각합니다. 처리당 여러 평가는 DF가 아니므로 데이터를 요약해야 합니다. 먼저 처리 내 변동을 그래픽으로(예: 변동성 차트) 살펴본 다음, 평가자 편향(색상 또는 열별 표시 > 평가자)이 있는지 평가합니다. 평가자 간에 할당 가능한 차이가 없다면 평균을 사용합니다. 표준 편차와 다른 Y도 사용하는 것이 좋습니다. 실험에서 평균 반응에 영향을 미치는 요인을 알고 싶다면 평균을 모델링하세요. 평가자 간 변동에 영향을 미치는 요인을 평가하려면 표준 편차를 모델링하세요. 반응을 연속형으로 처리하는 것이 기술적으로 정확 하지 않을 수 있지만, 그렇게 큰 문제는 없을 것이라고 생각합니다.
Re: 순서형 응답을 사용하여 DoE 감각 데이터를 처리하는 방법안녕하세요 @멜리1
커뮤니티에 오신 것을 환영합니다!
@스탯맨 이 이미 언급했듯이, 이런 노트에 회귀 모델을 시도하는 것은 여전히 좋은 생각일 수 있습니다.
클래스 수를 줄인 순서형 로지스틱 회귀 분석(3): 나쁨(-2/-1), 중립(0), 좋음(1/2)을 사용하는 간단한 방법도 시도해 보겠습니다. 클래스 수가 적으면 모델이 표본 간의 주요 차이점을 구분하고 밀접하게 연관된 클래스 간의 오분류(예: -2와 -1)를 방지하는 데 도움이 될 것입니다. 모델이 여전히 세 클래스를 구분하는 데 어려움을 겪는다면, "가중치" 열을 새로 추가하고 이전 클래스에는 가중치를 1(-1/0/1), 극단적인 클래스에는 가중치를 더 높게(-2/2) 지정하여 극단적인 결과를 구분할 수 있습니다. 모델을 시작할 때 이 열을 "가중치" 옵션으로 추가할 수 있습니다. 이렇게 하면 각 클래스에 대한 원시 확률을 추출할 수 있는데, 이는 표본의 유사성/차이를 파악하는 데 도움이 되며 평가 불확실성을 평가하는 데 도움이 될 것입니다.
목표와 데이터 수집 방식에 따라 다른 옵션도 있습니다. 평가자가 노트를 평가하기 위해 벤치마크를 맹목적으로 테스트하도록 했습니까? 그렇다면 노트를 기반으로 샘플과 벤치마크 간의 거리를 평가하고, 0으로 정의된 이 공통 기준을 기반으로 평가자의 노트를 "재조정"할 수 있습니다.
이 보완적인 답변이 도움이 되기를 바랍니다.
Re: 순서형 응답을 사용하여 DoE 감각 데이터를 처리하는 방법흥미롭게도, 저는 순서형 데이터에 대해 다른 접근 방식을 취할 것입니다. "계층" 수를 줄이는 것은 권장하지 않습니다. 순서형 데이터의 한 가지 문제점은 변별력(유효 분해능)이 부족하다는 것입니다. Wheeler와 Lyday의 저서 Evaluating the Measurement Process를 읽어보면, 범위 차트의 관리 상한선 내에서 측정 단위 수(순서형 척도에서 MU=1)를 셀 수 있습니다. 순서형 데이터의 경우, 관리 상한선은 거의 항상 최소 기준치(ROT는 최소 5)보다 낮습니다. 그런데 흥미롭게도, 순서형 척도의 데이터를 평균화하면 정수뿐 아니라 소수점도 포함되기 때문에 실제로 분해능이 증가합니다. 데이터가 연속형에 가까울수록 데이터와 후속 분석의 효율성이 높아집니다. 승자가 평가가 어떻게 이루어졌는지 질문한 것은 좋은 지적입니다. 돌이켜보면, 같은 평가자가 같은 처리에 대해 두 번 점수를 매기도록 함으로써 평가자 변동 내에서 평가할 수 있습니다.
Re: 순서형 응답을 사용하여 DoE 감각 데이터를 처리하는 방법여기서 사용된 표기법은 리커트 척도 와 매우 유사하며 실제로 최소 권장 수준은 5단계이고 최적 수준은 7단계 또는 9단계입니다(혼란 없이 차별화와 세부 수준 간의 적절한 절충안).
Duane F. Alwin과 Jon A. Krosnick, "설문 태도 측정의 신뢰성: 질문과 응답자 속성의 영향", 사회학적 방법 연구, 제20권, 제1호, 1991년, 139-181쪽
이 최적의 레벨 수는 최근 이 연구에서 수치 시뮬레이션을 통해 테스트되었습니다.
Alberto Maydeu-Olivares, Amanda J. Fairchild, Alexander G. Hall, "문항 요인 분석의 적합도: 응답 대안 수의 영향", 구조방정식모형: 다학제 저널, 제24권, 제4호, 2017년, 495-505쪽
여기에 제시된 사례 연구는 정보나 결과가 거의 없으므로 평가자 간 결과가 일치하는지 알 수 없습니다.
평가자의 수, 그들의 전문성과 훈련, 그리고 샘플 간의 "실제" 차이에 따라, 샘플에 대한 운영자 간의 합의는 매우 다를 수 있습니다.
- 플랫폼의 첫 번째 단계는 두 사람 간의 일치도를 테스트하는 것입니다 . Contingency 분석 - 2x2 비교를 통해 일치도를 측정하면 다른 심사위원들과 샘플에 매우 다른 점수를 매기는 심사위원을 발견하는 데 도움이 될 수 있습니다. 이 심사위원의 점수가 너무 다를 경우 해당 심사위원의 점수를 삭제할 수 있습니다. 카파 통계는 심사위원 간의 일치도를 평가하는 데 도움이 될 수 있습니다. 이 사용 사례에서는 심사위원이 9명인 경우 각 심사위원 쌍에 대해 36번의 비교를 수행해야 하므로 쉽게 수행하기 어려울 수 있습니다.
- 그런 다음, 동의 수준에 따라 데이터/노트를 요약하거나(부정적, 중립적, 긍정적 클래스만) 모든 클래스를 사용할 수 있습니다. 동의 수준이 그다지 높지 않은 사용 사례에 대한 데이터를 요약한 결과, 좋은 요소와 나쁜 요소를 빠르게 파악하는 데 도움이 되었기 때문에 좋은 결과를 얻었습니다.
고려할 수 있는 또 다른 옵션은 글로벌 평가를 여러 개의 작은 평가로 나누는 것입니다. 심사위원이 맛을 평가한다면, 여러 방향으로 질문을 던져 평가의 방향을 정할 수 있을 것입니다.
기준치에 비해 샘플은 더 달콤합니까? 더 짠맛이 강합니까? 더 신맛이 강합니까? 쓴맛이 강합니까? ... 예/아니요/보통으로 응답하십시오.
맛을 평가하는 데 5단계 척도를 사용하는 대신, 심사위원은 간단한 3단계 척도에서 4가지 측면을 기록하는데, 이를 통해 제품 구성 간의 장단점과 차이점을 보다 정확하게 파악하는 데 도움이 될 수 있습니다.
이 답변이 도움이 되기를 바랍니다.
Re: 순서형 응답을 사용하여 DoE 감각 데이터를 처리하는 방법statman 님, 답변 감사합니다!
평가자 편향이 뚜렷하지 않았습니다. 그래서 평균을 사용해 보려고 합니다. 하지만 로지스틱 회귀 분석에 평균을 사용하려면 원래 수준으로 되돌리기 위해 반올림해야 하는 것 아닌가요? 그렇게 하지 않으면 응답 양식이 너무 많아지니까요.
다시 한번 감사드립니다!
Re: 순서형 응답을 사용하여 DoE 감각 데이터를 처리하는 방법안녕하세요 빅터, 답변해주셔서 정말 감사합니다!
이는 더 적은 레벨을 사용한다면 모든 심사위원의 데이터를 요약할 필요가 없다는 것을 의미합니까?
네, 심사위원들이 벤치마크를 맹목적으로 평가하게 했습니다. 하지만 이 기준을 0으로 정의한 것을 기준으로 평가자의 점수를 "조정"하는 방법을 모르겠습니다. 게다가 거의 모든 심사위원이 이 기준을 인식하고 대부분의 경우 0으로 평가했습니다.
다시 한번 감사드립니다!
Re: 순서형 응답을 사용하여 DoE 감각 데이터를 처리하는 방법왜 로지스틱 회귀 분석을 사용하려고 하시나요? 제 주장은 최소제곱 회귀 분석만큼 효율적이거나 효과적이지 않다는 것입니다. 물론, 저는 확률이 아니라 인과 관계를 이해하려는 것입니다. 당신의 궁극적인 목표는 잘 모르겠습니다. 제 생각에는, 로지스틱 회귀 분석을 사용하고 싶지 않으실 겁니다. 반응값을 평균화하기 때문에 결과 반응값이 더 연속적이어서 OLS(최소제곱법)를 사용할 수 있습니다.
Re: 순서형 응답을 사용하여 DoE 감각 데이터를 처리하는 방법실제로 제 목표는 데이터를 처리하는 두 가지 접근 방식을 비교하는 것입니다.
- 다중 선형 회귀 분석을 사용하여 데이터를 연속형으로 처리할 수 있다고 가정합니다.
-데이터를 순서형 로지스틱 회귀를 사용하여 순서형으로만 처리할 수 있다고 가정합니다.
다중 선형 회귀 분석에서 평균에 모델을 적용했습니다. 하지만 이것이 옳은 일인지 잘 모르겠습니다. 예를 들어, 모델에 심판 효과를 추가하면 어떨까요? 각 심판의 반복을 DF로 간주하지 않는 것이 도움이 될까요?
순서형 로지스틱 회귀 분석의 경우, 데이터를 순서형으로 접근하는 것이 목표이므로 평균을 사용하지 않는 것이 좋을 것 같습니다. 각 판단에 따른 반복 횟수가 DF로 계산되지 않도록 판단 요인을 모델에 추가하는 것도 고려해 볼 수 있을까요?
그리고 만약 내 판단 요소가 상당한 영향을 미친다면 어떨까요?
Re: 순서형 응답을 사용하여 DoE 감각 데이터를 처리하는 방법판단 기준은 처리와 독립적이지 않습니다(처리 범위 내에 있습니다). 따라서 모델에 판단 기준을 추가하더라도 DF(분산 변수)를 얻을 수 없습니다. 따라서 데이터를 요약하기 전에 처리 범위 내 변동(판사 간 변동 및 판단 범위 내 변동)을 먼저 평가해야 합니다. "정답"은 없다는 점을 인지하십시오. 다양한 분석 기법을 시도하는 당신의 접근 방식은 훌륭하다고 생각합니다. 하지만 다시 한번 강조하지만, 순서형 척도는 연속형 측정보다 효과적이지 않습니다. 다른 사람들은 주장할 수도 있지만, 로지스틱 회귀 분석 또한 효율적이고 효과적입니다. 하지만 사람마다 판단 기준이 다릅니다.
귀하의 척도가 데밍이 제시한 기준을 충족하지 못하는 것 같습니다. "위기에서 벗어나기(Out of the Crisis)"에서 조작적 정의에 대한 장을 읽어보세요. 조작적으로 정의되지 않은 것은 훨씬 적습니다 ( 모든 사람의 해석이 같은 것은 아닙니다). 제 생각에는 실험 전에 측정 과정을 충분히 이해하는 것이 좋습니다. 특히 미각 테스트는 어렵습니다. 콕스의 저서 "척도에 대한 최적의 반응 수 대안: 검토(The Optimal Number of Response Alternatives for a Scale: A Review)" 를 읽어보시는 것도 좋습니다. 제가 첨부한 아주 오래된 논문도 있습니다(규칙에 맞기를 바랍니다).
