DoE感覚データを順序応答で処理するにはどうすればいいですか？こんにちは、みんな ！
DoEのデータ処理に問題があり、ご連絡いたしました。食品の配合パラメータへの影響を調べるために、最適な設計を作成しました。9名の審査員が、対照製品と比較しながら製品を試食し、以下の官能評価項目で評価しました。
-3 = 基準よりはるかに小さい、-2 = 基準より小さい、-1 = 基準より少し小さい、0 = 基準と等しい、1 = 基準より少し大きい、2 = 基準より大きい、3 = 基準よりはるかに大きい。
回答は順序データです。しかし、最初のアプローチとして、データを連続データとみなし、重回帰分析を実行しました。そのために、審査員のデータは平均値を用いて統合しました（その前に、審査員が生データに与える影響を調べました）。適合度はそれほど悪くなく、そこからいくつかの結論を導き出すことができました。
2つ目のアプローチとして、順序ロジスティック回帰を試してみたかったのですが、審査員全員のデータを統合して、基本的に製品ごとに1行ずつ表示する方法を見つけることができません。私の理解では、すべての審査員のデータを保持すると、モデルがどの審査員のデータを使用してフィッティングを行ったかが分からなくなり、適切なフィッティングができなくなるのでしょうか？
それについて何か提案はありますか？ ありがとうございます！:)
高度な統計モデリングRe: 順序応答でDoE感覚データを処理するにはどうすればよいですか？コミュニティへようこそ。ご指摘の通りだと思います。処理ごとの複数の評価はDFではないため、データを要約する必要があります。まず、処理内の変動をグラフ（例：変動チャート）で確認し、評価者による明らかな偏り（列別評価者による色分けやマーク）がないか確認することをお勧めします。評価者間に明確な差がない場合は、平均値を使用します。また、標準偏差と別のY軸も使用することをお勧めします。実験におけるどの要因が平均的な応答に影響を与えるかを知りたい場合は、平均値をモデル化します。評価者間のばらつきに影響を与える要因を評価したい場合は、標準偏差をモデル化します。応答を連続的に扱うのは技術的には正しくないかもしれませんが、それほど問題にはならないと思います。
Re: 順序応答でDoE感覚データを処理するにはどうすればよいですか？こんにちは@メリ1
コミュニティへようこそ！
@スタットマンがすでに述べたように、これらのメモに対して回帰モデルを試してみるのも良い考えです。
また、クラス数を減らした順序ロジスティック回帰（3）を使用するシンプルなオプションも試してみます。クラス数は少なく、悪い（-2/-1）、中立（0）、良い（1/2）です。クラス数が少ないほど、モデルはサンプル間の重要な違いを識別しやすくなり、密接に関連するクラス（例えば-2と-1）間の誤分類を回避できます。それでもモデルが3つのクラスを分離できない場合は、新しい列「重み」を追加し、以前のクラス（-1/0/1）に重み1、極端なクラス（-2/2）に重みを大きくすることで、極端な結果を分離しやすくなります。この列は、モデル起動時に「重み」オプションとして追加します。これにより、各クラスの生の確率を抽出でき、サンプルの類似性/相違性を理解し、評価の不確実性を評価するのに役立ちます。
目的やデータ収集方法に応じて、他にも選択肢があります。例えば、評価者にベンチマークを盲検でテストさせて、ノートを評価してもらいましたか？もしそうであれば、ノートに基づいてサンプルとベンチマーク間の距離を評価し、0で定義されたこの共通基準に基づいて評価者のノートを「再スケール」することもできます。
この補足的な回答がお役に立てれば幸いです。
Re: 順序応答でDoE感覚データを処理するにはどうすればよいですか？興味深いですね。順序データには別のアプローチを取ります。「クラス」の数を減らすことはお勧めしません。順序データの問題点の一つは、識別力（有効分解能）の欠如です。WheelerとLydayの著書『測定プロセスの評価』を読めば、範囲管理図の上限管理限界内にある測定単位の数（順序尺度ではMU=1）を数えることができます。順序データでは、ほとんどの場合、最小ガイドライン（ROTは最低5）を下回ります。しかし興味深いことに、順序尺度のデータを平均化すると、整数だけでなく小数も含まれるため、分解能が実際に向上します。データが連続に近いほど、データとその後の分析の効率が向上します。Victorが評価方法に関して質問したのは良い指摘です。後から考えれば、同じ評価者に同じ処理を2回評価させることで、評価者間のばらつきの範囲内で評価できたはずです。
Re: 順序応答でDoE感覚データを処理するにはどうすればよいですか？ここで使用される表記プロセスは、 リッカート尺度と非常に似ており、実際、5 レベルが最小推奨レベルであり、7 または 9 レベルが最適です (混乱のない差別化と詳細レベルの間の適切な妥協点)。
Duane F. Alwin と Jon A. Krosnick、「調査態度測定の信頼性：質問と回答者属性の影響」、Sociological Methods Research、第20巻、第1号、1991年、p. 139-181
この最適なレベル数は、最近この研究の数値シミュレーションを通じてテストされました。
Alberto Maydeu-Olivares、Amanda J. Fairchild、Alexander G. Hall、「項目因子分析における適合度：回答選択肢数の影響」、Structural Equation Modeling: A Multidisciplinary Journal、第24巻、第4号、2017年、p. 495-505
ここで紹介したケーススタディでは情報や結果がほとんどないため、評価者間で結果が一致しているかどうかはわかりません。
評価者の数、専門知識とトレーニング、およびサンプル間の「実際の」違いに応じて、サンプルに関するオペレーター間の合意は大きく異なる可能性があります。
- まず、両者の一致度をテストすることが、プラットフォームの最初のステップとなるでしょう。 コンティンジェンシー分析 - 一致度を2対2で複数回比較することで、他の審査員とは大きく異なるサンプルを採点する審査員を特定するのに役立ちます。あまりにも異なる場合は、この審査員の採点結果を破棄することができます。カッパ統計量は、審査員間の一致度を評価するのに役立ちます。このユースケースでは、9人の審査員がいる場合、各審査員ペアに対して36回の比較を行う必要があるため、簡単に実行するのは面倒かもしれません。
- その後、一致度に応じて、データ／メモを要約するか（否定的、中立的、肯定的クラスのみ）、すべてのクラスを使用するかを選択できます。一致度があまり高くなかったユースケースのデータを要約することで、良い要因と悪い要因を迅速に特定することができ、良い結果が得られました。
検討すべきもう 1 つのオプションは、全体的な評価をいくつかの小さな評価に分割することです。審査員が味を評価する場合は、いくつかの方向について質問することで評価を方向付けることができます。
基準値と比べて、サンプルはより甘いですか？ より塩辛いですか？ より酸っぱいですか？ 苦いですか？... はい/いいえ/どちらでもないで回答してください。
味を評価するのに 5 段階のスケールを使用する代わりに、審査員はシンプルな 3 段階のスケールで 4 つの異なる側面を評価します。これにより、配合間のトレードオフや違いをより正確に特定できるようになります。
この回答がお役に立てれば幸いです。
Re: 順序応答でDoE感覚データを処理するにはどうすればよいですか？回答していただいたstatmanさん、ありがとうございます！
評価者の明らかな偏りは見られませんでした。なので、平均値を使ってみます。でも、ロジスティック回帰分析で平均値を使う場合は、元の水準に戻すために切り上げないといけないですよね？そうしないと、回答様式が多すぎてしまうので。
改めて感謝します！
Re: 順序応答でDoE感覚データを処理するにはどうすればよいですか？こんにちは、ビクターさん。ご回答ありがとうございます！
これは、使用するレベルを少なくすれば、審査員全員からのデータを要約する必要がないことを意味しますか?
そうです。審査員にベンチマークを盲検で評価させました。しかし、この基準を0と定義して評価者の評価を「再評価」する方法が分かりません。また、ほとんどの審査員がこの基準を認識し、ほとんどの場合0と評価していました。
再度、感謝します ！
Re: 順序応答でDoE感覚データを処理するにはどうすればよいですか？なぜロジスティック回帰を使うのですか？私の主張は、ロジスティック回帰は最小二乗回帰ほど効率的でも効果的でもないということです。もちろん、私が理解しようとしているのは因果構造であって、確率ではありません。あなたの最終的な目的がよく分かりません。私の意見では、ロジスティック回帰を使う必要はないでしょう。応答を平均化しているので、結果として得られる応答はより連続的になり、OLS（最小二乗法）を使用できます。
Re: 順序応答でDoE感覚データを処理するにはどうすればよいですか？実際のところ、私の目標は、データを処理するための 2 つのアプローチを比較することです。
-多重線形回帰を用いてデータを連続的に扱うことができることを考慮する
- 順序ロジスティック回帰を使用して、データを順序付き（そのまま）として扱うことができることを考慮する
多重線形回帰分析で、平均値にモデルを適用しました。しかし、それが正しい方法かどうか確信が持てません。例えば、モデルに審査員効果を追加したらどうなるでしょうか？そうすれば、各審査員の繰り返しを自由度として考慮しなくて済むようになるでしょうか？
順序ロジスティック回帰では、データを順序尺度として扱うのが基本なので、平均値は使わない方が良いと思っています。また、モデルに審査員因子を追加して、各審査員による繰り返しが自由度としてカウントされないようにすることは可能でしょうか？
そして、私の判断要素が大きな影響を及ぼす場合はどうなるでしょうか?
Re: 順序応答でDoE感覚データを処理するにはどうすればよいですか？審査員は処置から独立していません（処置内に存在します）。そのため、モデルに審査員項を追加する限り、これに対する自由度は存在しません。そのため、データを要約する前に、まず処置内変動（審査員間および審査員内）を評価する必要があります。「正しい」答えはないことを理解してください。様々な分析手法を試すというあなたのアプローチは良いと思います。ただし、繰り返しますが、順序尺度は連続測定よりも効果が低いです。また、ロジスティック回帰も効率的かつ効果的だと主張する人もいるかもしれませんが、人それぞれです。
あなたの尺度はデミングが示唆する基準を満たしていないように思われます。『Out of the Crisis』の操作的定義に関する章を読んでみてください。操作的に定義されていないものは、はるかに少なく、少し少ないです（誰もが同じ解釈をするわけではありません）。私見ですが、実験を行う前に、測定プロセスを十分に理解する時間を取るべきです。味覚テストは特に難しいです。Cox著『 The Optimal Number of Response Alternatives for a Scale: A Review』を読んでみてはいかがでしょうか。かなり古い論文も添付しました（ルールに違反していないことを願います）。
