Wie verarbeite ich DoE-Sensordaten mit ordinalen Antworten?Hallo zusammen !
Ich wende mich an Sie, weil ich Probleme bei der Verarbeitung von Daten aus einem DoE habe. Ich habe ein optimales Design entwickelt, um den Einfluss von Formulierungsparametern auf ein Lebensmittelprodukt zu untersuchen. 9 Juroren verkosteten die Produkte, indem sie sie mit einem Referenzprodukt verglichen und sie anhand verschiedener sensorischer Deskriptoren wie folgt bewerteten:
-3 = viel weniger als Referenz, -2 = weniger als Ref., -1 = etwas weniger als Ref., 0 = gleich Ref. 1 = etwas mehr als Ref., 2 = mehr als Ref., 3 = viel mehr als Ref.
Ich habe also ordinale Daten für meine Antworten. Zunächst habe ich versucht, die Daten als kontinuierlich zu betrachten und eine multiple lineare Regression durchgeführt. Dazu habe ich die Daten der Richter mithilfe von Durchschnittswerten kombiniert (zuvor hatte ich den Einfluss der Richter auf meine Rohdaten untersucht). Die Übereinstimmung war nicht allzu schlecht, und ich konnte daraus einige Schlussfolgerungen ziehen.
Als zweiten Ansatz wollte ich eine ordinale logistische Regression ausprobieren. Ich finde jedoch keine Möglichkeit, die Daten aller Juroren zu kombinieren und grundsätzlich eine Zeile pro Produkt zu erhalten. Soweit ich weiß, wird die Beibehaltung der Daten aller Juroren keine korrekte Anpassung ermöglichen, da ich nicht weiß, welche Daten des Jurors das Modell für die Anpassung verwendet hat.
Irgendwelche Vorschläge dazu? Danke!:)
Erweiterte statistische ModellierungBetreff: Wie verarbeite ich DoE-Sensordaten mit ordinalen Antworten?Willkommen in der Community. Ich denke, Sie sind auf dem richtigen Weg. Da die Mehrfachauswertungen pro Behandlung keine DFs sind, müssen die Daten zusammengefasst werden. Ich würde mir die Variation innerhalb der Behandlungen zunächst grafisch ansehen (z. B. Variabilitätsdiagramm) und dann beurteilen, ob es offensichtliche Verzerrungen der Bewerter gibt (Farbe oder Markierung nach Spalte > Bewerter). Wenn es keine zuordenbaren Unterschiede bei den Bewertern gibt, verwenden Sie den Mittelwert. Ich würde Ihnen auch vorschlagen, die Standardabweichung sowie ein weiteres Y zu nehmen. Wenn Sie wissen möchten, welche Faktoren in Ihrem Experiment die durchschnittliche Antwort beeinflussen, modellieren Sie den Mittelwert. Wenn Sie beurteilen möchten, welche Faktoren die Variation zwischen den Bewertern beeinflussen, modellieren Sie die Standardabweichung. Auch wenn es technisch vielleicht nicht korrekt ist, die Antwort als kontinuierlich zu behandeln, glaube ich nicht, dass Sie dadurch allzu große Schwierigkeiten bekommen.
Betreff: Wie verarbeite ich DoE-Sensordaten mit ordinalen Antworten?Hallo @Meli1
Willkommen in der Community!
Wie @statman bereits erwähnt hat, kann es dennoch eine gute Idee sein, anhand dieser Notizen ein Regressionsmodell auszuprobieren.
Ich würde auch eine einfache Option ausprobieren, bei der eine ordinale logistische Regression mit einer reduzierten Anzahl von Klassen (3) verwendet wird: Schlechter (-2/-1), Neutral (0) und Besser (1/2). Weniger Klassen sollten dem Modell dabei helfen, wichtige Unterschiede zwischen den Stichproben zu erkennen und Fehlklassifizierungen zwischen eng verwandten Klassen (zum Beispiel -2 und -1) zu vermeiden. Wenn das Modell immer noch Schwierigkeiten hat, die drei Klassen zu trennen, können Sie eine neue Spalte „Gewicht“ hinzufügen und Gewichte von 1 für die vorherigen Klassen –1/0/1 – und höhere Gewichte für extreme Klassen –2/2 – angeben, um extreme Ergebnisse besser trennen zu können. Fügen Sie diese Spalte beim Starten des Modells als „Gewicht“-Option hinzu. Sie können dann Rohwahrscheinlichkeiten für jede Klasse extrahieren, die dabei helfen zu verstehen, wie ähnlich/unterschiedlich die Stichproben sind, und die Ihnen bei der Einschätzung der Bewertungsunsicherheit helfen sollten.
Abhängig von Ihrem Ziel und der Art und Weise der Datenerhebung stehen Ihnen auch andere Optionen zur Verfügung: Haben Sie die Prüfer den Benchmark blind testen lassen, um die Noten zu bewerten? Wenn ja, könnten Sie die Abstände zwischen Stichproben und Benchmark anhand der Noten bewerten und die Noten der Prüfer anhand dieser gemeinsamen Referenz, die mit 0 definiert ist, „neu skalieren“.
Ich hoffe, diese ergänzende Antwort kann Ihnen helfen.
Betreff: Wie verarbeite ich DoE-Sensordaten mit ordinalen Antworten?Interessant, ich würde bei den ordinalen Daten einen anderen Ansatz wählen. Ich würde nicht empfehlen, die Anzahl der „Klassen“ zu reduzieren. Ein Problem bei ordinalen Daten ist die fehlende Trennschärfe (effektive Auflösung). Wenn Sie Wheeler und Lydays „Evaluating the Measurement Process“ lesen, können Sie die Anzahl der Maßeinheiten (in einer ordinalen Skala ist MU=1) innerhalb der oberen Kontrollgrenze des Spannweitendiagramms zählen. Bei ordinalen Daten liegt sie fast immer unter der Mindestvorgabe (ROT ist mindestens 5). Interessanterweise erhöht sich jedoch die Auflösung tatsächlich, wenn Sie die Daten einer ordinalen Skala mitteln, da es nun Dezimalstellen und nicht nur ganze Zahlen gibt. Je kontinuierlicher die Daten sind, desto effizienter sind die Daten und die anschließende Analyse. Victors Frage zur Durchführung der Auswertungen ist ein guter Punkt. Im Nachhinein könnten Sie die Variation innerhalb des Bewerters auswerten, indem Sie denselben Bewerter dieselbe Behandlung zweimal bewerten lassen.
Betreff: Wie verarbeite ich DoE-Sensordaten mit ordinalen Antworten?Der hier verwendete Notationsprozess ähnelt stark einer Likert-Skala . Tatsächlich werden mindestens 5 Stufen empfohlen, wobei 7 oder 9 optimal sind (guter Kompromiss zwischen Differenzierung und Detaillierungsgrad ohne Verwirrung):
Duane F. Alwin und Jon A. Krosnick, „Die Zuverlässigkeit der Einstellungsmessung in Umfragen: Der Einfluss von Fragen- und Befragtenattributen“, Sociological Methods Research, Bd. 20, Nr. 1, 1991, S. 139–181
Diese optimale Anzahl von Ebenen wurde kürzlich in dieser Studie durch numerische Simulation getestet:
Alberto Maydeu-Olivares, Amanda J. Fairchild und Alexander G. Hall, „Güte der Anpassung in der Item-Faktorenanalyse: Einfluss der Anzahl der Antwortalternativen“, Structural Equation Modeling: A Multidisciplinary Journal, Bd. 24, Nr. 4, 2017, S. 495–505
In der hier vorgestellten Fallstudie mit wenigen Informationen oder Ergebnissen wissen wir nicht, ob die Ergebnisse zwischen den Gutachtern übereinstimmen.
Abhängig von der Anzahl der Bewerter, deren Fachwissen und Ausbildung sowie den „tatsächlichen“ Unterschieden zwischen den Stichproben kann die Übereinstimmung zwischen den Bedienern in Bezug auf die Stichproben sehr unterschiedlich ausfallen.
- Ein erster Schritt in der Plattform -Kontingenzanalyse könnte darin bestehen, zunächst die Übereinstimmung zwischen den Richtern zu testen. Die mehrfachen 2x2-Vergleiche könnten helfen, einen Richter zu identifizieren, dessen Notenstichproben stark von denen der anderen Richter abweichen. Die Noten dieses Richters könnten dann verworfen werden, wenn sie zu unterschiedlich sind. Die Kappa-Statistik könnte helfen, den Grad der Übereinstimmung zwischen den Richtern zu beurteilen. Dies könnte in diesem Anwendungsfall umständlich sein, da bei neun Richtern 36 Vergleiche pro Richterpaar durchgeführt werden müssten.
- Je nach Übereinstimmungsgrad kann man dann die Daten/Notizen zusammenfassen (nur negative, neutrale und positive Klassen) oder alle Klassen verwenden. Ich habe gute Ergebnisse erzielt, indem ich die Daten zu Anwendungsfällen zusammengefasst habe, bei denen die Übereinstimmung nicht sehr gut war, da dies dabei half, gute und schlechte Faktoren schnell zu identifizieren.
Eine weitere Möglichkeit besteht darin, die Gesamtbewertung in mehrere kleinere Bewertungen aufzuteilen. Wenn die Juroren den Geschmack bewerten, können Sie die Beurteilung vielleicht dadurch orientieren, dass Sie ihnen Fragen in mehrere Richtungen stellen:
Sind die Proben im Vergleich zur Referenz süßer? Salziger? Saurer? Bitterer? ... Mit den Antworten Ja/Nein/Neutral.
Anstatt einer 5-stufigen Skala zur Beurteilung des Geschmacks zu verwenden, notieren die Juroren 4 verschiedene Aspekte auf einer einfachen 3-stufigen Skala, wodurch die Kompromisse und Unterschiede zwischen den Formulierungen genauer identifiziert werden können.
Hoffe, diese Antwort kann helfen,
Betreff: Wie verarbeite ich DoE-Sensordaten mit ordinalen Antworten?Danke, Statman, für deine Antwort!
Es gab keine offensichtliche Beurteilerverzerrung. Ich werde also versuchen, die Mittelwerte zu verwenden. Aber wenn ich Mittelwerte für meine logistische Regression verwenden möchte, müsste ich sie aufrunden, um wieder auf das ursprüngliche Niveau zu kommen, richtig? Denn wenn ich das nicht tue, gibt es zu viele Antwortmodalitäten?
Nochmals vielen Dank!
Betreff: Wie verarbeite ich DoE-Sensordaten mit ordinalen Antworten?Hallo Victor, vielen Dank für deine Antwort!
Bedeutet dies, dass ich die Daten aller Juroren nicht zusammenfassen müsste, wenn ich weniger Ebenen verwenden würde?
Auch ja, und die Juroren mussten den Benchmark blind bewerten. Ich weiß jedoch nicht, wie ich die Noten der Bewerter anhand dieses mit 0 definierten Referenzwerts „neu skalieren“ kann. Außerdem konnten fast alle Juroren diesen Referenzwert erkennen und bewerteten ihn meistens mit 0.
Danke noch einmal !
Betreff: Wie verarbeite ich DoE-Sensordaten mit ordinalen Antworten?Warum möchten Sie die logistische Regression verwenden? Mein Argument ist, dass sie nicht so effizient oder effektiv ist wie die kleinste-Quadrate-Regression. Natürlich versuche ich, die kausale Struktur zu verstehen, nicht Wahrscheinlichkeiten. Ich kenne Ihre endgültigen Ziele nicht wirklich. Meiner Meinung nach möchten Sie die logistische Regression nicht wirklich verwenden. Da Sie die Antworten mitteln, ist die resultierende Antwort kontinuierlicher und ermöglicht Ihnen daher die Verwendung von OLS.
Betreff: Wie verarbeite ich DoE-Sensordaten mit ordinalen Antworten?In Wirklichkeit besteht mein Ziel darin, zwei Ansätze zur Datenverarbeitung zu vergleichen:
-unter Berücksichtigung, dass die Daten durch die Verwendung einer multiplen linearen Regression als kontinuierlich behandelt werden können
- unter Berücksichtigung, dass Daten nur durch die Verwendung einer ordinalen logistischen Regression als ordinal (so wie sie sind) behandelt werden können
Für die multiple lineare Regression habe ich mein Modell auf Mittelwerte angewendet. Ich bin mir aber nicht sicher, ob das richtig ist. Was wäre zum Beispiel, wenn ich meinem Modell einen Richtereffekt hinzufüge? Würde das helfen, die Wiederholungen jedes Richters nicht als DF zu betrachten?
Da die Idee der ordinalen logistischen Regression darin besteht, die Daten als ordinal zu betrachten, denke ich, dass ich keine Mittelwerte verwenden sollte. Vielleicht könnte ich auch einen Richterfaktor in mein Modell einbeziehen, sodass die Wiederholungen aufgrund jedes Richters nicht als DF gezählt werden?
Und was ist, wenn mein Richterfaktor einen erheblichen Einfluss hat?
Betreff: Wie verarbeite ich DoE-Sensordaten mit ordinalen Antworten?Die Richter sind nicht unabhängig von den Behandlungen (sie befinden sich innerhalb der Behandlung). Daher gibt es für das Hinzufügen eines Richterterms zum Modell keine DFs. Deshalb müssen Sie zunächst die Variation innerhalb der Behandlung (von Richter zu Richter und innerhalb des Richters) bewerten, bevor Sie die Daten zusammenfassen. Bedenken Sie, dass es keine „richtige“ Antwort gibt. Ich halte Ihren Ansatz, verschiedene Analysetechniken auszuprobieren, für gut. Allerdings möchte ich noch einmal betonen, dass die Ordinalskala weniger effektiv ist als eine kontinuierliche Messung. Und auch wenn andere argumentieren mögen, ist die logistische Regression ebenfalls effizient und effektiv. Aber jedem das Seine.
Ich muss sagen, Ihre Skala scheint Demings Kriterien nicht zu erfüllen. Bitte lesen Sie das Kapitel über operationale Definitionen in "Out of the Crisis". Viel weniger , etwas weniger sind nicht operational definiert (nicht jeder interpretiert das gleich). Meiner Meinung nach sollten Sie sich ausreichend Zeit nehmen, um den Messvorgang vor dem Experiment zu verstehen. Geschmackstests sind besonders anspruchsvoll. Sie könnten Cox, The Optimal Number of Response Alternatives for a Scale: A Review, lesen. Ich habe auch ein sehr altes Dokument angehängt (ich hoffe, es entspricht den Regeln).
