¿Cómo proceso datos sensoriales del DoE con respuestas ordinales?Hola a todos !
Me comunico con ustedes porque tengo dificultades para procesar datos de un Departamento de Energía. Generé un diseño óptimo para estudiar la influencia de los parámetros de formulación en un producto alimenticio. Nueve jueces probaron los productos comparándolos con un producto de referencia y los evaluaron según varios descriptores sensoriales, como se indica a continuación:
-3 = mucho menor que la referencia, -2 = menor que ref, -1 = un poco menor que ref, 0 = igual a ref 1 = un poco más que ref, 2 = más que ref, 3 = mucho más que ref.
Así que tengo datos ordinales para mis respuestas. Pero, como primer enfoque, intenté considerar los datos como continuos y realicé una regresión lineal múltiple. Para ello, combiné los datos de los jueces utilizando promedios (anteriormente, estudié el efecto de los jueces en mis datos sin procesar). El ajuste fue aceptable y pude extraer algunas conclusiones.
Como segundo enfoque, quise probar la regresión logística ordinal. Sin embargo, no encuentro la manera de combinar los datos de todos los jueces y tener básicamente una línea por producto. Según tengo entendido, conservar los datos de todos los jueces no permitirá un ajuste adecuado, ya que no podré saber qué datos de los jueces utilizó el modelo para realizar el ajuste.
¿Alguna sugerencia al respecto? ¡Gracias!:)
Modelado estadístico avanzadoRe: ¿Cómo proceso datos sensoriales del DoE con respuestas ordinales?Bienvenido a la comunidad. Creo que vas por buen camino. Dado que las evaluaciones múltiples por tratamiento no son factores de distribución (DF), es necesario resumir los datos. Yo analizaría primero la variación intratratamiento gráficamente (p. ej., un gráfico de variabilidad) y luego evaluaría si existen sesgos evidentes del evaluador (colorear o marcar por columna > evaluador). Si no hay diferencias asignables entre los evaluadores, utiliza la media. También te sugiero que tomes la desviación estándar y otra Y. Si quieres saber qué factores de tu experimento afectan la respuesta promedio, modela la media. Si quieres evaluar qué factores afectan la variación entre los evaluadores, modela la desviación estándar. Aunque puede que no sea técnicamente correcto tratar la respuesta como continua, no creo que te metas en muchos problemas.
Re: ¿Cómo proceso datos sensoriales del DoE con respuestas ordinales?Hola @Meli1
¡Bienvenido a la comunidad!
Como ya afirmó @statman , probar un modelo de regresión en estas notas todavía puede ser una buena idea.
También probaría una opción sencilla: una regresión logística ordinal con un número reducido de clases (3): Peor (-2/-1), Neutral (0) y Mejor (1/2). Un menor número de clases debería ayudar al modelo a distinguir las diferencias clave entre las muestras y evitar clasificaciones erróneas entre clases estrechamente relacionadas (por ejemplo, -2 y -1). Si el modelo sigue teniendo dificultades para separar las tres clases, se podría añadir una nueva columna "Ponderación" y especificar ponderaciones de 1 para las clases anteriores -1/0/1 y ponderaciones mayores para las clases extremas -2/2 para facilitar la separación de los resultados extremos. Esta columna se podría añadir como una opción de "Ponderación" al iniciar el modelo. Posteriormente, se podrían extraer las probabilidades brutas de cada clase, lo que ayuda a comprender la similitud o diferencia entre las muestras y a evaluar la incertidumbre de la evaluación.
También existen otras opciones disponibles según su objetivo y cómo se recopilaron los datos: ¿obligó a los evaluadores a probar el punto de referencia a ciegas para evaluar las notas? De ser así, podría evaluar las distancias entre las muestras y el punto de referencia basándose en las notas, y también reescalar las notas de los evaluadores basándose en esta referencia común definida en 0.
Espero que esta respuesta complementaria pueda ayudarte.
Re: ¿Cómo proceso datos sensoriales del DoE con respuestas ordinales?Interesante, yo adoptaría un enfoque diferente para los datos ordinales. No recomendaría reducir el número de "clases". Un problema con los datos ordinales es la falta de discriminación (resolución efectiva). Si se lee Wheeler y Lyday, "Evaluando el Proceso de Medición", se puede contar el número de unidades de medida (en una escala ordinal, la UM = 1) dentro del límite de control superior del gráfico de rango. Con datos ordinales, casi siempre está por debajo de la guía mínima (la ROT es de 5 como mínimo). Curiosamente, al promediar los datos de una escala ordinal, la resolución aumenta, ya que ahora hay decimales en lugar de números enteros. Cuanto más continuos sean los datos, más eficientes serán los datos y el análisis posterior. Las preguntas de Victor sobre cómo se realizaron las evaluaciones son un buen punto. En retrospectiva, se podría evaluar la variación dentro del evaluador haciendo que el mismo evaluador califique el mismo tratamiento dos veces.
Re: ¿Cómo proceso datos sensoriales del DoE con respuestas ordinales?El proceso de notación utilizado aquí es muy similar a una escala de Likert y, de hecho, 5 niveles es el mínimo recomendado, siendo 7 o 9 el óptimo (buen compromiso entre diferenciación y nivel de detalles sin confusión):
Duane F. Alwin y Jon A. Krosnick, «La fiabilidad de la medición de actitudes en encuestas: la influencia de las preguntas y los atributos del encuestado», Sociological Methods Research, vol. 20, n.º 1, 1991, págs. 139-181
Este número óptimo de niveles se probó recientemente mediante simulación numérica en este estudio:
Alberto Maydeu-Olivares, Amanda J. Fairchild y Alexander G. Hall, « Bondad de ajuste en el análisis factorial de ítems: efecto del número de alternativas de respuesta», Structural Equation Modeling: A Multidisciplinary Journal, vol. 24, n.º 4, 2017, págs. 495-505
En el caso de estudio que aquí se presenta con poca información o resultados, no sabemos si los resultados concuerdan entre los evaluadores.
Dependiendo del número de evaluadores, de su experiencia y formación, y de las diferencias "reales" entre las muestras, el acuerdo entre los operadores sobre las muestras puede ser muy diferente.
- Probar primero la concordancia entre ellos podría ser un primer paso a través del análisis de contingencia de la plataforma. La concordancia , ya que las comparaciones múltiples 2x2 podrían ayudar a identificar a un juez cuyas notas de las muestras son muy diferentes a las de los demás jueces. Las notas de este juez podrían descartarse si difieren demasiado. El estadístico Kappa podría ayudar a evaluar el nivel de concordancia entre los jueces. Puede resultar complicado hacerlo fácilmente en este caso práctico, ya que con 9 jueces esto representaría 36 comparaciones para cada par.
- Luego, según el nivel de concordancia, se podía optar por resumir los datos/notas (solo las clases negativas, neutrales y positivas) o usar todas las clases. Obtuve buenos resultados al resumir los datos en casos de uso donde la concordancia no era muy buena, ya que ayudó a identificar rápidamente los factores positivos y negativos.
Otra opción a considerar es dividir la evaluación global en varias evaluaciones más pequeñas; si los jueces evalúan el gusto, tal vez podría orientar la evaluación preguntándoles en varias direcciones:
En comparación con la referencia, ¿las muestras son más dulces? ¿Más saladas? ¿Más ácidas? ¿Amargas? ... Con respuestas Sí/No/Neutro.
En lugar de tener una escala de cinco niveles para evaluar el sabor, los jueces toman nota de cuatro aspectos diferentes en una escala simple de tres niveles, lo que puede ayudar a identificar con mayor precisión las compensaciones y las diferencias entre las formulaciones.
Espero que esta respuesta pueda ayudar.
Re: ¿Cómo proceso datos sensoriales del DoE con respuestas ordinales?¡Gracias statman por tu respuesta!
No hubo un sesgo evidente del evaluador. Así que intentaré usar las medias. Pero si quiero usarlas para mi regresión logística, tendría que redondearlas para volver a los niveles originales, ¿verdad? Porque si no, habría demasiadas modalidades de respuesta.
¡Gracias de nuevo!
Re: ¿Cómo proceso datos sensoriales del DoE con respuestas ordinales?Hola Víctor, muchas gracias por tu respuesta!
¿Significa esto que si utilizara menos niveles no necesitaría resumir los datos de todos los jueces?
También sí, e hizo que los jueces evaluaran el punto de referencia a ciegas. Sin embargo, no sé cómo reevaluar las notas de los evaluadores con base en esta referencia definida como 0. Además, casi todos los jueces reconocieron esta referencia y la calificaron con cero la mayoría de las veces.
Gracias de nuevo !
Re: ¿Cómo proceso datos sensoriales del DoE con respuestas ordinales?¿Por qué quieres usar la regresión logística? Mi argumento es que no es tan eficiente ni efectiva como la regresión de mínimos cuadrados. Claro que intento comprender la estructura causal, no las probabilidades. Desconozco tus objetivos finales. En mi opinión, no es recomendable usar la regresión logística. Dado que estás promediando las respuestas, la respuesta resultante es más continua y, por lo tanto, te permite usar MCO.
Re: ¿Cómo proceso datos sensoriales del DoE con respuestas ordinales?En realidad, mi objetivo es comparar dos enfoques para procesar los datos:
-considerando que los datos pueden tratarse como continuos mediante el uso de regresión lineal múltiple
-considerando que los datos solo pueden tratarse como ordinales (tal como son) mediante el uso de regresión logística ordinal
Para la regresión lineal múltiple, apliqué mi modelo sobre las medias. Sin embargo, no estoy seguro de si es la decisión correcta. Por ejemplo, ¿qué sucedería si añadiera un efecto de juez a mi modelo? ¿Ayudaría eso a no considerar las repeticiones de cada juez como factor de distribución (FD)?
Para la regresión logística ordinal, dado que la idea es abordar los datos como ordinales, considero que no debería usar medias. ¿Quizás también podría incluir un factor de juez en mi modelo para que las repeticiones debidas a cada juez no se contabilicen como factor de densidad?
¿Y qué pasa si mi factor juez tiene un efecto significativo?
Re: ¿Cómo proceso datos sensoriales del DoE con respuestas ordinales?Los jueces no son independientes de los tratamientos (están dentro del tratamiento), por lo que, en cuanto a añadir un término de juez al modelo, no se dispone de variables de definición (FD). Por eso, primero se debe evaluar la variación dentro del tratamiento (de juez a juez y dentro del mismo juez) antes de resumir los datos. Tenga en cuenta que no hay una respuesta "correcta". Creo que su enfoque de probar diferentes técnicas de análisis es bueno. Sin embargo, insisto, la escala ordinal es menos efectiva que una medición continua. Y aunque otros puedan argumentar, la regresión logística también es eficiente y eficaz. Pero cada uno tiene sus preferencias.
Diré que su escala no parece cumplir con los criterios sugeridos por Deming. Por favor, lea el capítulo sobre definiciones operativas en "Out of the Crisis". Mucho menos , un poco menos, no están definidos operativamente (no todos tienen la misma interpretación). En mi opinión, debería dedicar suficiente tiempo a comprender el proceso de medición a priori del experimento. La degustación es particularmente difícil. Podría leer Cox, "El número óptimo de alternativas de respuesta para una escala: Una revisión" . También hay un artículo muy antiguo que he adjuntado (espero que se ajuste a las normas).
