893021_it-IT

liliconcom

Come elaboro i dati sensoriali DoE con risposte ordinali

Ciao a tutti!

Vi contatto perché ho difficoltà a elaborare i dati di un Dipartimento dell'Energia. Ho elaborato un progetto ottimale per studiare l'influenza dei parametri di formulazione su un prodotto alimentare. 9 giudici hanno assaggiato i prodotti confrontandoli con un prodotto di riferimento e li hanno valutati in base a diversi descrittori sensoriali, come segue:

-3 = molto meno del riferimento, -2 = meno del riferimento, -1 = un po' meno del riferimento, 0 = uguale al riferimento 1 = un po' più del riferimento, 2 = più del riferimento, 3 = molto più del riferimento.

Quindi ho dati ordinali per le mie risposte. Ma come primo approccio ho provato a considerare i dati come continui e ho eseguito una regressione lineare multipla. Per farlo, ho combinato i dati dei giudici utilizzando le medie (prima avevo studiato l'effetto dei giudici sui miei dati grezzi). L'adattamento non era pessimo e ho potuto trarre alcune conclusioni.

Come secondo approccio, ho voluto provare la regressione logistica ordinale. Tuttavia, non riesco a trovare un modo per combinare i dati di tutti i giudici e ottenere sostanzialmente una riga per prodotto. Da quello che ho capito, conservare i dati di tutti i giudici non consentirà un adattamento corretto perché non sarò in grado di sapere quali dati dei giudici sono stati utilizzati dal modello per effettuare l'adattamento.

Avete suggerimenti in merito? Grazie!:)

Modellazione statistica avanzataRe: Come elaboro i dati sensoriali DoE con risposte ordinali

Benvenuto nella community. Penso che tu sia sulla strada giusta. Poiché le valutazioni multiple per trattamento non sono DF, i dati devono essere riassunti. Esaminerei prima graficamente la variazione all'interno del trattamento (ad esempio, un grafico di variabilità) e poi valuterei se ci sono evidenti bias del valutatore (colore o marcatura per colonna > valutatore). Se non ci sono differenze assegnabili tra i valutatori, allora usa la media. Ti suggerisco anche di prendere la deviazione standard e un'altra Y. Se vuoi sapere quali fattori del tuo esperimento influenzano la risposta media, modella la media. Se vuoi valutare quali fattori influenzano la variazione tra i valutatori, allora modella la deviazione standard. Anche se potrebbe non essere tecnicamente corretto trattare la risposta come continua, non credo che ti troverai in troppi guai.

Re: Come elaboro i dati sensoriali DoE con risposte ordinali

Ciao @Meli1

Benvenuti nella Community!
Come già affermato da @statman , provare un modello di regressione su queste note può comunque essere una buona idea.

Proverei anche un'opzione semplice, utilizzando una regressione logistica ordinale con un numero ridotto di classi (3): Peggiore (-2/-1), Neutrale (0) e Migliore (1/2). Avere meno classi dovrebbe aiutare il modello a distinguere le differenze chiave tra i campioni ed evitare classificazioni errate tra classi strettamente correlate (ad esempio -2 e -1). Se il modello ha ancora difficoltà a separare le 3 classi, è possibile aggiungere una nuova colonna "peso" e specificare pesi pari a 1 per le classi precedenti -1/0/1 e pesi maggiori per le classi estreme -2/2 per aiutare a separare i risultati estremi, aggiungendo questa colonna come opzione "Peso" all'avvio del modello. È quindi possibile estrarre le probabilità grezze per ciascuna classe, che aiutano a comprendere quanto simili/diversi siano i campioni e dovrebbero aiutare a valutare l'incertezza di valutazione.

Sono disponibili anche altre opzioni, a seconda dell'obiettivo e del modo in cui sono stati raccolti i dati: hai chiesto ai valutatori di testare il benchmark alla cieca per valutare le note? In tal caso, potresti valutare le distanze tra campioni e benchmark in base alle note, e anche "ridimensionare" le note dei valutatori in base a questo riferimento comune definito a 0.

Spero che questa risposta complementare possa aiutarti,

Re: Come elaboro i dati sensoriali DoE con risposte ordinali

Interessante, adotterei un approccio diverso ai dati ordinali. Non consiglierei di ridurre il numero di "classi". Un problema con i dati ordinali è la mancanza di discriminazione (risoluzione effettiva). Se leggete Wheeler e Lyday, "Evaluating the Measurement Process", potete contare il numero di unità di misura (in una scala ordinale, MU = 1) all'interno del limite di controllo superiore del grafico dell'intervallo. Con i dati ordinali, è quasi sempre al di sotto del minimo indicativo (il ROT è minimo 5). È interessante notare, tuttavia, che quando si calcola la media dei dati da una scala ordinale, la risoluzione aumenta effettivamente, poiché ora ci sono decimali e non solo numeri interi. Più i dati sono prossimi alla continuità, più efficienti sono i dati e l'analisi successiva. Le domande di Victor su come sono state effettuate le valutazioni sono valide. Col senno di poi, si potrebbe valutare la variabilità all'interno del valutatore facendo in modo che lo stesso valutatore valuti lo stesso trattamento due volte.

Re: Come elaboro i dati sensoriali DoE con risposte ordinali

Il processo di notazione utilizzato qui è molto simile a una scala Likert e, in effetti, 5 livelli sono il minimo raccomandato, mentre 7 o 9 sono ottimali (un buon compromesso tra differenziazione e livello di dettaglio senza confusione):
Duane F. Alwin e Jon A. Krosnick, « L'affidabilità della misurazione dell'atteggiamento nei sondaggi: l'influenza delle domande e degli attributi dei rispondenti », Sociological Methods Research, vol. 20, n. 1, 1991, p. 139-181
Questo numero ottimale di livelli è stato recentemente testato tramite simulazione numerica in questo studio:

Alberto Maydeu-Olivares, Amanda J. Fairchild e Alexander G. Hall, « Bontà di adattamento nell'analisi fattoriale degli item: effetto del numero di alternative di risposta », Structural Equation Modeling: A Multidisciplinary Journal, vol. 24, n. 4, 2017, p. 495-505

Nel caso di studio qui presentato, con poche informazioni o risultati, non sappiamo se i risultati siano concordanti tra i valutatori.
A seconda del numero di valutatori, della loro competenza e formazione, nonché delle differenze "reali" tra i campioni, l'accordo tra gli operatori sui campioni può variare notevolmente.

• Testare prima l'accordo tra i giudici potrebbe essere un primo passo attraverso la piattaforma Analisi di contingenza - Accordo , poiché i confronti multipli 2 a 2 potrebbero aiutare a individuare un giudice che annota i campioni in modo molto diverso dagli altri giudici. Le note di questo giudice potrebbero quindi essere scartate se troppo diverse. La statistica Kappa potrebbe aiutare a valutare il livello di accordo tra i giudici. Potrebbe essere macchinoso farlo facilmente in questo caso d'uso, poiché con 9 giudici ciò rappresenterebbe 36 confronti da effettuare per ogni coppia di giudici.
• Quindi, a seconda del livello di accordo, si può scegliere di riassumere i dati/le note (solo le classi negative, neutre e positive) o di utilizzare tutte le classi. Ho ottenuto buoni risultati riassumendo i dati nei casi d'uso in cui l'accordo non era molto buono, poiché ciò ha aiutato a identificare rapidamente i fattori positivi e negativi.

Un'altra opzione da considerare è quella di suddividere la valutazione globale in diverse valutazioni più piccole; se i giudici valutano il gusto, potresti orientare la valutazione interrogandoli in diverse direzioni:
Rispetto al riferimento, i campioni sono più dolci? Più salati? Più aspri? Amari? ... Con risposte Sì/No/Neutro.
Invece di utilizzare una scala a 5 livelli per valutare il gusto, i giudici notano 4 aspetti diversi su una semplice scala a 3 livelli, che può aiutare a identificare con maggiore precisione i compromessi e le differenze tra le formulazioni.

Spero che questa risposta possa aiutarti,

Re: Come elaboro i dati sensoriali DoE con risposte ordinali

Grazie statman per la tua risposta!

Non c'era alcun evidente bias del valutatore. Quindi proverò a usare le medie. Ma se volessi usare le medie per la mia regressione logistica, dovrei arrotondarle per eccesso per tornare ai livelli originali, giusto? Perché altrimenti ci sarebbero troppe modalità di risposta?

Grazie ancora!

Re: Come elaboro i dati sensoriali DoE con risposte ordinali

Ciao Victor, grazie mille per la tua risposta!

Ciò significa che se utilizzassi meno livelli non avrei bisogno di riassumere i dati di tutti i giudici?

Anche sì, e ho fatto sì che i giudici valutassero il benchmark alla cieca. Tuttavia, non so come "ridimensionare" le note dei valutatori sulla base di questo riferimento definito a 0. Inoltre, quasi tutti i giudici sono riusciti a riconoscere questo riferimento e gli hanno assegnato un punteggio pari a zero nella maggior parte dei casi.

Grazie ancora !

Re: Come elaboro i dati sensoriali DoE con risposte ordinali

Perché vuoi usare la regressione logistica? La mia tesi è che non sia efficiente o efficace quanto la regressione dei minimi quadrati. Ovviamente, sto cercando di capire la struttura causale, non le probabilità. Non conosco realmente i tuoi obiettivi finali. A mio modesto parere, no, non vuoi davvero usare la regressione logistica. Dato che stai calcolando la media delle risposte, la risposta risultante è più continua e quindi ti consente di usare OLS.

Re: Come elaboro i dati sensoriali DoE con risposte ordinali

In realtà il mio obiettivo è confrontare due approcci per elaborare i dati:

-considerando che i dati possono essere trattati come continui utilizzando la regressione lineare multipla

-considerando che i dati possono essere trattati solo come ordinali (così come sono) utilizzando la regressione logistica ordinale

Per la regressione lineare multipla ho applicato il mio modello sulle medie. Ma non sono sicuro che sia la cosa giusta da fare. Ad esempio, cosa succederebbe se aggiungessi un effetto giudice al mio modello? Aiuterebbe a non considerare le ripetizioni di ciascun giudice come DF?

Per la regressione logistica ordinale, poiché l'idea è di approcciare i dati come ordinali, ora sto pensando di non usare le medie. Forse potrei anche includere un fattore di giudizio nel mio modello in modo che le ripetizioni dovute a ciascun giudice non vengano conteggiate come DF?

E se il mio fattore giudice avesse un effetto significativo?

Re: Come elaboro i dati sensoriali DoE con risposte ordinali

I giudici non sono indipendenti dai trattamenti (sono all'interno del trattamento), quindi per quanto riguarda l'aggiunta di un termine di giudizio al modello, non si hanno DF per questo. Questo è il motivo per cui è necessario valutare prima la variazione all'interno del trattamento (da giudice a giudice e all'interno del giudice) prima di riassumere i dati. Renditi conto che non esiste una risposta "giusta". Penso che il tuo approccio nel provare diverse tecniche di analisi sia valido. Tuttavia, ripeto, la scala ordinale è meno efficace di una misurazione continua. E sebbene altri possano obiettare, anche la regressione logistica è efficiente ed efficace. Ma a ciascuno il suo.

Devo dire che la tua scala non sembra soddisfare i criteri suggeriti da Deming. Leggi il capitolo sulle definizioni operative in "Out of the Crisis". Molto meno , un po' meno non sono definiti operativamente (non tutti hanno la stessa interpretazione). A mio modesto parere, dovresti dedicare un tempo adeguato alla comprensione del processo di misurazione a priori dell'esperimento. La degustazione è particolarmente impegnativa. Potresti leggere " The Optimal Number of Response Alternatives for a Scale: A Review" di Cox. Ho anche allegato un articolo molto vecchio (spero che sia conforme alle regole).