Di recente, mio collega Ryan Lekivetz ha scritto del nostro viaggio a Discovery Summit Europe a Bruxelles e il nostro piano per verificare se il cioccolato belga fosse davvero migliore di quello statunitense. Ryan ha bloggato in dettaglio sui vincoli della progettazione dello studio, nonché i fattori coinvolti. In questo post del blog descriverò come abbiamo raccolto i dati e analizzato i risultati.
Analisi sensoriale è un grande argomento con una letteratura ben sviluppata (MacFie & Thomson 1994 e Næs T, Brockhoff PB, Tomic O. (2010) sono buoni riferimenti per conoscere l'argomento). Volevamo solo rispondere a una domanda: in un test di assaggio cieco, la gente preferirebbe la cioccolata belga trasportata attraverso l'Oceano Atlantico, o la cioccolata americana che potremmo acquistare al supermercato? Dato il tasso di cambio dollaro / euro e lo spazio limitato nella mia valigia, questa era una domanda importante da rispondere prima di Discovery Summit Europe 2016!
L'esperimento progettato da Ryan non si è limitato solo ai nostri due effetti ipotizzati (origine e contenuto di cacao), ma ha anche randomizzato l'ordine delle domande. I partecipanti allo studio si stancano, specialmente nei test di assaggio, quindi dovevamo assicurarci che le persone vedessero i loro cioccolatini negli ordini casuali assegnati senza dare via i cioccolatini che stavano assaggiando. Ho anche avuto il compito di trovare un cioccolato americano di qualità comparabile al nostro cioccolato belga. Maggiori informazioni in seguito.
La raccolta dati pulita richiede una preparazione.
Ho quindi trascorso una serata al tavolo della mia cucina segnando lastre di carta con numeri di serie, ID sondaggio e una freccia "Inizia qui" (vedi sopra). Ognuno dei soggetti del sondaggio otterrebbe un piatto con cinque coppie di cioccolatini affiancati. Ci sono 10 pezzi di cioccolato su ogni piatto e 25 piatti in tutto (250 pezzi in totale).
Sheila Loring, ordinando con cura i cioccolatini.
Ogni coppia affiancata rappresenta un insieme di scelte nell'esperimento, e ogni soggetto doveva scegliere quale cioccolata di ciascuna coppia (scelta) che preferiva.
Preparare quei 25 pezzi di cioccolato non è stato un compito facile. Mille grazie alla nostra specialista di documentazione Sheila Loring e al tester JMP Bryan Shepherd per la loro assistenza. (Stranamente, non accetterebbero cioccolato extra come ringraziamento).
Una volta caricati i piatti di carta, era giunto il momento di eseguire i sondaggi. Abbiamo effettuato i nostri sondaggi in due gruppi, quindi non abbiamo dovuto riunire 25 partecipanti contemporaneamente; All'inizio di ogni sessione, ci siamo assicurati che i partecipanti sapessero come assaggiare il loro cioccolato e segnare i loro piatti.
Se provi questo a casa, ti consiglio vivamente di eseguire i sondaggi subito dopo pranzo. È difficile far sì che i soggetti dei test ascoltino l'orientamento quando c'è del delizioso cioccolato seduto proprio davanti a loro.
Due dei nostri soggetti di prova, meditando sui misteri del cioccolato.
Una volta raccolti i dati, l'ho inserito JMP . Il mio primo compito è stato assicurarmi di aver raccolto i dati correttamente, e per questo ho usato la piattaforma Categorical. Il design di Ryan era equilibrato, ma avevamo anche raccolto le informazioni degli intervistati (preferenza per il cioccolato e divisione JMP) come parte delle informazioni del nostro sondaggio. Volevo anche assicurarmi che il mio inserimento dei dati fosse corretto.
Nota: Questo è stato eseguito sui miei dati di risposta scelta, che ha 10 righe per partecipante, quindi ci sono in realtà cinque persone che non preferiscono il cioccolato fondente, non 50.
Figura 1
Ho trovato alcuni errori di immissione dati usando Categorical. A un certo punto durante il processo di immissione dei dati, mi sono stancato di digitare "Sviluppo" ripetutamente e ho iniziato a digitare "Dev". Ho anche dovuto cambiare il modo in cui ho misurato la preferenza al cioccolato, perché invece di controllare "Milk" o "Dark", due dei miei intervistati si sono mostrati industriosi e hanno scritto in "Nessuno dei due". La figura 1 mostra i dati dopo che ho usato Cols-> Utilità-> Ricodifica per pulirlo.
Una volta che i miei dati erano puliti, era giunto il momento di utilizzare la piattaforma Choice. Analizza-> Ricerca dei consumatori-> Scelta mi ha portato al dialogo, dove sono stato in grado di specificare come sono stati raccolti i dati e inserire gli effetti.
figura 2
Nella Figura 2, è possibile vedere che le colonne di raggruppamento sono: ID partecipante, ID sondaggio e ID serie scelta. Questo indica a JMP quali ID di colonna identificano univocamente un singolo set di opzioni per un dato partecipante. Vedi la documentazione Choice per maggiori informazioni su come specificare le colonne di raggruppamento per un sondaggio a tabella singola.
Figura 3
Una volta identificate le colonne di raggruppamento, era giunto il momento di specificare gli effetti. La Figura 3 mostra gli effetti che ho inserito per la prima volta nel modello. Notare che Chocolate Preference e JMP Division appaiono solo come effetti di interazione. I modelli di scelta confrontano sempre la scelta di un soggetto fatto a tutte le scelte che lui / lei ha mostrato in un determinato insieme di scelte, il che significa che non è possibile stimare un effetto principale (fisso) per qualcosa che è soggetto-specifico (come se una persona preferisce il cioccolato fondente). Puoi solo stimare come influisce sulle preferenze dei soggetti per fattori a livello di prodotto (come la percentuale di cacao in un pezzo di cioccolato fondente).
Figura 4
Per questa analisi, mi ha fatto molto piacere che la finestra di dialogo del modello Choice rimanga aperta anche dopo aver fatto clic sul pulsante "Esegui". Usando il test AIC (inferiore è meglio) e il rapporto di verosimiglianza, sono stato in grado di ridurre i miei effetti sul modello abbastanza velocemente. La Figura 4 mostra il mio modello finale. Puoi vedere che l'origine non è statisticamente significativa al livello del 95%. L'ho lasciato da quando era la nostra variabile di interesse, e volevo discuterne nel contesto degli altri effetti, ma sono abbastanza sicuro di avere la mia risposta in Figura 4.
La Figura 5 illustra i risultati utilizzando il Probability Profiler:
Figura 5
In questo caso, il mio gruppo di confronto è il cioccolato belga con il 41% di cacao e mi assicuro che gli effetti del soggetto siano coerenti (quindi gli amanti del cioccolato fondente sono paragonati ad altri amanti del cioccolato fondente).
Come avrete intuito, gli amanti del cioccolato fondente preferiscono il cioccolato fondente (come potete vedere dal fatto che la linea sale, e poi di nuovo quando il contenuto di cacao aumenta). Sembrano inoltre avere una leggera preferenza per i cioccolatini belgi negli Stati Uniti. Quando sposto la levetta per le preferenze dei prodotti di base e di confronto su "Non scuro", la leggera preferenza per il cioccolato belga rimane, ma è possibile notare un netto calo nella "Probabilità di acquisto" tra il 41% e il 60% di cacao. (Figura 6).
Figura 6
Infatti, il Probability Profiler mostra che se presentavamo i nostri cinque soggetti test che non esprimevano una preferenza per il cioccolato fondente con due pezzi di cioccolato che differivano solo dal cacao (un 41% di cacao e l'altro 60% di cacao), il nostro modello prevede solo un 1% di possibilità che scelgano il cioccolato fondente. La percentuale di cacao è il fattore più importante nel predire quale delle persone preferirà.
Quindi il vincitore è ...
Se confrontiamo gli Stati Uniti vs. Belga, mantenendo costante il contenuto di cacao e le preferenze di cioccolato, vediamo che c'è una differenza molto minore nelle probabilità previste. Se abbiamo due pezzi di cioccolato con lo stesso contenuto di cacao, uno dagli Stati Uniti e uno dal Belgio, e abbiamo chiesto a qualcuno di scegliere tra loro, il modello prevede una probabilità del 39% che scelgano il cioccolato statunitense e una probabilità del 61% che avrebbero scelto il cioccolato belga. Si potrebbe obiettare che c'è una leggera preferenza per il cioccolato belga.
Ho provato alcune altre varianti, inclusa un'analisi senza i cinque amanti del cioccolato al latte. L'origine era statisticamente significativa in alcuni dei modelli concorrenti, ma l'effetto è rimasto lo stesso: 39% di probabilità USA contro il 61% di Belgio. Il i dati sono disponibili nella Community utenti JMP se vuoi provare qualche analisi personale.
Ora, uno studio di soli 25 partecipanti è piuttosto piccolo, e se lavorassi con un cliente, mi preoccuperei di prendere una decisione enorme basata sulla mia analisi. Tuttavia, quando si tratta di decidere se riempire la mia valigia di cioccolato pesante, melty e che richiede spazio nel mio prossimo viaggio in Europa, penso di avere la mia risposta.
- La cosa più importante è assicurarmi di portare del cioccolato al latte per i miei amici che amano il cioccolato al latte e il cioccolato fondente per i miei amici che amano il cioccolato fondente.
- Controllando per quel fattore, il cioccolato belga potrebbe essere leggermente migliore (anche se non posso provarlo in modo significativo meglio), ma l'effetto è piccolo.
Riferimenti
- MacFie, H. & Thomson, D. (Eds.) (1994) Misurazione delle preferenze alimentari . Londra: Blackie.
- Næs T, Brockhoff PB, Tomic O. (2010) Statistiche per la scienza sensoriale e dei consumatori . Londra: John Wiley & Sons.
