I fornitori di laptop devono sapere quali caratteristiche sono apprezzate in un laptop e quanto i clienti sono disposti a pagare per loro. I produttori potrebbero apprenderlo attraverso una tecnica di ricerca di mercato nota come a esperimento di scelta . Questo post copre gli elementi di design sperimentale per esperimenti di scelta utilizzando JMP 8.
Ma prima devo dare credito a ciò che è dovuto. Sia la ricerca e lo sviluppo che gli esempi utilizzati qui sono opera di Bradley Jones e Chris Gotwalt , che ha implementato le tecniche in JMP 8.
Quindi progettiamo un esperimento di scelta per capire quanto siano preziose una serie di funzionalità per i clienti. In particolare, ci concentriamo su quanto segue:
| Fattore |
Livelli |
|---|
| Velocità |
Veloce lento |
| Dimensioni disco |
Grande piccolo |
| Durata della batteria |
Lungo breve |
| Prezzo |
Economico, costoso |
Nell'esperimento, un soggetto deve scegliere tra due configurazioni, selezionando la configurazione più attraente. Ad esempio, una scelta potrebbe essere tra un laptop costoso ma completo e uno economico ma con funzionalità compromesse.
| Scelta |
Velocità |
Dimensioni disco |
Durata della batteria |
Prezzo |
|---|
| un |
Veloce |
Grande |
Lungo |
Costoso |
| b |
Lento |
Piccolo |
Corto |
A buon mercato |
Supponiamo di aver utilizzato un normale disegno sperimentale da utilizzare in un esperimento di scelta. Ogni scelta può essere specificata come un blocco in un design tradizionale. Sarebbe una buona idea?
Considera la seguente scelta tra a e b:
| Scelta |
Velocità |
Dimensioni disco |
Durata della batteria |
Prezzo |
|---|
| un |
Veloce |
Piccolo |
Lungo |
Costoso |
| b |
Veloce |
Piccolo |
Lungo |
Costoso |
Queste sono corse in cui i fattori hanno gli stessi valori. Non c'è una vera scelta qui; non ci sono informazioni da acquisire perché la scelta è arbitraria. Quindi, abbiamo la nostra prima regola di esperimenti di scelta:
Linea guida: negli esperimenti di scelta, non ci sono repliche all'interno del blocco, cioè le alternative testate devono essere diverse per imparare qualcosa.
Questo è abbastanza diverso, ad esempio, da un progetto di superficie di risposta industriale, in cui le repliche sono preziose per stimare i fattori con maggiore precisione, per ottenere una stima più precisa dell'errore sperimentale e per ottenere una stima dell'errore puro per mancanza di fit test. Quindi i design scelti sono diversi dai design sperimentali.
Consideriamo ora una situazione in cui una scelta supera tutte le altre. Ciò potrebbe facilmente accadere se i livelli dei fattori fossero distribuiti molto di più in un fattore che in un altro, in relazione alla situazione. Ad esempio, supponiamo che il prezzo elevato sia così alto che nessuno potrebbe mai sceglierlo, nonostante i valori di altri fattori. Consideriamo ora l'esecuzione del tipico design classico, in cui tutti i fattori variano all'interno dei blocchi. Supponiamo che a ciascun soggetto vengano date tre domande a scelta, ciascuna con due scelte.
| Impostato |
Scelta |
Velocità |
Dimensioni disco |
Durata della batteria |
Prezzo |
|---|
| 1 |
un |
Lento |
Grande |
Lungo |
A buon mercato |
| 1 |
b |
Veloce |
Piccolo |
Corto |
Costoso |
| 2 |
un |
Lento |
Piccolo |
Lungo |
Costoso |
| 2 |
b |
Veloce |
Grande |
Corto |
A buon mercato |
| 3 |
un |
Veloce |
Piccolo |
Corto |
Costoso |
| 3 |
b |
Lento |
Grande |
Lungo |
A buon mercato |
Questo design può dirci molto su un fattore dominante, come il prezzo. Può mostrare qualcos'altro? Se il prezzo domina la decisione, l'utente non deve nemmeno guardare gli altri valori dei fattori per prendere una decisione. Gli altri fattori non sono neppure misurabili, a parte essere inferiori all'effetto prezzo. Sacrifichi l'apprendimento di altri fattori. Per risolvere questo problema, dobbiamo mantenere gli stessi fattori all'interno di una serie di scelte per alcune prove.
Linea guida: è necessario disporre di serie di scelte in cui un fattore è costante in tutte le serie di scelte, per ogni fattore.
C'è un altro motivo per cui non dovresti variare troppi fattori in un insieme di scelte: i soggetti diventano troppo confusi e affaticati quando ci sono due molte differenze per loro per valutare i compromessi. Se le due scelte sono molto diverse, la scelta tenderà ad apparire come una scelta tra due cose molto diverse; diciamo che è come confrontare mele e arance: sono buone o cattive ciascuna a modo loro, e non si confrontano tra loro.
Linea guida: non variare mai più di tre o quattro fattori al massimo in un insieme di scelte.
C'è un altro problema con i progetti ordinari. Considera la seguente scelta impostata per un laptop:
| Scelta |
Velocità |
Dimensioni disco |
Durata della batteria |
Prezzo |
|---|
| un |
Veloce |
Grande |
Lungo |
A buon mercato |
| b |
Lento |
Piccolo |
Corto |
Costoso |
Questa scelta sarà facile per il soggetto. Non ci sono compromessi da fare. L'esperimento del laptop è stato costruito per compromessi perché tutti i fattori hanno un livello naturalmente preferito. Più veloce è sempre preferito a più lento. Il disco più grande è sempre preferito a quello più piccolo. La durata della batteria più lunga è sempre preferibile a una più breve. Il prezzo più economico è sempre preferito a quello più costoso, a parità di altre condizioni. Questo esperimento ha tutti i fattori polari. Quindi, questo insieme di scelte non ci dice nulla che non sappiamo già. Questo set di scelte è un insulto al soggetto. Tuttavia, i progetti sperimentali tradizionali produrranno corse come questa.
Linea guida: i fattori polari dovrebbero sempre avere un misto di polarità. Nessun gruppo di scelte dovrebbe avere tutti i fattori polari impostati nella stessa direzione all'interno delle scelte.
Ci sono altri problemi con alcuni sondaggi:
- Alcuni sondaggi pongono troppe domande, mirando a dettagli "profilo completo" che consentono di stimare un modello diverso per ogni persona. Ma la gente si stanca di sondaggi troppo lunghi; si fermano presto a qualsiasi sondaggio che metta alla prova la loro pazienza, a meno che tu non li paghi effettivamente. Circa 15 domande è il massimo che possiamo aspettarci dai sondaggi sui volontari.
- Alcuni sondaggi non variano a sufficienza i fattori. Ad un estremo, supponiamo che solo un fattore sia variato in qualsiasi insieme di scelte. In tal caso, sono stimabili solo gli effetti principali; nessuna interazione può essere stimata. Non è possibile valutare molto bene i compromessi perché il relativo compromesso tra i fattori non viene mai testato.
- Se si bilancia la necessità di stimare compromessi e interazioni con la necessità di non porre troppe domande, è necessario rendersi conto che il sondaggio deve fornire diversi set di domande a persone diverse per raggiungere entrambi gli obiettivi. Sebbene questo renda l'applicazione dell'indagine più complessa, non è un vero problema perché le indagini sono generate al computer.
Tutte queste regole sembrano abbastanza ovvie in retrospettiva, giusto? L'ironia è che queste considerazioni di solito non vengono seguite, soprattutto le ultime. Spesso i ricercatori di mercato utilizzano lo stesso software di progettazione di esperimenti (DOE) per esperimenti di scelta che usano per esperimenti industriali, pensando che DOE sia un concetto astratto e generale che è lo stesso in ogni situazione. Non é la stessa cosa. Gli esperimenti di scelta sono più difficili da progettare bene.
L'unico buon approccio alle esigenze molto specifiche di ogni esperimento di scelta è quello di utilizzare gli strumenti di progettazione sperimentale ottimale, ma adattati alle esigenze specifiche degli esperimenti di scelta e alle esigenze specifiche in ogni singola situazione.
La tecnica di progettazione ottimale in generale organizza le impostazioni dei fattori nelle corse in modo che si apprenda il massimo da un dato numero di corse. Nei modelli di apprendimento, la disposizione ottimale è invariante ai valori effettivi dei parametri, quindi la situazione è semplice.
Risulta che i modelli di scelta, che si adattano a un tipo specializzato di regressione logistica, non sono lineari nei parametri, quindi il progetto ottimale dipende dal valore reale dei parametri, che è sconosciuto. Quindi un intervallo, o una distribuzione a priori, dei parametri viene utilizzato per rappresentare l'intervallo che è necessario considerare. L'ottimizzazione del progetto per questo è abbastanza difficile, coinvolgendo l'integrazione delle densità precedenti per creare il progetto ottimale. [Chaloner, K. e Verdinelli, I. (1995). Disegno sperimentale bayesiano: una revisione, Statistical Science 10: 273-304.] Ma JMP è stato in grado di prendere ciò che aveva appreso per DOE non lineare e applicarlo ai progetti Choice [Gotwalt, C., Jones, B. e Steinberg, D. (2009) Fast Computation of Designs Robust to Parameter Uncertainty for Nonlinear Settings accettati a Technometrics. ]
Quindi un buon progetto sperimentale per un esperimento di scelta è diverso da quello per altri esperimenti e le tecniche di progettazione ottimali possono gestirli al meglio.
Nel mio prossimo post vedremo come l'esperimento del laptop è stato effettivamente progettato ed eseguito.
