Les vendeurs d'ordinateurs portables doivent savoir quelles fonctionnalités sont appréciées dans un ordinateur portable et combien les clients sont prêts à payer pour cela. Les fabricants pourraient l'apprendre grâce à une technique d'étude de marché connue sous le nom de expérience de choix . Cet article couvre les éléments de conception expérimentale pour des expériences de choix utilisant JMP 8.
Mais d'abord, je dois donner du crédit là où c'est dû. La R&D et les exemples utilisés ici sont le travail de Bradley Jones et Chris Gotwalt , qui a implémenté les techniques dans JMP 8.
Concevons donc une expérience de choix pour déterminer la valeur d'un certain nombre de fonctionnalités pour les clients. En particulier, nous nous concentrons sur les éléments suivants:
| Facteur |
Les niveaux |
|---|
| La vitesse |
Vite lent |
| Taille du disque |
Gros petit |
| Vie de la batterie |
Long, court |
| Prix |
Pas cher cher |
Dans l'expérience, un sujet doit choisir entre deux configurations, en sélectionnant la configuration la plus attrayante. Par exemple, un choix pourrait être entre un ordinateur portable cher mais complet et un ordinateur bon marché mais dont les fonctionnalités sont compromises.
| Choix |
La vitesse |
Taille du disque |
Vie de la batterie |
Prix |
|---|
| une |
Vite |
Gros |
Longue |
Coûteux |
| b |
Lent |
Petit |
Court |
Pas cher |
Supposons que nous utilisions un plan expérimental ordinaire pour une utilisation dans une expérience de choix. Chaque choix pourrait être spécifié comme un bloc dans une conception traditionnelle. Serait-ce une bonne idée?
Considérez le choix suivant entre a et b:
| Choix |
La vitesse |
Taille du disque |
Vie de la batterie |
Prix |
|---|
| une |
Vite |
Petit |
Longue |
Coûteux |
| b |
Vite |
Petit |
Longue |
Coûteux |
Ce sont des exécutions dans lesquelles les facteurs ont les mêmes valeurs. Il n'y a pas de véritable choix ici; il n'y a aucune information à gagner car le choix est arbitraire. Ainsi, nous avons notre première règle d'expérimentation de choix:
Ligne directrice: Dans les expériences de choix, il n'y a pas de répliques intra-bloc, c'est-à-dire que les alternatives testées doivent être différentes pour apprendre quelque chose.
Ceci est très différent, par exemple, d'une conception de surface de réponse industrielle, où les répliques sont utiles pour estimer les facteurs avec une plus grande précision, pour obtenir une estimation plus précise de l'erreur expérimentale et pour obtenir une estimation de l'erreur pure pour un test de manque d'ajustement. Les conceptions de choix sont donc différentes des conceptions expérimentales.
Considérons maintenant une situation dans laquelle un choix l'emporte sur tous les autres. Cela pourrait facilement se produire si les niveaux de facteurs sont beaucoup plus répartis dans un facteur que dans un autre, par rapport à la situation. Par exemple, supposons que le prix élevé soit si élevé que personne ne puisse jamais le choisir, malgré toute autre valeur de facteur. Pensez maintenant à exécuter la conception classique typique, dans laquelle tous les facteurs varient au sein des blocs. Supposons que chaque sujet reçoive trois questions à choix, chacune avec deux choix.
| Ensemble |
Choix |
La vitesse |
Taille du disque |
Vie de la batterie |
Prix |
|---|
| 1 |
une |
Lent |
Gros |
Longue |
Pas cher |
| 1 |
b |
Vite |
Petit |
Court |
Coûteux |
| 2 |
une |
Lent |
Petit |
Longue |
Coûteux |
| 2 |
b |
Vite |
Gros |
Court |
Pas cher |
| 3 |
une |
Vite |
Petit |
Court |
Coûteux |
| 3 |
b |
Lent |
Gros |
Longue |
Pas cher |
Cette conception peut nous en dire long sur un facteur dominant, comme le prix. Peut-il montrer autre chose? Si le prix domine la décision, l'utilisateur n'a même pas besoin de regarder les autres valeurs de facteur pour prendre une décision. Les autres facteurs ne sont même pas mesurables, à part être plus petits que l'effet prix. Vous sacrifiez l'apprentissage d'autres facteurs. Pour résoudre ce problème, nous devons conserver les mêmes facteurs dans un ensemble de choix pour certains des essais.
Directive: Vous devez avoir des ensembles de choix où un facteur est constant dans l'ensemble de choix, pour chaque facteur.
Il y a une autre raison pour laquelle vous ne devriez pas varier trop de facteurs à travers un ensemble de choix: les sujets deviennent trop confus et fatigués quand il y a deux nombreuses différences pour qu'ils évaluent les compromis. Si les deux choix sont très différents, le choix aura tendance à ressembler à un choix entre deux choses très différentes; nous disons que c'est comme comparer des pommes et des oranges - elles sont chacune bonnes ou mauvaises à leur manière, et elles ne se comparent pas vraiment.
Ligne directrice: ne faites jamais varier plus de trois ou quatre facteurs au maximum dans un ensemble de choix.
Il y a un autre problème avec les conceptions ordinaires. Considérez l'ensemble de choix suivant pour un ordinateur portable:
| Choix |
La vitesse |
Taille du disque |
Vie de la batterie |
Prix |
|---|
| une |
Vite |
Grand |
Longue |
Pas cher |
| b |
Lent |
Petit |
Court |
Coûteux |
Ce choix va être facile pour le sujet. Il n'y a pas de compromis à faire. L'expérience de l'ordinateur portable a été conçue pour faire des compromis, car tous les facteurs ont un niveau naturellement préféré. Plus rapide est toujours préférable à plus lent. Un disque plus grand est toujours préférable à un disque plus petit. Une plus longue durée de vie de la batterie est toujours préférable à une durée plus courte. Un prix moins cher est toujours préféré à un prix plus cher, toutes choses égales par ailleurs. Cette expérience a tous les facteurs polaires. Ainsi, cet ensemble de choix ne nous dit rien que nous ne savons déjà. Cet ensemble de choix est une insulte au sujet. Pourtant, les conceptions expérimentales traditionnelles produiront des séries comme celle-ci.
Ligne directrice: Les facteurs polaires doivent toujours avoir un mélange de polarité. Aucun ensemble de choix ne doit avoir tous les facteurs polaires placés dans la même direction dans les choix.
Il y a d'autres problèmes avec certaines enquêtes:
- Certaines enquêtes posent trop de questions, visant des détails de «profil complet» qui vous permettent d'estimer un modèle différent pour chaque personne. Mais les gens se lassent des sondages trop longs; ils s'arrêtent tôt à toute enquête qui met leur patience à l'épreuve, à moins que vous ne les payiez réellement. Une quinzaine de questions est tout ce que nous pouvons attendre des sondages auprès des bénévoles.
- Certaines enquêtes ne varient pas suffisamment en fonction des facteurs. À l'extrême, supposons qu'un seul facteur varie dans un ensemble de choix. Dans ce cas, seuls les effets principaux sont estimables; aucune interaction ne peut être estimée. Vous ne pouvez pas très bien évaluer les compromis, car le compromis relatif entre les facteurs n'est jamais testé.
- Si vous conciliez la nécessité d'estimer les compromis et les interactions avec la nécessité de ne pas poser trop de questions, vous devez comprendre que l'enquête doit donner différents ensembles de questions à différentes personnes pour atteindre les deux objectifs. Bien que cela rende l'application de l'enquête plus complexe, ce n'est pas un réel problème car les enquêtes sont générées par ordinateur.
Toutes ces règles semblent assez évidentes rétrospectivement, non? L'ironie est que ces considérations ne sont généralement pas suivies, en particulier les dernières. Les chercheurs de marché utilisent souvent le même logiciel de conception d'expériences (DOE) pour les expériences de choix qu'ils utilisent pour les expériences industrielles, pensant que le DOE est un concept abstrait et général qui est le même dans toutes les situations. Ce n'est pas pareil. Les expériences de choix sont plus difficiles à bien concevoir.
La seule bonne approche aux besoins très spécifiques de chaque expérience de choix consiste à utiliser les outils de conception expérimentale optimale, mais adaptés aux besoins spécifiques des expériences de choix et aux besoins spécifiques de chaque situation individuelle.
La technique de conception optimale en général organise les paramètres de facteur dans les courses de sorte que le maximum soit appris d'un nombre donné de courses. Dans les modèles d'apprentissage, la disposition optimale est invariante par rapport aux valeurs réelles des paramètres, de sorte que la situation est simple.
Il s'avère que les modèles de choix, qui sont adaptés à un type spécialisé de régression logistique, ne sont pas linéaires dans les paramètres, de sorte que la conception optimale dépend de la valeur réelle des paramètres, qui est inconnue. Ainsi, une certaine plage, ou distribution antérieure, des paramètres est utilisée pour représenter la plage que vous devez considérer. L'optimisation de la conception pour cela est assez difficile, impliquant l'intégration des densités antérieures pour créer la conception optimale. [Chaloner, K. et Verdinelli, I. (1995). Conception expérimentale bayésienne: une révision, Statistical Science 10: 273-304.] Mais JMP a pu prendre ce qu'il avait appris pour le DOE non linéaire et l'appliquer aux designs Choice [Gotwalt, C., Jones, B. et Steinberg, D. (2009) Fast Computation of Designs Robust to Parameter Uncertainty for Nonlinear Settings Accepted at Technometrics. ]
Ainsi, une bonne conception expérimentale pour une expérience de choix est différente de celle pour d'autres expériences, et les techniques de conception optimales peuvent mieux les gérer.
Dans mon prochain article, nous verrons comment l'expérience sur l'ordinateur portable a été conçue et exécutée.
