Laptop-Anbieter müssen wissen, welche Funktionen in einem Laptop geschätzt werden und wie viel Kunden bereit sind, dafür zu bezahlen. Hersteller könnten dies durch eine Marktforschungstechnik lernen, die als bekannt ist Auswahlversuch . Dieser Beitrag behandelt die Elemente von experimentelles Design für Auswahlversuche mit JMP 8.
Aber zuerst muss ich Kredit geben, wo es fällig ist. Sowohl die F & E als auch die hier verwendeten Beispiele stammen von Bradley Jones und Chris Gotwalt , der die Techniken in JMP 8 implementiert hat.
Entwerfen wir also ein Auswahlversuch, um herauszufinden, wie wertvoll eine Reihe von Funktionen für Kunden sind. Insbesondere konzentrieren wir uns auf Folgendes:
| Faktor |
Ebenen |
|---|
| Geschwindigkeit |
Schnell langsam |
| Festplattengröße |
Großen kleinen |
| Lebensdauer der Batterie |
Lang kurz |
| Preis |
Billig teuer |
Im Experiment muss ein Proband zwischen zwei Konfigurationen wählen und die Konfiguration auswählen, die am attraktivsten ist. Eine Wahl könnte beispielsweise zwischen einem teuren Laptop mit vollem Funktionsumfang und einem billigen Laptop mit vollem Funktionsumfang sein.
| Wahl |
Geschwindigkeit |
Festplattengröße |
Lebensdauer der Batterie |
Preis |
|---|
| ein |
Schnell |
Groß |
Lange |
Teuer |
| b |
Schleppend |
Klein |
Kurz |
Billig |
Angenommen, wir haben ein gewöhnliches experimentelles Design zur Verwendung in einem Auswahlversuch verwendet. Jede Auswahl kann wie ein Block in einem traditionellen Design angegeben werden. Wäre das eine gute Idee?
Betrachten Sie die folgende Wahl zwischen a und b:
| Wahl |
Geschwindigkeit |
Festplattengröße |
Lebensdauer der Batterie |
Preis |
|---|
| ein |
Schnell |
Klein |
Lange |
Teuer |
| b |
Schnell |
Klein |
Lange |
Teuer |
Dies sind Läufe, in denen die Faktoren dieselben Werte haben. Hier gibt es keine wirkliche Wahl; Es sind keine Informationen zu erhalten, da die Auswahl willkürlich ist. Somit haben wir unsere ersten Regel-der-Wahl-Experimente:
Richtlinie: In Auswahlversuchen gibt es keine blockinternen Replikate, dh die getesteten Alternativen müssen unterschiedlich sein, um etwas zu lernen.
Dies unterscheidet sich erheblich von beispielsweise einem industriellen Oberflächendesign, bei dem Replikate wertvoll sind, um Faktoren genauer zu schätzen, eine genauere Schätzung des experimentellen Fehlers zu erhalten und eine Schätzung des reinen Fehlers für einen fehlenden Anpassungstest zu erhalten. Ausgewählte Designs unterscheiden sich also von experimentellen Designs.
Betrachten wir nun eine Situation, in der eine Wahl alle anderen überwiegt. Dies kann leicht passieren, wenn die Faktorstufen in einem Faktor im Verhältnis zur Situation viel stärker verteilt sind als in einem anderen. Angenommen, der hohe Preis war so hoch, dass niemand ihn jemals wählen konnte, trotz anderer Faktorwerte. Betrachten Sie nun das typische klassische Design, bei dem alle Faktoren innerhalb von Blöcken variieren. Angenommen, jedes Thema erhält drei Auswahlfragen mit jeweils zwei Auswahlmöglichkeiten.
| einstellen |
Wahl |
Geschwindigkeit |
Festplattengröße |
Lebensdauer der Batterie |
Preis |
|---|
| 1 |
ein |
Schleppend |
Groß |
Lange |
Billig |
| 1 |
b |
Schnell |
Klein |
Kurz |
Teuer |
| 2 |
ein |
Schleppend |
Klein |
Lange |
Teuer |
| 2 |
b |
Schnell |
Groß |
Kurz |
Billig |
| 3 |
ein |
Schnell |
Klein |
Kurz |
Teuer |
| 3 |
b |
Schleppend |
Groß |
Lange |
Billig |
Dieses Design kann uns viel über einen dominanten Faktor wie den Preis erzählen. Kann es noch etwas zeigen? Wenn der Preis die Entscheidung dominiert, muss der Benutzer nicht einmal die anderen Faktorwerte betrachten, um eine Entscheidung zu treffen. Die anderen Faktoren sind nicht einmal messbar, außer dass sie kleiner als der Preiseffekt sind. Sie opfern das Lernen über andere Faktoren. Um dies zu beheben, müssen einige Faktoren innerhalb eines Auswahlsatzes für einige der Versuche gleich bleiben.
Richtlinie: Sie müssen Auswahlsätze haben, bei denen für jeden Faktor ein Faktor über den Auswahlsatz hinweg konstant ist.
Es gibt einen weiteren Grund, warum Sie nicht zu viele Faktoren innerhalb eines Auswahlsatzes variieren sollten: Die Probanden werden zu verwirrt und müde, wenn es zwei verschiedene Unterschiede gibt, um die Kompromisse zu bewerten. Wenn die beiden Auswahlmöglichkeiten sehr unterschiedlich sind, sieht die Auswahl in der Regel wie eine Auswahl zwischen zwei sehr unterschiedlichen Dingen aus. Wir sagen, es ist wie ein Vergleich zwischen Äpfeln und Orangen - sie sind alle auf ihre Weise gut oder schlecht und sie vergleichen sich nicht wirklich miteinander.
Richtlinie: Variieren Sie niemals mehr als drei oder vier Faktoren innerhalb eines Auswahlsatzes.
Bei gewöhnlichen Designs gibt es ein weiteres Problem. Betrachten Sie die folgende Auswahl für einen Laptop:
| Wahl |
Geschwindigkeit |
Festplattengröße |
Lebensdauer der Batterie |
Preis |
|---|
| ein |
Schnell |
Groß |
Lange |
Billig |
| b |
Schleppend |
Klein |
Kurz |
Teuer |
Diese Wahl wird für das Thema einfach sein. Es gibt keine Kompromisse. Das Laptop-Experiment wurde für Kompromisse entwickelt, da alle Faktoren ein natürlich bevorzugtes Niveau haben. Schneller wird immer langsamer vorgezogen. Größere Festplatten werden immer kleineren vorgezogen. Eine längere Akkulaufzeit wird immer einer kürzeren vorgezogen. Ein günstigerer Preis wird immer einem teureren vorgezogen, andere Dinge sind gleich. Dieses Experiment hat alle polaren Faktoren. Daher sagt uns dieses Auswahlset nichts, was wir noch nicht wissen. Dieses Auswahlset ist eine Beleidigung für das Thema. Traditionelle experimentelle Designs führen jedoch zu solchen Läufen.
Richtlinie: Polarfaktoren sollten immer eine Mischung aus Polarität haben. Bei keinem Auswahlsatz sollten alle Polarfaktoren innerhalb der Auswahl in die gleiche Richtung eingestellt sein.
Bei einigen Umfragen gibt es andere Probleme:
- Einige Umfragen stellen zu viele Fragen und zielen auf "vollständige Profil" -Details ab, mit denen Sie für jede Person ein anderes Modell schätzen können. Aber die Leute werden müde von Umfragen, die zu lang sind; Sie hören frühzeitig bei jeder Umfrage auf, die ihre Geduld herausfordert, es sei denn, Sie bezahlen sie tatsächlich. Etwa 15 Fragen können wir höchstens von Freiwilligenumfragen erwarten.
- Einige Umfragen variieren nicht genügend Faktoren. Nehmen wir im Extremfall an, dass nur ein Faktor in einem Auswahlsatz variiert wird. In diesem Fall sind nur die Haupteffekte abschätzbar. Es können keine Wechselwirkungen geschätzt werden. Sie können Kompromisse nicht sehr gut bewerten, da der relative Kompromiss zwischen Faktoren niemals getestet wird.
- Wenn Sie die Notwendigkeit, Kompromisse und Interaktionen abzuschätzen, mit der Notwendigkeit abwägen, nicht zu viele Fragen zu stellen, sollten Sie sich darüber im Klaren sein, dass die Umfrage verschiedenen Personen unterschiedliche Fragen stellen muss, um beide Ziele zu erreichen. Dies macht die Anwendung der Umfrage zwar komplexer, ist jedoch kein wirkliches Problem, da die Umfragen computergeneriert sind.
All diese Regeln klingen im Nachhinein ziemlich offensichtlich, oder? Die Ironie ist, dass diese Überlegungen normalerweise nicht befolgt werden, insbesondere die letzten. Häufig verwenden Marktforscher für Auswahlversuche dieselbe DOE-Software (Design of Experiments) wie für industrielle Experimente, da DOE ein abstraktes und allgemeines Konzept ist, das in jeder Situation gleich ist. Es ist nicht das Gleiche. Auswahlversuche sind schwieriger gut zu gestalten.
Der eine gute Ansatz für die sehr spezifischen Bedürfnisse jedes Auswahlversuchs besteht darin, die Werkzeuge eines optimalen Versuchsplans zu verwenden, die jedoch an die spezifischen Bedürfnisse von Auswahlversuchen und an die spezifischen Bedürfnisse in jeder einzelnen Situation angepasst sind.
Die Technik des optimalen Designs ordnet im Allgemeinen die Faktoreinstellungen in Läufen so an, dass aus einer bestimmten Anzahl von Läufen das Beste gelernt wird. In Lernmodellen ist die optimale Anordnung unveränderlich zu den tatsächlichen Parameterwerten, sodass die Situation einfach ist.
Es stellt sich heraus, dass Auswahlmodelle, die mit einer speziellen Art der logistischen Regression ausgestattet sind, in den Parametern nicht linear sind, sodass das optimale Design vom wahren Wert der Parameter abhängt, der unbekannt ist. Daher wird ein Bereich oder eine vorherige Verteilung der Parameter verwendet, um den Bereich darzustellen, den Sie berücksichtigen müssen. Die Optimierung des Designs hierfür ist ziemlich schwierig, da frühere Dichten integriert werden müssen, um das optimale Design zu erstellen. [Chaloner, K. und Verdinelli, I. (1995). Bayesianisches experimentelles Design: eine Überprüfung, Statistical Science 10: 273-304.] Aber JMP war in der Lage, das, was es für nichtlineares DOE gelernt hatte, auf Choice-Designs anzuwenden [Gotwalt, C., Jones, B. und Steinberg, D. (2009) Schnelle Berechnung von Designs, die robust gegenüber Parameterunsicherheit für nichtlineare Einstellungen sind, die bei Technometrics akzeptiert werden. ]]
Ein guter experimenteller Entwurf für ein Auswahlversuch unterscheidet sich also von dem für andere Experimente, und optimale Entwurfstechniken können sie am besten handhaben.
In meinem nächsten Beitrag werden wir sehen, wie das Laptop-Experiment tatsächlich entworfen und ausgeführt wurde.
