Eine der großartigsten Eigenschaften des Menschen ist seine Einzigartigkeit. Vielfalt bringt überall Vorteile mit sich, doch die unterschiedlichen Vorlieben bei Konsumgütern erschweren es, vorherzusagen, was die meisten Menschen begeistern wird. Die Anwendung von Versuchsplanung (Design of Experiments, DOE), unterstützt durch JMP, ist entscheidend für die Entwicklung besonders attraktiver Rezepturen.
Ziel dieser Präsentation ist die interaktive Vorstellung von Methoden zur Optimierung von Rezepturen für eine maximale Verbraucherakzeptanz. Es werden zwei Versuchsplanungsansätze (DOE) anhand einer Fallstudie zu einer realen Lebensmittelrezeptur präsentiert: ein definitives Screening-Design (DSD) mit 18 Durchläufen und ein raumfüllendes Design mit 18 Durchläufen, modelliert mithilfe von SVEM und neuronalen Netzen.
Zur Datenaufbereitung für die Modellierung wird die multidimensionale Skalierung demonstriert, um Ausreißerdaten von Studienteilnehmern zu entfernen. Mithilfe hierarchischer Clusteranalyse erstellte Teilnehmercluster werden bei der Modellanpassung mittels Fit Definitive Screening und SVEM-Neuronalen Netzen verwendet. Die Leistungsfähigkeit des JMP Profilers verdeutlicht, wie sich die Konsumentenpräferenzen je nach Cluster unterscheiden. Der Text Explorer zeigt, wie die durch die Modellierung gewonnenen Erkenntnisse durch die Analyse wörtlicher Kommentare von Studienteilnehmern überprüft werden können. Abschließend werden die Erkenntnisse der einzelnen Versuchsdesigns und Modellierungsansätze sowie deren jeweilige Grenzen verglichen. Den Teilnehmern wird eine informationsreichere Alternative zu traditionellen DOE- und Konsumententeststrategien präsentiert.
Vielen Dank. Ich werde heute über die Anwendung von Versuchsplanung (DoE) und Konsumentenforschung sprechen: Wie man die Herausforderung der variablen Konsumentenpräferenzen meistert. Mich würde interessieren, ob viele von Ihnen schon einmal das Spiel „Oregon Trail“ gespielt haben. Falls Ihnen das Spiel nicht bekannt ist – Sie sind wahrscheinlich ungefähr so alt wie ich und leben in den USA –, haben die meisten Kinder in der Schule im Computerraum „Oregon Trail“ gespielt.
Es ist im Grunde ein uraltes Computerspiel, in dem man als Gruppe versucht, die Ebenen der USA zu durchqueren und nach Oregon zu gelangen. Unterwegs muss man viele Herausforderungen meistern. Eine davon ist die Überquerung eines Flusses. Hier ist ein Screenshot aus dem Spiel, der uns 1848 auf einen Fluss in Kansas trifft. Dort angekommen, müssen wir eine Entscheidung treffen. Es ist kalt draußen, im März. Das leuchtet ein. Der Fluss ist 191 Meter breit und 1 Meter tief. Wir haben fünf Möglichkeiten: Wir können den Fluss durchwaten, ihn mit dem Floß überqueren, eine Fähre nehmen, abwarten, ob sich die Lage bessert, oder Informationen einholen. Was wählt man dann?
Ich denke, die meisten von uns wissen es besser, als einfach zu denken: „Okay, da steht, die Flusstiefe beträgt 3,4 Fuß. Heißt das, dass sie immer 3,4 Fuß beträgt? Oder gibt es Stellen, an denen sie 6 Fuß tief ist? Gibt es Stellen, an denen sie 2 Fuß tief ist? Gibt es Stellen, an denen sie 10 Fuß tief ist?“ Denn wenn man versucht, den Fluss zu durchqueren und auf eine Stelle mit 10 Fuß Tiefe stößt, könnte man sich in einer sehr misslichen Lage befinden.
Intuitiv wissen wir, dass die Verwendung des Durchschnittswerts nicht immer optimal ist. Die Einführung eines neuen Produkts ist wie die Überquerung eines Flusses im Oregon Trail. Oft führen wir Verbrauchertests durch, und viele Unternehmen verwenden den durchschnittlichen Verbraucherwert, weil es schlichtweg einfacher ist. Doch leider haben nicht alle Verbraucher die gleichen Vorlieben oder die gleichen Gründe dafür.
Egal wie sorgfältig man versucht, bei Verbrauchertests nur die gewünschten Personen zu erreichen, gibt es immer noch Menschen mit unterschiedlichen Vorlieben. Wir als Produktentwickler, insbesondere in der Forschung und Entwicklung, würden uns wünschen, dass die Verbraucher in ihren Vorlieben homogen wären. Das ist aber in der Regel nicht der Fall. Wären sie es, könnten wir einfach ein einziges Produkt entwickeln und wären zufrieden. Stattdessen haben die Menschen unterschiedliche Vorlieben, und genau deshalb ist der Supermarkt heute so, wie er ist.
Was werde ich Ihnen zeigen? Ich möchte Ihnen zeigen, wie Sie mit JMP mehr Informationen aus Verbrauchertestdaten gewinnen können, insbesondere wenn Sie DoE verwenden, um mehr Informationen zu erhalten, Verbraucher einzubeziehen und Formulierungen zu optimieren.
Als zweites Ziel werden wir untersuchen, wie gut verschiedene Modelle und Versuchsdesigns zukünftige Verbraucherbewertungen vorhersagen können. Wir haben zwei Beispiele: ein definitives Screening-Design und ein raumfüllendes DoE, das wir mit SVEM und anschließend mit neuronalen Netzen modelliert haben.
Nun, ich erkläre Ihnen kurz, warum wir das überhaupt gemacht haben. Letztes Jahr wurden wir gebeten, ein bestehendes Produkt zu verbessern. Das Management kam auf uns zu und sagte: „Wisst ihr was? Wir glauben, es geht besser, also macht es besser.“
Der uns vorgegebene Zeitplan ließ uns nicht wirklich mit der Durchführung vieler sequenzieller Versuchsreihen (DoE) zufrieden sein. Deshalb entschieden wir uns für ein definitives Screening-Design mit sechs Faktoren und 18 Durchläufen. Anschließend stellten wir die Proben her und reichten sie für Verbrauchertests ein, um zu sehen, ob wir die Beliebtheit modellieren und dann die richtige Rezeptur entwickeln konnten.
Nach der Datenmodellierung hatten wir drei Lösungen, die unserer Meinung nach funktionieren und die Kontrollgruppe in einem Verbrauchertest übertreffen könnten. In einem anschließenden Test verwendeten wir diese drei Formeln zusammen mit der Kontrollformel. Ziel war es, mindestens eine der drei Lösungen zu finden, die besser als die Kontrollgruppe abschneidet.
Wir hatten große Hoffnungen, da das Modell uns prognostizierte, dass diese Formeln sehr, sehr gut abschneiden würden. Letztendlich waren sie jedoch nur geringfügig besser als die Kontrollgruppe und gaben uns kein gutes Gefühl hinsichtlich der weiteren Verwendung dieser Formeln.
Es war zwar etwas enttäuschend, aber wir haben trotzdem viel gelernt. Das Projekt ist zwar schon abgeschlossen, aber ein Jahr später haben wir uns Gedanken darüber gemacht, wie wir unsere Arbeit in der Forschung und Entwicklung gestalten und wie wir Vertrauen in neue Ansätze gewinnen können. Denn wenn man unter Druck steht und das Management sagt: „Macht es besser, macht es schneller!“, greift man auf Bewährtes zurück, auf etablierte Methoden.
Was wir tun wollten – und ich in diesem Projekt – war, die Zeit zurückzudrehen und zu fragen: „Was wäre, wenn wir etwas anderes gemacht hätten als ein endgültiges Bildschirmdesign?“ Könnten wir aus diesen Verbrauchertestdaten mehr herausholen, was uns helfen würde? Denn es schien, als ob das Modell sagte, wir sollten extrem hohe Punktzahlen erreichen können, und in Wahrheit schien es eine Obergrenze zu geben, und diese Obergrenze schränkte uns ein.
Was haben wir gemacht? Wir haben zwei Tests durchgeführt. Der erste im April 2023 war ein definitives Screening-Design mit den ursprünglichen 118 Formeln. Ein Jahr später, ebenfalls im April, folgte ein zweiter Test mit 18 Formeln, diesmal jedoch mit einem lückenlosen Versuchsdesign. Um größtmögliche Fairness zu gewährleisten, verwendeten beide Versuchsreihen exakt dieselben Faktoren und Faktorbereiche. Wir wollten vermeiden, Erkenntnisse aus der ersten Versuchsreihe auf die zweite zu übertragen und dadurch die Ergebnisse zu verfälschen.
Dann haben wir diese Versuchsreihen durchgeführt und wollten, dass diese Modelle… diesen Validierungstest hier vorhersagen. Deshalb wurde keine dieser vier Formeln in den beiden anderen Tests verwendet.
Was genau werde ich Ihnen zeigen? Eines werden wir nicht allzu ausführlich zeigen… Ich werde nicht zu viel Zeit mit dem endgültigen Screening-Design verbringen, aber wir werden uns die Daten zur Verbraucherpräferenz ansehen und untersuchen, was wir daraus lernen können, indem wir die Verbraucher, die Panelteilnehmer, gruppieren.
Für alle, die mit herkömmlichen Verbrauchertests nicht vertraut sind: Der Test findet an einem zentralen Ort statt. Sie wählen die Testteilnehmer im Voraus aus – also Nutzer Ihres Produkts oder die von Ihnen angestrebte Zielgruppe. Diese kommen vorbei, verkosten die Produkte, bewerten sie, und Sie werten die Ergebnisse anschließend aus. Wir werden dies gleich genauer erläutern.
Ich glaube, wir haben in diesen Tests jeweils etwa 120 Konsumenten einbezogen. Wir werden hierarchisches Clustering und multidimensionale Skalierung einsetzen, um herauszufinden, wer an diesem Test teilnimmt und wonach die Testteilnehmer suchen.
Nachdem wir die Daten aus dem raumfüllenden Design mithilfe dieser neuronalen Netze modelliert haben, werden wir uns das Profil ansehen und prüfen, ob wir dadurch besser verstehen können, was die Verbraucherpräferenzen beeinflusst. Ich werde darüber sprechen, wie man Durchschnittsdaten verwendet – also den Durchschnittswert aller Verbraucher – im Vergleich zur Clusterung der Daten und der Verwendung dieser Durchschnittswerte, um daraus Erkenntnisse zu gewinnen.
Zum Schluss kommen wir noch zum zweiten Ziel: Wie bereits erwähnt, werden wir die Vorhersageleistung des endgültigen Bildschirmdesigns im Vergleich zum raumfüllenden Design anhand des Validierungsdatensatzes untersuchen. Wie gut haben sie abgeschnitten? Die Ergebnisse sind mit Vorsicht zu genießen, da wir nur vier Testbeispiele hatten. Dennoch lassen sich daraus einige Erkenntnisse gewinnen.
Damit werde ich Ihnen den Rest dieser Präsentation in JMP zeigen, denn ich persönlich finde es besser, wenn mir andere zeigen, wie sie die Dinge in JMP gemacht haben, und ich empfinde das als aussagekräftiger.
Um das zu minimieren: Hier ist das endgültige Screening-Design. Das sind die Faktoren. Wir hatten die Inhaltsstoffe A, B, C, D und E sowie ein Attribut, das wir entweder als niedrig oder hoch einstufen wollten. Beim endgültigen Screening stellten wir fest, dass vier der fünf Inhaltsstoffe signifikant sind, während das Attribut „A“ in den Tests keine große Rolle zu spielen schien.
Zum Schluss noch das Profil. Man sieht, dass die meisten Leute es mögen, je mehr von dieser Zutat man hinzufügt. Je mehr man davon hinzufügt, desto besser gefällt es ihnen im Allgemeinen. Es gibt einige Wechselwirkungen; wenn ich beispielsweise die Menge an Zutat C erhöhe, flacht die Kurve bei Zutat D ab. Das war die Grundlage für dieses Modell.
Sprechen wir über… Wir beginnen mit den Ergebnissen der Verbrauchertests zum raumfüllenden Design. Darum geht es hier. Wir stellen den Leuten noch viele weitere Fragen, aber für diesen Vortrag konzentriere ich mich auf die Gesamtmeinung, da diese für uns am wichtigsten ist.
Das ist so ähnlich wie… Die erste Frage, die wir nach der Verkostung stellen, lautet: Wie gut gefällt es Ihnen? Wir verwenden dafür eine neunstufige Skala, die sogenannte hedonische Skala. Eins bedeutet „gar nicht gut“, neun bedeutet „sehr gut“. Wir streben Neuner an, und je höher der Wert, desto besser.
Zur Orientierung: Typischerweise liegt die Bewertung eines guten Produkts im niedrigen siebener-Bereich, mittelmäßige Produkte im mittleren sechser-Bereich, und alles unter sechs Punkten sollte Ihnen wirklich Anlass zur Sorge geben.
Die erste Frage, die wir anhand dieser Verbrauchertestdaten klären wollten, war: Ist unsere Verbrauchergruppe homogen oder hat sie unterschiedliche Präferenzen? Was können wir daraus lernen? Mithilfe von Clusteranalysen und hierarchischen Clustern können wir das herausfinden. Ich schaue mir zunächst das Skript an.
Hier sehen wir eine Heatmap aller Testpersonen. Auf der horizontalen Achse ist die allgemeine Beliebtheit jeder einzelnen Probe dargestellt; es gab insgesamt 18 Proben. Auf der vertikalen Achse ist die Bewertung jedes einzelnen Teilnehmers abgebildet. Diese Person hier beispielsweise gab Probe eins eine Sieben. Probe zwei erhielt eine Zwei, sie mochte diese also nicht. Probe drei hingegen gefiel ihr hervorragend. Sie gab ihr eine Neun.
Anhand dieser Heatmap lassen sich die Farben gut erkennen. Ich mag Grün, deshalb habe ich hier Grün gewählt, aber Sie können natürlich auch andere Farben nehmen. Hier sehen Sie einen dunklen Farbton. Diese Personen haben überall Bestnoten erzielt, im Prinzip eine Neun. Sie waren von allem begeistert, was wir ihnen präsentiert haben, oder sie haben sich einfach durch eines der beiden Angebote geklickt.
Wir bitten die Leute, ihre Antworten wörtlich zu wiederholen und uns zu erklären, warum ihnen etwas gefallen oder nicht gefallen hat. Das hilft uns, herauszufinden, ob jemand den Test wirklich absolviert oder nur durchgeklickt hat, um seine Vergütung zu erhalten. Ich habe mir diese Bewertungen angesehen, und diese Leute waren von allem, was wir ihnen präsentiert haben, begeistert. Die Gruppe hier unten hingegen war zögerlich, eine Bewertung abzugeben. Sie wollten eigentlich allem eine Neun geben, vergaben aber im Grunde nur eine Acht.
Beim Clustering können Sie angeben, wie viele Cluster Sie suchen… Ich bin definitiv kein Experte für Clustering, aber als wir uns diese Daten ansahen, schien es ungefähr drei Cluster zu geben. Wir hatten… Hey, Christian, können wir kurz pausieren?
Ich schätze, es läuft einfach weiter, [unverständlich 00:14:19].
Oh, okay. Einen Moment bitte. Da ist jemand an der Tür.
Tut mir leid. Ich hatte vergessen, dass mein Mikrofon über meinem Kopf war.
Das stimmt. Das ist in Ordnung. Ich bin mir nicht sicher, wo es war.
Sie hatten erwähnt, dass die Farbgebung zwischen neun und acht liegt, und dann wollten Sie darüber sprechen, Sie sagten sinngemäß, dass Sie kein Experte für Clustering seien, und dann suchten Sie zu diesem Zeitpunkt nach etwas.
Okay. Ja, ich werde sie bitten, diesen Teil zu streichen.
Ja, ich sage ihnen Bescheid. Ich denke, ich werde es so machen. Mein Ziel ist es, mir das anzusehen und dann die Stellen zu markieren, an denen etwas schiefgelaufen ist, also keine Sorge.
Okay, tut mir leid. Ich wusste nicht, dass jemand ins Haus kommt.
Keine Sorge. Mir ging es genauso. Ich mache mir dieselben Sorgen. Bist du ungefähr so weit?
Ja.
Okay, ich schalte mein Mikrofon aus. Gebt mir 3 Sekunden, und dann legt los.
Okay.
Okay.
Okay. Wenn wir uns diese Heatmap ansehen, sehen wir die Personen, die alles hoch bewertet haben, die dunkelgrünen Bereiche, und die hellgrünen Bereiche, die ebenfalls alles ziemlich hoch bewertet haben, aber keine Neunen verwenden wollten, sondern stattdessen Achten.
Bei der Clusteranalyse haben wir drei Cluster identifiziert, die hier rot, grün und blau eingefärbt sind. Der rote Cluster ist sehr dunkel. Der grüne Cluster liegt dazwischen und enthält viele helle Farben. Der blaue Cluster ist noch heller.
Wenn wir uns die Cluster ansehen, diese Zusammenfassung hier, dann bedeutet Cluster, dass man es visuell erkennen kann. Dies ist der Mittelwert pro Cluster. Cluster 1 ist sehr übersichtlich. Sie bewerten alles immer höher. Sie sind viel nachsichtiger, man könnte sagen, sie mögen so ziemlich alles, was wir ihnen vorlegen, was großartig ist. Cluster 2 liegt im mittleren Bereich. Cluster 3 hingegen ist schwieriger zufriedenzustellen, oder er ist einfach anspruchsvoller.
Interessant ist, dass wir beim Überschneiden der Cluster erkennen können, dass es Unterschiede in ihren Präferenzen gibt, zwischen den einzelnen Clustern. Das hat uns den entscheidenden Hinweis gegeben.
Wir wollten außerdem untersuchen, ob es in den uns vorliegenden Daten weitere Auffälligkeiten gibt, die Anlass zur Sorge geben sollten. Denn die Datenbereinigung macht etwa 80 % unserer Arbeit im Bereich Data Science aus. Wir haben uns insbesondere die multidimensionale Skalierung angesehen, da diese uns eine Übersicht über Konsumenten liefert, die einander ähnlich oder weiter voneinander entfernt sind.
Dazu klicken Sie auf das rote Dreieck und speichern die Distanzmatrix. Dadurch erhalten Sie eine Matrix, die die Entfernungen zwischen den einzelnen Teilnehmern bzw. Konsumenten angibt. Für die multidimensionale Skalierung wählen Sie „Multivariate Methoden“ und dann „Multidimensionale Skalierung“. Die Y-Spalten enthalten alle diese Konsumenten. Dieser Vorgang dauert nur wenige Sekunden. Anschließend prüfen wir, ob es Teilnehmer gibt, die sich deutlich von den anderen unterscheiden.
Hier ist unsere Karte, die wir gerade erstellt haben. Eine Sache noch … ein paar Dinge, die mir zumindest aufgefallen sind. Erstens: Die meisten Menschen befinden sich genau hier. Macht Sinn. Die meisten von uns sind … Wenn man sich den durchschnittlichen Konsumenten ansieht und wie er die Skala nutzt, wie er Produkte bewertet oder wie sehr er Dinge mag, ist es logisch, dass die meisten hier zu finden sind.
Hier gibt es ein merkwürdiges Muster. Wenn wir diese Muster genauer untersuchen wollen, können wir sie markieren. Wenn wir also einfach den Spaltennamen markieren und dann „Zeilenauswahl“ und anschließend „Alle übereinstimmenden Zellen auswählen“ wählen, werden alle anderen Datentabellen angezeigt, die den Wortnamen und die Panelistennummern 002, 1027 enthalten.
Dies ist der Originaldatensatz mit den Namen der Testteilnehmer. Jetzt sehe ich, wie sie die Bewertung abgegeben haben. Diese Person hat 9, 9, 9, 7, 9, 9 und fast ausschließlich Neunen vergeben. Interessant. Weiter geht es mit der nächsten Gruppe, die hier hervorgehoben ist: 9, 9, 8, 9, 8, 9, 8, 9. Ihnen gefällt alles, und zwar sehr gut. Und nun zur nächsten Gruppe: 8, 7, 9, 9, 9, 8, 9.
Hier sehen Sie rechts die wörtlichen Antworten auf die Fragen nach der Ablehnung. In dieser Spalte wird gefragt: Was gefällt Ihnen daran nicht? Nichts, nichts, nichts, nichts, nichts. Wir erkennen ein Muster bei diesen Konsumenten. Genau das zeigt diese Analyse. Es handelt sich um dieselben Personen, die alles gleich bewertet haben, wie wir es bereits zuvor gesehen haben, beispielsweise die dunkelgrünen Bereiche. Das haben wir hier in der multidimensionalen Skalierung erfasst.
Dann gibt es da noch diese Leute, die ganz außen liegen, ich schätze mal, im rechten Feld. Was ist denn mit denen los? Wenn wir hier dasselbe machen, wählen wir alle übereinstimmenden Zellen aus. Um sie zu finden, wähle ich einfach die nächste Zelle aus. Und da sehe ich etwas völlig anderes: 2, 7, 3, 1, 9, 7, 2, 6, 9, 2. Ich hatte echt Schwierigkeiten herauszufinden, was diese Person auszeichnet. Denn wenn ich zur nächsten Zelle gehe, die hier auch markiert ist: 4, 7, 3, 2, 5, 3, 1, 6, 1, 1 – auch hier sehen wir wieder, dass es wie ein zufälliges Muster wirkt. Aber wenn ich mir die genauen Aussagen ansehe, ergibt es Sinn. Als sie eine Neun vergaben, sagten sie, es gäbe nichts, was ihnen nicht gefallen habe. Als sie eine Eins vergaben, sagten sie, es schmecke nach verdorbenen Zutaten. Ich kann garantieren, dass diese Zutaten nicht verdorben waren, aber wir sehen, dass ihre Bewertung stimmt.
Dann sagte mir jemand… Ich versuchte herauszufinden, was diese Leute unterscheidet. Jemand schlug vor, ich solle darauf achten, wie sie die Waage benutzen, und man bemerkt, dass diese Person die gesamte Waage nutzt. Ich persönlich fand alle diese Produkte ziemlich gut. Manche waren besser als andere, aber nicht so schlecht, dass ich sagen würde, ich mag sie überhaupt nicht. Es ist das Schlimmste, was ich je gegessen habe, und eine Neun sagt: Das ist das Beste, was ich je gegessen habe.
Um das herauszufinden, erstellen wir eine Übersichtstabelle der Gesamtmeinung. Dazu berechnen wir die Standardabweichung und die Spannweite nach Namen innerhalb der jeweiligen Gruppe. Wir tun dies, und nun haben wir eine Datentabelle mit jedem Panelteilnehmer und dessen Standardabweichung der Bewertung aller Proben. Wenn wir diese Tabelle absteigend sortieren, erhalten wir… Nehmen wir an, wir haben hier die zehn Panelteilnehmer mit den größten Bewertungsschwankungen.
Wenn wir das also machen … Ich markiere einen Namen, und wenn ich dann sage: „Alle übereinstimmenden Zellen auswählen“, dann sehen wir, was hier markiert ist. Was diese Personen unterscheidet, liegt nicht unbedingt in ihren Vorlieben oder Abneigungen, sondern einfach darin, wie sie die Skala nutzen. Das war nur ein langer Weg … einfach eine Möglichkeit, um sicherzustellen, dass die Daten, die wir haben, gut sind und dass die Personen das getan haben, was wir ihnen aufgetragen haben.
Wenn ich beispielsweise einen offensichtlichen Grund für die Unbrauchbarkeit ihrer Daten gefunden hätte, hätten wir sie ausgeschlossen. Da es aber keinen Grund dafür gab, haben wir sie beibehalten. Dies ist nur eine kleine Demonstration unserer Clustering- und multidimensionalen Skalierungsmethoden.
Dann möchte ich Ihnen noch etwas zum Thema Clustering zeigen: Ich präsentiere Ihnen die Datentabelle, die DoE-Tabelle. Es handelt sich um ein flächenfüllendes Design. Dies sind die sechs Faktoren. Ich benötigte eine Spalte für die allgemeine Beliebtheit von Cluster 1, die allgemeine Beliebtheit von Cluster 2 und 3 sowie eine Gesamtbewertung.
Um diese drei Werte zu erhalten, konnte man am einfachsten die Tabelle der Cluster-Mittelwerte verwenden.
Das stammt aus der Zusammenfassung. Wenn ich mit der rechten Maustaste klicke und „In Datentabelle umwandeln“ auswähle, erhalte ich genau das, was ich möchte … nicht ganz. Es wird angezeigt, dass jeder Stichprobenmittelwert eine Spalte bildet. Ich möchte das aber ändern: Die Cluster sollen Spalten und die Spalten Zeilen sein. Ich möchte also Zeilen und Spalten tauschen.
Wenn wir unter „Tabellen“ auf „Transponieren“ gehen und diese Spalten transponieren möchten, können wir sie beispielsweise nach Cluster benennen. Okay. Jetzt kann ich das einfach kopieren und in meine DoE-Datentabelle einfügen. Genau das habe ich getan. Hier ist es nicht nötig, da ich es bereits erledigt habe. Wir schließen das Fenster jetzt. Nun haben wir die drei Cluster. Wir haben neuronale Netze mit SVEM verwendet, um diese Daten zu modellieren. Ich zeige Ihnen nun das Ergebnis im Profiler. Hier sind die Zutaten A, B, C, D bis E sowie die Attribute „niedrig“ und „hoch“. Wenn wir die Daten nach Cluster aufschlüsseln, sehen wir etwas sehr Interessantes.
Zunächst einmal ergab unser endgültiges Screening-Design, dass Zutat A keinerlei Einfluss hatte. Sie war nicht signifikant, also haben wir sie entfernt. Nun scheint es mir plötzlich so, als ob Zutat A doch eine Wirkung hat. Noch interessanter ist, dass sich zwei Gruppen scheinbar gegenläufig verhalten. Denn wenn ich die Menge an Zutat A reduziere, steigen die Durchschnittswerte von Cluster 3, während die von Cluster 2 sinken.
Das bedeutet, dass Cluster 3 Zutat A nicht mag bzw. nicht in großen Mengen wünscht, während Cluster 2 sie mag. Dasselbe gilt für Zutat B. Je mehr Zutat B hinzugefügt wird, desto besser gefällt sie Cluster 2. Je mehr Zutat B bei Cluster 3 hinzugefügt wird, desto schlechter gefällt sie ihnen. Das hat für uns ein Rätsel gelöst: Warum gibt es bei unseren Verbrauchertests eine Obergrenze für die Beliebtheit eines Produkts? Warum fallen unsere Gesamtbewertungen nicht so hoch aus wie erwartet? Unsere Verbrauchergruppe ist nicht homogen, und jeder hat andere Vorlieben.
Was tun wir nun? Das ist die schwierigere Frage. Es ist eine strategische Frage, die ein Unternehmen beantworten muss: Soll man alle ansprechen und nur die Gruppe zufriedenstellen, die ohnehin alles mag? Deren Bewertungen sind immer sehr hoch. Ihnen wird es gut gehen. Aber was ist mit den Gruppen 2 und 3? Diese Kunden sind nur mäßig zufrieden. Das wäre ein Ansatz. Der andere Ansatz: Die Gruppen 1 und 2, deren Bewertungen von vornherein höher waren, müssen eine größere Leidenschaft für dieses Produkt haben. Daher sollten wir all unsere Anstrengungen darauf konzentrieren, ihre Zufriedenheit zu maximieren.
Man könnte auch überlegen: Okay, Cluster 3, vielleicht brauchen wir einfach ein anderes Produktangebot, das ihnen besser gefallen würde. Je mehr man weiß, desto mehr Fragen hat man in der Regel, aber desto mehr kann man auch tun und desto erfolgreicher ist man. Genau das haben wir mit dem Profiler hier gelernt, und er war äußerst hilfreich.
Und dann ist da noch die Frage: Okay, der Profiler sagt das, aber stimmt es auch? Um das herauszufinden… Um zu verstehen, ob es tatsächlich stimmt, dass Cluster 3 Zutat A oder B nicht mag und umgekehrt für Cluster 2, haben wir uns entschieden, die wörtlichen Protokolle anzusehen und zu prüfen, was wir darin finden konnten.
Wenn wir uns die ursprüngliche Kundendatentabelle ansehen, finden wir hier die Gesamtmeinung. Die Clusterzugehörigkeit wird rechts angezeigt. Daneben stehen die negativen Bewertungen, die wir uns genauer ansehen werden. Mithilfe des Text-Explorers prüfen wir, ob die Profiler-Daten plausibel sind.
Wir haben den Text-Explorer nach Clustern durchgeführt. Welcher Begriff wird in Cluster 1 am häufigsten verwendet? Nichts. Das ist gut, denn es fällt unter „Abneigungen“. Genau das wollen wir. Bei den Abneigungen soll „Nichts“ angezeigt werden. Sie können mit der rechten Maustaste klicken und „Text anzeigen“ auswählen, um zu sehen, was die Leute sagen. Mir fällt nichts ein, was ich nicht mag. Mir fällt nichts ein. Super.
Cluster 2, wobei „nichts“ der am häufigsten verwendete Begriff ist, ist anders als in Cluster 1, wo es 292 Nennungen gab, während es im nächsten Cluster etwa halb so viele waren. Hier ist es fast gleich. Manche sagen „nichts“, andere „Geschmack“, wobei es meist um Begriffe wie „fehlender Geschmack“, „zu wenig Geschmack“, „abgeschwächter Geschmack“ oder „wenig Geschmack der Zutat B“ geht.
Dann haben wir Zutat B für Cluster 2. Wir möchten wissen, was die Testpersonen über Zutat B sagen. Cluster 2 meint, Zutat B sei nicht stark genug, es fehle an Intensität. Es werde mehr benötigt, aber es fehle an Intensität. Zutat B hatte einen sehr intensiven Geschmack, wir haben also eine sehr starke Zutat.
Wohlgemerkt, es handelt sich hierbei ausschließlich um DoE-Proben. Generell wird jedoch angegeben, dass mehr Zutat B sinnvoll wäre. Je mehr Zutat B enthalten ist, desto besser gefällt es mir. Das deckt sich mit den Aussagen des Profilers, der ebenfalls festgestellt hat, dass Cluster 2 mehr Zutat B bevorzugt.
Und was ist mit Zutat A? Was hält Cluster 2 davon? In diesem Fall wird viel zu viel darüber gesagt. Das ist etwas schwieriger zu beurteilen. Manche sagen: „Ich fand, es war zu wenig Zutat A drin, es hat fad geschmeckt.“
Man muss bedenken, dass sie das nicht tun… Wenn sie uns Kritikpunkte mitteilen, müssen sie nichts über Zutat A sagen. Man sollte das also mit Vorsicht genießen. Sie erwähnen es nur, wenn sie etwas für nicht optimal halten. Aber wenn wir uns nun Cluster 3 ansehen, ist plötzlich „Geschmack“ der am häufigsten verwendete Begriff. Zutat B ist hier, an dritter Stelle, also was sagen sie jetzt über Zutat B? Anstatt zu sagen, dass zu viel von Zutat B enthalten ist, sagt dieser Cluster: zu wenig, zu wenig. Es gibt ein paar Fälle, in denen es zu viel ist, aber auch Fälle, in denen es zu stark ist. Etwas zu viel, stark, und hier ist auch etwas zu wenig enthalten.
Man merkt aber, dass es viele Fälle gibt, in denen wir vorher keine gesehen haben, zum Beispiel in Cluster 2, wo Leute sagen, dass zu viel von Zutat B enthalten ist. Jetzt sagen das auch Leute, was mit dem übereinstimmt, was uns das Profil gezeigt hat, und bestärkt uns in der Annahme, dass sich diese beiden Cluster in ihren Vorlieben für Zutat A und Zutat B unterscheiden.
Wenn wir uns dann ansehen, was sie zu Zutat A gesagt haben – zu viel, zu viel. Eine kleine Menge Zutat A bedeutet zu viel, ein bisschen zu viel. Das passt auch. Sie wollen nicht zu viel von Zutat A, aber auch nicht zu viel von Zutat B. So sind wir vorgegangen… Es ist einfach eine kleine Erkundung. Sicherlich könnten wir im Text-Explorer noch viel mehr analysieren und das Ganze mit Zahlen untermauern, aber wir haben ihn nur explorativ genutzt, um… Wir verwenden Visualisierungen wie Diagramme, um Daten zu analysieren. Wir nutzen den Text-Explorer, um zu sehen, was die Leute sagen, und das stimmt mit dem Profiler überein.
Letztendlich haben wir herausgefunden, warum unsere Leistungsfähigkeit begrenzt ist – wie hoch unsere Punktzahlen maximal sein können. Wir haben außerdem unterschiedliche Präferenzen verschiedener Personengruppen entdeckt. Das ist eine wirklich wertvolle Information, die uns vorher fehlte, und jetzt, da wir dieses Wissen haben, können wir etwas dagegen unternehmen.
Okay, als Letztes schauen wir uns an, wie gut das definitive Screening-Design im Vergleich zum raumfüllenden Design vorhersagt. Da wir hier nur vier Validierungsproben haben, müssen wir die Ergebnisse mit Vorsicht betrachten, aber wir werden sehen, ob sich Hinweise darauf finden lassen, welches der beiden Designs besser abschneidet.
Wir haben vier verschiedene Modelle. Wenn wir die Clustermittelwerte verwenden und sie anhand der Clustergröße gewichten, indem wir einfach den Durchschnitt aller Konsumenten heranziehen, erhalten wir zwei verschiedene Modelle, die aus dem endgültigen Screening-Design entwickelt wurden. Das eine verwendet lediglich die endgültige Anpassungsgüte. Das andere wurde von einem Kollegen untersucht.
Was fällt auf? Zunächst einmal gab es eine Verzerrung bei den Ergebnissen des ersten Jahres. Aus irgendeinem Grund liegen wir 2023 höher als bei der Testdurchführung 2024. Insgesamt haben sich die Ergebnisse durch das raumfüllende Design nach unten verschoben. Ich denke, das liegt einfach an der Variabilität der Testergebnisse oder vielleicht waren die Leute aus irgendeinem Grund schlecht gelaunt. Ich weiß es nicht.
Als Wissenschaftler, insbesondere als Forschungs- und Entwicklungswissenschaftler, gibt mir an diesem Modell die Tatsache etwas Hoffnung, dass die Linie zwar nicht exakt parallel, aber fast parallel zu der von mir gewünschten Linie verläuft. Wäre die Vorhersage hundertprozentig korrekt, entspräche dies y = x, und genau das stellt diese schwarze Linie dar. Angesichts der begrenzten Informationen und der vorhandenen Verzerrungen scheint das Modell recht gute Ergebnisse zu liefern.
Wenn wir nur die Stichprobenmittelwerte betrachten, sehen wir keinen Unterschied. Hier hingegen zeigen sich abweichende Ergebnisse. Die Anpassungskurven sind eindeutig, und sie verlaufen keineswegs parallel. Die Linien kreuzen sich. Das lässt uns nicht gerade darauf hoffen, dass dieses Modell die zukünftigen Bewertungen der Panelteilnehmer zuverlässig vorhersagen kann.
Dann hatte dieses andere Modell noch größere Schwierigkeiten. Dieses hier beispielsweise prognostizierte einen Wert von 7,9, lieferte aber nur einen Wert von 7. Das war der Grund für unsere Enttäuschung, als wir 2023 den Validierungstest durchführten.
Ich hoffe, diese Informationen waren hilfreich und Sie haben die Vielfalt der Menschen, insbesondere die unterschiedlichen Essgewohnheiten, besser schätzen gelernt. Ich hoffe, Sie können dies nutzen, um noch mehr Informationen von Konsumenten zu erhalten, und danke Ihnen fürs Zuhören.
