Peter van Bruggen, Statistiker, Unilever F&E
Abstrakt:
Bei Unilever werden Tausende von Experimenten durchgeführt, bevor Produkte (wieder) auf den Markt kommen. Die Hunderte von Forschern, Ingenieuren und Technikern, die weltweit an diesen Experimenten beteiligt sind, haben unterschiedliche Ausbildungen und verfügen über unterschiedlich ausgeprägte Statistikkenntnisse. Die Anwendung von DOE ist oft keine gängige Praxis, und Statistiker sind nicht immer zur Unterstützung verfügbar. Tatsächlich bringt DOE für Nicht-Statistikexperten einige Schwierigkeiten mit sich: 1) die überwältigende Anzahl von DOEs, 2) der Detaillierungsgrad bei der Eingabe der erforderlichen Informationen und 3) die Schwierigkeit, die Ergebnisse der statistischen Analyse zu verstehen. Es kann leicht zu einem falschen Design kommen oder Ergebnisse falsch interpretiert werden. Das entscheidet über Erfolg und Misserfolg. Anstatt alle Wissenschaftler in Statistik und DOE zu schulen, setzte Unilever ein Tool ein, um diese Schwierigkeiten zu überwinden. Dieses Tool namens Plyos wurde intern entwickelt und läuft in JMP. Plyos vereinfacht den Prozess und führt den Benutzer mit umfassender Hilfe durch den Prozess der DOE-Erstellung. Plyos bietet zudem detaillierte Erläuterungen zur Interpretation der Ergebnisse der statistischen Analyse. Die Präsentation beleuchtet die Arbeitsweise des Tools sowie dessen Vorteile und Grenzen.
Moderatorentext:
Die präsentierten Folien finden Sie in einem separaten PDF.
1 Einleitung
„Denken ist eine der wichtigsten Waffen im Umgang mit Problemen“
Mandela sagte dies vor vielen Jahren in einem Interview mit Bezug auf seine 27-jährige Haftstrafe.
Diese weisen Worte könnten jedoch auch für die Versuchsplanung gelten. Sie sind Teil unseres Slogans für DoE-bezogene Kurse geworden.
Unilever ist ein Unternehmen, das schnelldrehende Konsumgüter in den vielfältigen Bereichen Lebensmittel sowie Haushalts- und Körperpflegeprodukte herstellt. Das Unternehmen ist an zahlreichen Standorten weltweit vertreten.
Der Prozess der Markteinführung von Produkten lässt sich vereinfacht in drei Phasen unterteilen: In den Forschungs- und Entwicklungsstandorten werden Produkte geformt, die dann in Pilotanlagen im kleinen Maßstab getestet werden, bevor sie in unseren Fabriken für den Markt produziert werden.
Die mit dem Experimentieren in Fabriken verbundenen Kosten sind relativ hoch, da teure Geräte erforderlich sind, die Chargen oft größer sind und die daraus resultierenden Produkte nicht auf dem Markt verkauft werden können.
In der Forschung und Entwicklung können wir aufgrund des kleineren Maßstabs der Experimente viel mehr Experimente durchführen, was zu deutlich geringeren Kosten pro Probe führt. Die Pilotanlage befindet sich buchstäblich in der Mitte.
Der Wunsch nach DoE-Techniken hängt natürlich direkt mit der Anzahl der von Ihnen durchgeführten Experimente zusammen.
Das allgemeine Wissen über Statistik und DoE – aber auch das Niveau der statistischen Unterstützung – ist in Pilotanlagen leider viel geringer als in der Forschung und Entwicklung, und in Fabriken ist es sogar noch geringer.
Mit der Einführung von DoE in unseren Pilotanlagen standen wir vor mehreren Herausforderungen.
Diese Herausforderungen beginnen damit, dass wir weltweit über 40 Pilotanlagen mit mehr als 500 beteiligten Mitarbeitern betreiben. Das Ausbildungsniveau der Mitarbeiter ist sehr unterschiedlich und damit auch ihre Statistikkenntnisse. Die Anwendung statistischer Techniken gehört nicht immer zur täglichen Praxis.
Die in Pilotanlagen tätigen Mitarbeiter sind hochqualifiziert und in ihrem Fachgebiet anerkannt. Beim Einsatz eines DoE-Tools stehen sie jedoch vor zahlreichen Optionen und Entscheidungen. Manche dieser Entscheidungen sind einfach, andere können sehr schwierig sein. Die meisten Probleme betreffen die Art des Designs sowie die Analyse und Interpretation der Ergebnisse. Mangelndes Wissen in diesem Bereich kann sie vom Einsatz von DoE abhalten.
Es gibt verschiedene Möglichkeiten, einen möglichen Wissensmangel zu überwinden. Die offensichtlichsten sind hier aufgeführt. Allerdings sind sowohl Schulungen als auch die Verbesserung der statistischen Unterstützung aufgrund der großen Anzahl beteiligter Standorte und Kollegen sehr kostspielig. Und die Anwendung einer Technik zu erzwingen, funktioniert bekanntlich nicht.
2 Einführung von DoE in Pilotanlagen
Unilever hat sich für diesen Weg entschieden, um den DoE-Anwendungsprozess zu vereinfachen. Dies ist nicht nur eine Möglichkeit, Kosten zu senken, sondern könnte für Unilever mit seinen vielen Mitarbeitern und den häufigen Jobwechseln auch eine nachhaltigere Lösung sein.
Zu diesem Zweck haben wir bestimmte Anforderungen festgelegt, die den Prozess der Erstellung eines Versuchsplans und seiner Analyse vereinfachen sollen.
Wir haben versucht, die Verwendung statistischer Fachbegriffe so weit wie möglich zu vermeiden. Wir haben auf Begriffe zur Art des Designs und zu den Analysetechniken verzichtet und uns stattdessen auf die Informationen konzentriert, die nach dem Versuch gewonnen werden müssen, und auf das Wissen, das der Benutzer vor dem Versuch hatte.
Da es nicht immer möglich ist, die statistische Sprache zu vermeiden – insbesondere bei der Analyse von Daten – wurde diese Methode gewählt, um in jeder Phase des Prozesses Hilfestellung zu bieten.
3 Plyos-Werkzeug
Damit dieser vereinfachte Prozess erfolgreich verläuft, benötigen Sie zwangsläufig ein einfaches, nützliches und leicht zu verwendendes Softwaretool.
Wir haben ein solches Tool entwickelt. Das Tool heißt „Plyos“ und ist selbstverständlich bei Unilever weltweit verfügbar.
Dieses Tool läuft in JMP und erfasst nur die gewünschten Informationen. Welche Antworten und Faktoren gibt es? Zusätzliche Informationen werden nur dann erfasst, wenn dies unbedingt erforderlich ist. Beispielsweise stellt sich die Frage, ob Interaktionen in das Design einbezogen werden müssen oder nicht, nur dann, wenn Interaktionen in das Design einbezogen werden können.
Alle Schritte werden erklärt und mögliche Entscheidungen dem Benutzer mitgeteilt. Der Benutzer prüft die Eingaben und schlägt Verbesserungen basierend auf dem Wissen von Unilever vor.
Schließlich bietet das Tool ein effektives Design, das je nach Bedarf zufällig oder blockiert präsentiert wird.
Darüber hinaus analysiert das Tool die Antworten mithilfe einer minimalen Anzahl statistischer Techniken, abhängig von der Art der Antwort und der Anzahl der Faktoren, und erklärt, wie jede Technik – einzeln und in Kombination – interpretiert werden sollte.
4 Plyos-Programmablauf
Die Beispiele geben Ihnen einen groben Überblick über den Ablauf des Programms. Einige Screenshots sind ebenfalls enthalten. Es werden nur einige Highlights vorgestellt.
Beim Start bietet Plyos die Möglichkeit, den Standardordner für die Datenspeicherung zu ändern. Sie können die Hilfe lesen oder ein ausführlicheres Handbuch öffnen. Es besteht auch die Möglichkeit, die Anwendung anhand von Beispieldateien zu testen.
Wichtiger ist natürlich die Entwicklung einer neuen Versuchsreihe oder die Öffnung eines bestehenden Designs, um Antwortdaten hinzuzufügen und diese Ergebnisse zu analysieren.
Wenn Benutzer mit der Erstellung eines neuen Designs beginnen, fragt das Tool zunächst nach Details zur späteren Identifizierung des Versuchs. Anschließend muss der Benutzer die Details der Antworten eingeben, wofür ein Beispielbildschirm angezeigt wird. Die hier abgefragten Informationen sind umfangreicher als bei der Erstellung eines Designs in JMP. Diese zusätzlichen Informationen sind typische Unilever-Informationen und werden im Hintergrund zur Optimierung des endgültigen Designs verwendet. Beispielsweise fragt Plyos, ob ordinale oder nominale Antworten durch kontinuierliche Antworten ersetzt werden könnten. Kontinuierliche Antworten sind einfacher zu analysieren, und die Ergebnisse sind für Nicht-Statistiker weniger problematisch zu interpretieren.
Zur Erläuterung der verschiedenen Felder und ihrer Auswirkungen steht ein separater Hilfebildschirm zur Verfügung.
Nach dem Schließen dieses Antwortbildschirms befasst sich der nächste Schritt des Prozesses – auf ähnliche Weise – mit den Faktoren, die untersucht werden müssen.
Wenn das Plyos-Wissenssystem entscheidet, dass der Benutzer eine Auswahl treffen muss – z. B. ob Interaktionen einbezogen werden müssen oder nicht –, stellt das System die Frage und bietet Hilfe zur Klärung dieser Frage.
Der nächste Schritt „Entscheidungen und Konsequenzen“ bezieht sich auf eine erzwungene Entscheidung von Plyos.
Wenn Plyos eine Entscheidung erzwungen hat – beispielsweise wenn Faktorstufen begrenzt werden müssen – wird ein separates Fenster mit Erklärungen und – falls zutreffend – Auswahlmöglichkeiten angezeigt.
Wenn alles ausgefüllt und beantwortet wurde, wird ein zufällig ausgewähltes und einsatzbereites Design bereitgestellt.
Diese JMP-Datentabelle kann – wiederum unterstützt durch eine Hilfe – direkt als Rezept für die Versuche im Technikum verwendet werden. Die Antwortergebnisse können eingetragen und die Tabelle selbstverständlich für die spätere Weiterverarbeitung gespeichert werden.
Die Tabelle entspricht den bereitgestellten Informationen und ist detaillierter als die Standard-JMP-Datentabelle nach dem Standard-DoE-Prozess. Beispielsweise erstellt JMP DoE nur nominale Faktoren für alle kategorialen Faktoren bei der Eingabe, während Plyos sie je nach Eingabe ordinal oder nominal macht.
Ein gutes Versuchsdesign ist ohne eine ordnungsgemäße Analyse der Antwortdaten nutzlos.
Im angegebenen Beispiel sehen Sie auf der linken Seite ein JMP-Berichtsfenster, das die vordefinierten statistischen Techniken präsentiert, die für das untersuchte Modell ausgewählt wurden, und auf der rechten Seite sehen Sie die Erklärung derselben Techniken.
In den Erläuterungen werden nur die Techniken gezeigt, die tatsächlich in der Analyse verwendet werden und umgekehrt.
Zusammen mit allgemeinen Beschreibungen des Modells und der wichtigsten Annahmen sollten die detaillierten Erklärungen der Analysetechniken – einzeln und in Kombination – für die meisten Situationen ausreichen, um auch dann solide und fundierte Schlussfolgerungen aus den Daten zu ziehen, wenn der Benutzer nur über begrenzte statistische Kenntnisse verfügt.
5 Design-Herausforderungen
Bei der Entwicklung des Tools standen wir vor mehreren Herausforderungen. Einige hatten größere Auswirkungen, andere waren eher klein.
Der erste Teil beschäftigt sich mit der Frage, welche Designarten für bestimmte Kombinationen von Faktoren erforderlich wären und ob wir in der Lage wären, einen solchen Ablauf zu schaffen, dass immer wieder dasselbe Design gewählt wird, wenn derselbe Prozess von vorne begonnen wird.
Glücklicherweise verfügten wir über umfassendes Expertenwissen über die Zielgruppe und ihre spezifischen Bedürfnisse. Die verschiedenen Situationen wurden durch die Anzahl der Faktoren, deren Art, die Anzahl der Ebenen pro (kategorialem) Faktor, die Berücksichtigung von Interaktionen und/oder Nichtlinearität sowie einige weitere Einschränkungen definiert.
Alle Informationen werden in einer großen Datentabelle gespeichert, die auch Informationen dazu enthält, wie die Daten analysiert werden sollen.
In einer frühen Entwicklungsphase wurde entschieden, hauptsächlich klassische Designs zu verwenden. Diese sind leicht verständlich und wiederholbar. Allerdings sind diese Designs nicht einfach zu programmieren, insbesondere wenn man vermeiden möchte, dass der Benutzer in die Standard-DoE-Dialogfenster von JMP gerät.
Daher sind die meisten Designs über Schleifen fest in den Skripten codiert. Andere werden in Datentabellen gespeichert und bei Bedarf verwendet.
Es wurden viele Arten von Hilfe benötigt, die in verschiedenen Phasen des Design-Erstellungsprozesses aufgerufen wurden. Um die Wartung zu vereinfachen, sollte der Text nicht zu tief in den Skripten gespeichert werden.
Wir verwenden Texte aus verschiedenen Quellen, darunter auch Skripten. Der Großteil ist jedoch in Datentabellen und Journalen gespeichert. Besonders die Möglichkeit, große Textmengen in einem Journal zu speichern und Teile des Textes flexibel zu präsentieren, hat uns sehr zufriedengestellt.
Wir stoßen auch auf mehrere kleinere Probleme:
Bestimmte erstellte Spaltennamen schienen sprachabhängig zu sein (z. B. „Residuen“). Wir haben uns für die einfache Lösung entschieden und testen nun die Sprache und bitten den Benutzer, bei Bedarf Änderungen vorzunehmen.
Einige „Plattformeinstellungen“ ändern die Darstellung der Daten während der Analyse. Einige davon lassen sich nicht durch Hard-Coding beheben. Wir haben keine Lösung für einige dieser Probleme gefunden und daher Warnungen in unseren Text eingefügt.
Wir begannen 2011 mit der Entwicklung in JMP9. Später wurde JMP11 eingeführt, was bei bestimmten Routinen zu Problemen führte. Um diese Probleme zu beheben, haben wir versionsabhängige Unterroutinen entwickelt. JMP9 ist jedoch nicht mehr verfügbar.
6 Toolverfügbarkeit und Rollout
Das Tool wird in der gesamten Unilever-Welt ausgerollt. Die Bereitstellung erfolgt über ein gemeinsames Laufwerk.
Obwohl die Verwendung des Tools anhand der Hilfe und des mitgelieferten Handbuchs selbsterklärend ist, ist das Tool auch Teil eines Schulungsprogramms.
In dieser Schulung liegt der Schwerpunkt nicht auf den Hintergründen der Versuchsplanung oder komplizierter Statistik, sondern vielmehr auf der praktischen Anwendung des Tools und den notwendigen Vorbereitungen für die Erstellung eines Versuchsplans. Unser Motto während der Schulung lautet „Denken Sie gut nach, bevor Sie beginnen“, ganz im Sinne von Herrn Mandela.
Unserer Erfahrung nach ist dieser Denkprozess sogar noch wichtiger als der eigentliche Prozess der Einrichtung eines DoE.
7 Werkzeugnutzung
Plyos ist seit 2012 verfügbar.
Wir beobachten, dass das Tool im gesamten Unilever-Geschäft eingesetzt wird und über 20 Länder und über 500 Nutzer umfasst. Rund 100 Nutzer haben mehrere der 600 relevanten Fälle erstellt, die wir in den letzten zwei bis drei Jahren beobachtet haben. Plyos erwies sich in etwa 95 % dieser Fälle als anwendbar und führte zu einem validen und nützlichen Design. In etwa 5 % dieser Fälle war die Unterstützung eines Statistikers erforderlich.
Ein Punkt ist jedoch äußerst wichtig: Alle Aspekte müssen von der Geschäftsleitung vorangetrieben und unterstützt werden. Ohne diese Unterstützung besteht ein hohes Risiko, dass die Nutzung des Tools – und damit die Anwendung von DoE – zurückgeht. Wir sind sehr glücklich, diese Unterstützung zu haben.
8 Fazit
Es bleibt schwierig, eine solide Schlussfolgerung zu ziehen – insbesondere als Entwickler des Tools.
Aufgrund der Statistiken, die wir gerade gesehen haben, und der Kommentare und Fragen, die wir von den Benutzern erhalten haben und immer noch erhalten, bin ich jedoch der Meinung, dass es uns gelungen ist, den Prozess der Erstellung von Versuchsdesigns zu vereinfachen.
Natürlich müssen wir alles tun, um den Benutzer bei der Erstellung der Versuchsplanung zu unterstützen, wann immer die Arbeit im Technikum dies erfordert. Dies geschieht zum Teil durch das Management, aber auch durch die Bereitstellung engagierter Unterstützung durch Statistiker auf Anfrage.
Auch das Tool selbst muss regelmäßig aktualisiert werden, um den wachsenden Anforderungen des Benutzers gerecht zu werden.
Auch der Fokus auf „Denken Sie gut nach, bevor Sie anfangen“ erweist sich als hilfreich. Der Nutzer weiß viel besser, was er untersuchen möchte und sieht Plyos als nützliches Werkzeug, um dies ohne die Hilfe eines Statistikers zu erledigen.
9 Team & Abschluss
Abschließend möchte ich betonen, dass diese Entwicklung ohne ein großartiges Team nicht möglich gewesen wäre.
Winfried Theis verließ Unilever leider lange bevor das Tool geschrieben wurde.
Die beiden anderen – Frits Quadt von Quadt Consultancy für den technischen Support und Hans de Roos von Octoplus Information Solutions für das Scripting – sind immer noch in unserem Team.
Natürlich waren viele andere im Hintergrund involviert und haben die globale Einführung von Plyos ermöglicht. Ihre Hilfe wurde und wird sehr geschätzt.
Peter van Bruggen
Statistiker
Unilever Forschung & Entwicklung, Vlaardingen, Niederlande
peter-van.bruggen@unilever.com
