Peter van Bruggen, statistico, Unilever R&D
Astratto:
In Unilever, vengono eseguiti migliaia di esperimenti prima che i prodotti vengano (ri)lanciati sul mercato. Le centinaia di ricercatori, ingegneri e tecnici coinvolti in questi esperimenti a livello globale sono formati in diverse discipline e hanno un livello variabile di conoscenza statistica. Applicare il DOE spesso non è una pratica comune e gli statistici non sono sempre disponibili per fornire supporto. È un dato di fatto che per gli esperti non statistici, il DOE pone alcune difficoltà: 1) l'enorme numero di DOE, 2) il livello di dettaglio per compilare le informazioni necessarie e 3) la difficoltà di comprendere i risultati dell'analisi statistica. Si potrebbe facilmente scegliere un design errato o i risultati potrebbero essere interpretati erroneamente. Ciò fa la differenza tra successo e fallimento. Invece di formare tutti gli scienziati in statistica e DOE, Unilever ha distribuito uno strumento per superare queste difficoltà. Questo strumento, chiamato Plyos, è stato sviluppato internamente e funziona in JMP. Plyos semplifica il processo e guida l'utente attraverso il processo di impostazione dei DOE con un aiuto esteso. Plyos fornisce anche spiegazioni dettagliate per interpretare i risultati dell'analisi statistica. La presentazione evidenzia i modi di lavorare con lo strumento, nonché i suoi vantaggi e limiti.
Testo dei presentatori:
Si prega di consultare un PDF separato per le diapositive presentate
1 Introduzione
“Il pensiero è una delle armi più importanti per affrontare i problemi”
Mandela disse questo molti anni fa in un'intervista riferendosi alla sua prigionia durata 27 anni.
Tuttavia, queste sagge parole potrebbero essere valide anche per Design of Experiments. È diventato parte del nostro slogan per i corsi correlati a DoE.
Unilever è un'azienda che produce "beni di largo consumo" in un'area diversificata di alimenti e prodotti per la cura della casa e della persona. Conosce molti siti in tutto il mondo.
Il processo di lancio dei prodotti sul mercato potrebbe essere semplificato e suddiviso in tre fasi: nei centri di Ricerca e Sviluppo vengono realizzati i prodotti che vengono poi testati su piccola scala in impianti pilota prima di essere prodotti per il mercato nelle nostre fabbriche.
I costi legati alla sperimentazione nelle fabbriche sono relativamente elevati a causa delle attrezzature costose, dei lotti spesso più grandi e del fatto che i beni risultanti non possono essere venduti sul mercato.
In R&S possiamo fare molti più esperimenti grazie alla scala più piccola degli esperimenti, con conseguenti costi per campione molto più bassi. L'impianto pilota è letteralmente nel mezzo.
La richiesta di tecniche DoE è, ovviamente, direttamente correlata al numero di esperimenti eseguiti.
Tuttavia, la conoscenza comune delle statistiche e del DoE – ma anche il livello di supporto statistico – è purtroppo molto più bassa negli impianti pilota rispetto a quella in R&S e nelle fabbriche è ancora più bassa.
Con l'introduzione del DoE nei nostri impianti pilota abbiamo dovuto affrontare diverse sfide.
Queste sfide iniziano con il fatto che abbiamo oltre 40 impianti pilota in tutto il mondo, con più di 500 colleghi coinvolti. Il livello di istruzione varia parecchio e con quello la loro conoscenza delle statistiche. L'uso di tecniche statistiche non è sempre una pratica quotidiana.
Le persone che lavorano negli impianti pilota sono altamente qualificate e apprezzate nel loro campo di competenza, ma quando iniziano a usare uno strumento DoE si trovano di fronte a molte opzioni e scelte. Alcune di queste scelte sono "facili", ma altre potrebbero essere "molto difficili". La maggior parte dei problemi che devono affrontare riguarda il tipo di progettazione e l'analisi e l'interpretazione dei risultati. La mancanza di conoscenza in questo campo potrebbe impedir loro di usare DoE.
Esistono diversi modi per superare una possibile mancanza di conoscenza, di cui i più ovvi sono elencati qui. Tuttavia, sia la "formazione" che "l'aumento del supporto statistico" sono molto costosi a causa del gran numero di siti e colleghi coinvolti. E forzare l'uso di una tecnica non funzionerà, come tutti potremmo sapere.
2 Introduzione del DoE negli impianti pilota
Unilever ha optato per la strada della semplificazione del processo di applicazione del DoE. Questa non è solo un'opzione per ridurre i costi, ma potrebbe anche essere un'opzione più sostenibile per Unilever con così tanti colleghi e dove le persone cambiano lavoro di tanto in tanto.
Per raggiungere questo obiettivo abbiamo definito alcuni requisiti per semplificare il processo di impostazione di un Design of Experiments e della sua analisi.
Abbiamo cercato di evitare il più possibile l'uso di un linguaggio statistico. Abbiamo saltato i termini sul tipo di progettazione e sulle tecniche di analisi, ma ci siamo concentrati invece sulle informazioni che devono essere raccolte dopo la sperimentazione e sulle conoscenze che l'utente ha prima della sperimentazione.
Poiché non è sempre possibile evitare il linguaggio statistico, soprattutto quando si analizzano i dati, si è scelto di fornire assistenza in ogni fase del processo.
3 Strumento Plyos
Per far sì che questo processo semplificato abbia successo è inevitabilmente necessario uno strumento software semplice, utile e facile da usare.
Abbiamo sviluppato uno strumento del genere. Lo strumento si chiama "Plyos" ed è, ovviamente, disponibile in tutta Unilever a livello globale.
Questo strumento funziona in JMP e campiona solo le informazioni desiderate. Quali sono le risposte e i fattori? E campiona solo informazioni aggiuntive quando sono strettamente necessarie. Ad esempio, la domanda se le interazioni debbano essere incluse nel design o meno, viene sollevata solo quando le interazioni possono essere incluse nel design.
Tutti i passaggi vengono spiegati e le possibili decisioni vengono comunicate all'utente. Controlla l'input e suggerisce miglioramenti in base alle conoscenze di Unilever.
Infine, lo strumento fornisce un progetto efficace che viene presentato in modo casuale o bloccato a seconda delle circostanze.
Inoltre, lo strumento analizza le risposte utilizzando un numero minimo di tecniche statistiche a seconda del tipo di risposta e del numero di fattori e spiega come ogni tecnica, individualmente e in combinazione, dovrebbe essere interpretata.
4 Flusso del programma Plyos
Con gli esempi forniti si ottiene una vaga idea del flusso del programma, con alcuni screenshot a parte. Sono presentati solo alcuni punti salienti.
All'avvio Plyos fornisce opzioni per cambiare la cartella predefinita per l'archiviazione dei dati. Puoi leggere la guida o aprire un manuale più dettagliato. Ci sono anche opzioni per testare l'applicazione usando file di esempio.
Ancora più importante è ovviamente la progettazione di una nuova serie di esperimenti o l'apertura di un progetto esistente per aggiungere dati di risposta e analizzare questi risultati.
Quando gli utenti iniziano a creare un nuovo design, lo strumento chiede prima i dettagli per identificare la prova in una fase successiva. Quindi l'utente deve compilare i dettagli delle risposte, di cui viene fornita una schermata di esempio. Il dettaglio delle informazioni richieste qui è più di quanto ci si aspetterebbe quando si imposta un design in JMP. Queste informazioni extra sono tipiche informazioni Unilever e vengono utilizzate in background per ottimizzare il design finale risultante. Ad esempio, Plyos chiederà se le risposte ordinali o nominali potrebbero essere sostituite da risposte continue. Le risposte continue sono più facili da analizzare e i risultati daranno meno problemi di interpretazione ai non statistici.
È disponibile una schermata di aiuto separata per spiegare i diversi campi e il loro impatto.
Dopo aver chiuso questa schermata di risposta, il passaggio successivo del processo riguarda, in modo simile, i fattori che devono essere analizzati.
Se il sistema di conoscenza Plyos decide che l'utente deve fare una scelta, ad esempio se le interazioni devono essere incluse o meno, il sistema pone la domanda e fornisce assistenza per chiarire la questione.
Il passo successivo “Decisioni e conseguenze” si riferisce a una decisione forzata da parte di Plyos.
Se Plyos ha imposto una decisione, ad esempio quando è necessario limitare i livelli dei fattori, viene visualizzata una finestra separata con spiegazioni e, se applicabile, opzioni da selezionare.
Una volta compilati tutti i campi e fornite le risposte, viene fornito un progetto randomizzato e pronto all'uso.
Questa tabella dati JMP, sempre supportata da help, può essere utilizzata direttamente come ricetta per le prove nell'impianto pilota. I risultati delle risposte possono essere compilati e, naturalmente, la tabella può essere salvata per un'elaborazione successiva.
La tabella corrisponde alle informazioni fornite ed è più dettagliata della tabella dati JMP standard dopo il loro processo DoE standard. Ad esempio, JMP DoE creerà fattori nominali solo per tutti i fattori categoriali in input, mentre Plyos li renderà ordinali o nominali a seconda dell'input.
Una buona progettazione degli esperimenti è inutile senza un'analisi adeguata dei dati di risposta.
Nell'esempio fornito, sul lato sinistro è visibile una finestra del report JMP che presenta le tecniche statistiche predefinite scelte per il modello in esame, mentre sul lato destro è visibile la spiegazione delle stesse tecniche.
Nelle spiegazioni verranno illustrate solo le tecniche effettivamente utilizzate nell'analisi e viceversa.
Insieme alle descrizioni generali del modello e alle ipotesi più importanti, le spiegazioni dettagliate delle tecniche di analisi, singolarmente e in combinazione, dovrebbero essere sufficienti nella maggior parte delle situazioni per trarre conclusioni solide e valide dai dati, anche quando l'utente ha solo una conoscenza limitata della statistica.
5 Sfide di progettazione
Durante la progettazione dello strumento abbiamo dovuto affrontare diverse sfide. Alcune avevano un impatto piuttosto grande, altre erano di minore entità.
Il primo riguarda quali tipi di progettazione sarebbero necessari per specifiche combinazioni di fattori e se saremmo in grado di creare un flusso tale che venga scelto lo stesso progetto quando si ricomincia lo stesso processo.
Fortunatamente avevamo una discreta conoscenza esperta del gruppo target e delle sue esigenze specifiche. Le diverse situazioni erano definite dal numero di fattori, dal tipo di fattori, dal numero di livelli per fattori (categorici), se includere o meno interazioni e/o non linearità e da altri vincoli.
Tutte le informazioni vengono memorizzate in una grande tabella dati che include anche indicazioni su come i dati devono essere analizzati.
In una fase iniziale di sviluppo si è deciso di utilizzare principalmente design classici. Questi sono facili da capire e possono essere ripetuti. Tuttavia, questi design non sono facili da codificare, specialmente quando si vuole evitare che gli utenti accedano alle schermate di dialogo DoE standard di JMP.
Pertanto la maggior parte dei progetti sono codificati in modo rigido negli script tramite loop. Altri sono memorizzati in tabelle di dati e utilizzati su richiesta.
Sono stati necessari molti tipi di aiuto, chiamati durante diverse fasi del processo di creazione del design. Per rendere la manutenzione semplice, il testo non dovrebbe essere archiviato troppo in profondità negli script.
Abbiamo inserito il testo in diverse fonti, tra cui gli script. Tuttavia, la maggior parte è archiviata in tabelle di dati e diari. In particolare, il modo in cui abbiamo scoperto di archiviare molto testo in un diario e di presentare parti del testo in modo flessibile ci ha dato una grande soddisfazione.
Incontriamo anche diversi problemi minori:
Alcuni nomi di colonne create sembravano essere dipendenti dalla lingua (ad esempio "Residuals"). Abbiamo scelto la soluzione semplice e testiamo ora la lingua e chiediamo all'utente di cambiarla se necessario.
Alcune "Preferenze piattaforma" cambiano il modo in cui i dati vengono presentati durante l'analisi. Alcune non possono essere superate tramite hard coding. Non abbiamo trovato modi per superare alcuni dei problemi, quindi abbiamo inserito degli avvisi nel nostro testo.
Abbiamo iniziato lo sviluppo nel 2011 in JMP9. Successivamente è stato introdotto JMP11, causando alcuni problemi per alcune routine. Per superare questo problema, creiamo subroutine dipendenti dalla versione. Tuttavia, JMP9 non è più disponibile.
6 Disponibilità e distribuzione degli strumenti
Lo strumento è distribuito in tutto il mondo Unilever. Viene distribuito tramite un'unità condivisa.
Sebbene l'utilizzo dello strumento sia intuitivo grazie alla guida e al manuale allegato, lo strumento fa anche parte di un programma di formazione.
Durante questa formazione l'attenzione non è rivolta al background della progettazione di esperimenti o a statistiche complicate, ma molto di più alla pratica dello strumento e alla preparazione necessaria per impostare una progettazione. Il nostro motto durante la formazione è "Pensa bene prima di iniziare" ripetendo di fatto le parole del signor Mandela.
La nostra esperienza ci ha insegnato che questo processo di riflessione è ancora più importante del processo stesso di istituzione di un Dipartimento dell'Energia.
7 Utilizzo degli strumenti
Plyos è disponibile dal 2012.
Vediamo l'uso dello strumento diffuso in tutta l'attività Unilever con una copertura di oltre 20 paesi e oltre 500 utenti. Circa 100 utenti hanno creato diversi dei 600 casi rilevanti che abbiamo visto negli ultimi 2 o 3 anni. Plyos è risultato applicabile in circa il 95% di questi casi, con conseguente progettazione valida e utile. Per circa il 5% di questi casi è stato necessario l'input di uno statistico.
Un punto è tuttavia estremamente importante: tutti gli aspetti devono essere guidati e supportati dal senior management. Senza tale supporto, c'è un rischio elevato che l'uso dello strumento, e quindi l'applicazione del DoE, diminuisca. Siamo molto fortunati ad avere questo supporto.
8 Conclusion
Resta difficile trarre una conclusione definitiva, soprattutto in quanto progettista dello strumento.
Tuttavia, dalle statistiche che abbiamo appena visto e dai commenti e dalle domande che abbiamo ricevuto e continuiamo a ricevere dagli utenti, penso che siamo riusciti a semplificare il processo di impostazione dei progetti di esperimenti.
Naturalmente dobbiamo fare tutto il possibile per mantenere l'utente concentrato sulla creazione di un design di esperimenti ogni volta che è richiesto dal lavoro nell'impianto pilota. Lo facciamo in parte tramite la gestione, ma anche fornendo assistenza dedicata da parte di statistici su richiesta.
Anche lo strumento stesso deve essere aggiornato regolarmente per restare in linea con le crescenti esigenze dell'utente.
Sembra anche che l'attenzione su "Think Hard Before You Start" sia utile. L'utente è molto più consapevole di ciò che vorrebbe analizzare e vede Plyos come uno strumento utile per farlo senza l'aiuto di uno statistico.
9 Squadra e chiusura
Infine, vorrei sottolineare che questo sviluppo non sarebbe stato possibile senza un grande team.
Purtroppo Winfried Theis lasciò Unilever molto prima che lo strumento fosse messo a punto.
Gli altri due ragazzi, Frits Quadt di Quadt Consultancy per il supporto tecnico e Hans de Roos di Octoplus Information Solutions per la scrittura di script, sono ancora nel nostro team.
Naturalmente molti altri sono stati coinvolti nel background rendendo possibile che Plyos potesse essere lanciato a livello globale. Il loro aiuto è stato ed è molto apprezzato.
Pietro van Brüggen
Statistico
Unilever Ricerca e Sviluppo, Vlaardingen, Paesi Bassi
peter-van.bruggen@unilever.com
