Roger W. Hoerl, PhD, professore associato di statistica Brate-Peschel, Union College
Ronald D. Snee, PhD, Presidente, Snee Associates
Esperimenti di miscele/processi efficienti utilizzando modelli non lineari
9/2015
Ronald D. Snee, Snee Associates, Newark, DE
Roger W. Hoerl, Università di Schenectady, New York
Gabriella Bucci, Accademia Fuori Porta, Sarasota, FL
Diritti d'autore: Ronald D. Snee, Roger W. Hoerl e Gabriella Bucci 2015
Nota: questo documento è attualmente in fase di revisione editoriale con il titolo: "Un approccio ingegneristico statistico agli esperimenti di miscela con variabili di processo"
Astratto:Si discute sulla sperimentazione sia con componenti di miscela che con variabili di processo, soprattutto quando è probabile che vi sia interazione tra questi due insiemi di variabili. Consideriamo sia le questioni di progettazione che di analisi nel contesto dell'affrontare un problema di miscela/processo effettivo. Ci concentriamo su una strategia per affrontare tali problemi, anziché trovare la migliore progettazione possibile o il miglior modello possibile per un dato insieme di dati. In questo senso, viene utilizzato un framework di ingegneria statistica. In particolare, quando consideriamo il potenziale di adattamento di modelli non lineari parsimoniosi rispetto a modelli linearizzati più grandi, troviamo un'opportunità significativa per ridurre le dimensioni dei progetti sperimentali. È difficile in pratica sapere quale tipo di modello si adatterà meglio ai dati risultanti. Pertanto, si consiglia una strategia di progettazione e analisi integrata e sequenziale. Utilizzando due set di dati pubblicati e un nuovo set di dati, scopriamo che in alcuni casi i modelli non lineari o i modelli lineari che ignorano l'interazione consentono una riduzione della sperimentazione nell'ordine del 50%. In altri casi, i modelli non lineari potrebbero non essere sufficienti. Forniamo quindi delle linee guida per stabilire quando è probabile che un simile approccio abbia successo e proponiamo una strategia complessiva per tali problemi.
Parole chiave:miscele, modelli di miscela, sperimentazione di miscele, modelli non lineari
Introduzione
I problemi di miscelazione, in cui le proporzioni degli ingredienti devono essere pari a 1,0, si verificano in molti settori e aree di applicazione, come lo sviluppo di alimenti, prodotti farmaceutici e chimici, per citarne solo alcuni. In molte applicazioni di miscelazione, non è solo la formulazione a influenzare la risposta finale, ma anche le variabili di processo. Ad esempio, nella produzione di un vino miscelato, il gusto finale e altre caratteristiche importanti dipendono non solo dalle proporzioni delle varietà di uva utilizzate, ma anche dalle variabili di processo, come le condizioni climatiche della stagione di crescita, quando vengono raccolte le uve, le temperature nelle varie fasi del processo di fermentazione, il tipo di botti di invecchiamento utilizzate e così via.
In alcuni casi, i componenti della miscela e le variabili di processo non interagiscono. Nell'esempio del vino, ciò significherebbe che la fermentazione e altre lavorazioni potrebbero essere ottimizzate senza considerare quali varietà di uva sono state utilizzate. Questo scenario porterebbe a utilizzare modelli additivi che combinano un modello di miscela più un modello di variabile di processo. In altri casi, questo scenario additivo non si applicherà, perché le migliori condizioni di lavorazione potrebbero dipendere dalle varietà utilizzate. In tal caso, ci sarebbe interazione tra la miscela e le variabili di processo. Lo scenario di interazione porterebbe a modelli che incorporano termini per tenere conto dell'interazione tra la miscela e le variabili di processo.
I progetti sperimentali tipicamente utilizzati quando si prevede tale interazione tendono a essere ampi, per accogliere il numero di termini nei modelli lineari che incorporano l'interazione (Cornell 2002, 2011). Naturalmente, se si sa dalla conoscenza della materia o da precedenti esperimenti quale sarà la forma finale del modello, si può progettare un esperimento ottimale o quasi ottimale per stimare quel modello specifico. Consideriamo la situazione più comune in cui gli sperimentatori sospettano l'interazione, ma non sono sicuri di specificare la forma finale del modello prima di eseguire il progetto e ottenere i dati successivi. La nostra attenzione non è quindi né sul progetto ottimale per un dato modello, né sul modello ottimale per un dato set di dati. Piuttosto, ci concentriamo su una strategia per attaccare tali problemi, considerando progetti alternativi, modelli alternativi e tenendo conto della necessità di efficienza nell'affrontare i problemi nella pratica.
In questo senso, adottiamo un approccio di ingegneria statistica (Hoerl e Snee 2010, Anderson-Cook e Lu 2012) per identificare gli approcci più efficaci ed efficienti per affrontare le applicazioni di miscele/processi che si verificano in ambito aziendale, industriale, di ricerca o governativo. In particolare, scopriamo che una seria considerazione di modelli non lineari nei parametri può fornire un'alternativa efficiente ai modelli tradizionali lineari nei parametri. Mentre adattare modelli non lineari è più impegnativo che adattare modelli lineari, software moderni, come R, JMP, Minitab o SAS, consentono agli utenti di stimare e interpretare modelli non lineari abbastanza facilmente, almeno rispetto ai software commerciali di 10-20 anni fa.
I modelli non lineari hanno meno parametri da stimare per lo stesso problema di miscela/processo. Ad esempio, nell'applicazione di Cornell per il fish patty (Cornell 2002) c'erano 56 termini da stimare nel modello lineare rispetto ai 14 termini nel modello non lineare. Pertanto, se i modelli non lineari dovessero fornire un'alternativa praticabile, potrebbero essere adottate strategie di progettazione frazionaria molto più aggressive per ridurre significativamente la sperimentazione iniziale. Riconosciamo che la teoria alla base dei modelli non lineari, per cose come gli errori standard dei coefficienti, è meno sviluppata rispetto ai modelli lineari e spesso si basa su risultati asintotici o approssimativi (Montgomery 2012).
In altre parole, poiché i modelli non lineari richiedono meno parametri per adattarsi all'interazione tra variabili di processo e di miscela, inizialmente possono essere eseguiti progetti frazionari molto più piccoli. Ovviamente, non sono necessarie 56 esecuzioni per stimare 14 termini, supponendo che il costo della sperimentazione non sia trascurabile. Se il modello non lineare, o anche un modello lineare additivo senza interazione, si dimostra sufficiente, allora il problema può essere risolto con il progetto iniziale.
Abbiamo molto da guadagnare e poco, se non nulla, da perdere considerando modelli non lineari. Se questi modelli più piccoli non forniscono sufficiente accuratezza, allora si possono eseguire ulteriori sperimentazioni in modo sequenziale. In questo modo, lo scenario migliore è che riduciamo l'effetto sperimentale richiesto per risolvere il problema fino al 50%, mentre lo scenario peggiore è che alla fine dobbiamo eseguire tutta la sperimentazione che un tipico modello lineare con interazione richiederebbe. Questa strategia complessiva è illustrata nella Figura 1. Sottolineare il miglior approccio complessivo per affrontare il problema, piuttosto che concentrarsi sul miglior design individuale per un dato modello, o sul miglior modello individuale per un dato set di dati, è al centro dell'ingegneria statistica, a nostro avviso.
Il resto dell'articolo è organizzato come segue; prima esaminiamo i modelli e i progetti tipici utilizzati negli esperimenti di miscela con variabili di processo, inclusi quelli con interazione. Quindi, esaminiamo i fondamenti dell'ingegneria statistica e discutiamo come si applicano a questo problema specifico. Quindi introduciamo tre set di dati, due pubblicati in precedenza e un nuovo set di dati. Utilizzando questi set di dati, confrontiamo modelli additivi lineari, interattivi lineari e non lineari, in termini di adattamento dei dati. Inoltre, notiamo potenziali interpretazioni dei coefficienti del modello non lineare. Quindi, consideriamo i risultati ipotetici che potremmo aver trovato con progetti frazionari per ciascuno di questi problemi. Vale a dire, analizziamo un sottoinsieme dei dati effettivi secondo un progetto frazionario, adattiamo i diversi modelli e utilizziamo i modelli per prevedere i dati non utilizzati dal modello. Infine, consideriamo le implicazioni di questa analisi e suggeriamo una strategia per affrontare problemi di miscela/processo in cui si sospetta un'interazione.
Modelli tipici utilizzati nei problemi di miscela/processo
Esistono molti potenziali progetti e modelli che vengono applicati a problemi di miscela con variabili di processo. Qui evidenziamo i modelli e i progetti più comuni utilizzati nelle applicazioni, in particolare Scheffmodelli (Scheff1963, Cornell 2002), senza tentare di fornire una revisione completa. Consideriamo prima i modelli di miscela stessi, poi i modelli di miscela con variabili di processo senza interazione, poi con interazione. Una volta terminati i modelli, discutiamo i progetti tipicamente eseguiti per consentire l'adattamento di questi modelli.
A causa del vincolo che i componenti della formulazione sommano a 1,0, con conseguente perdita di un grado di libertà, è comune eliminare semplicemente il termine costante da un modello di regressione lineare standard. Ad esempio, con componenti di miscela q, la formulazione lineare di Scheffil modello sarebbe scritto:
Poiché la somma dei componenti è 1,0, non è il valore assoluto dei coefficienti ad essere più significativo, ma piuttosto le relazioni tra i coefficienti. Ad esempio, se b 1 =10, b 2 =20 e b 3 =30, con tre componenti, allora diremmo che x 1 ha un impatto negativo sulla risposta, perché per aumentare x 1 dovremmo diminuire x 2 o x 3 di una quantità uguale, quindi l'impatto netto dell'aumento di x 1 sarebbe quello di diminuire E(y). Ulteriori informazioni sull'interpretazione dei coefficienti di miscela possono essere trovate in Cornell (2002).
Si noti che per tutti i modelli presentati in questo documento assumiamo un termine di errore casuale additivo, indipendente e identicamente distribuito normale con media 0 e deviazione standardSebbene i termini di errore siano ovviamente importanti in qualsiasi modello statistico, questo non è un punto chiave dell'articolo attuale, quindi diremo poco su questo termine di errore andando avanti.
Ci sono altri modelli di miscela che potrebbero essere presi in considerazione, come i modelli "slack variable", in cui eliminiamo uno degli ingredienti della miscela per evitare il vincolo della miscela e aggiungiamo il termine costante di nuovo nel modello. Quando è presente la curvatura, è comune adattare un modello di Scheff quadratico, che incorpora termini lineari più tutti i possibili termini di prodotto vettoriale tra i componenti:
Poiché ogni componente può essere visto come uno meno la somma di tutti gli altri componenti, in genere non considereremmo i termini del prodotto vettoriale come interazione di modellazione nel senso tradizionale del termine, ma piuttosto come modellazione di blending non lineare in generale. Quando è presente un blending non lineare aggiuntivo e sono disponibili sufficienti gradi di libertà, potremmo adattare lo speciale modello cubico di Scheff:
Questo è considerato un cubico "speciale" nel senso che non include tutti i termini di terzo ordine, ma è piuttosto il modello quadratico più tutti i possibili prodotti vettoriali tra tre termini. Ad esempio, il cubico speciale non include il termine x 2 . Un modello di Scheff cubico completo sarebbe:
dove d io sono sono coefficienti cubici dell'eccesso binario o "sinergismo" (Cornell 2011 p. 31). Quando ci sono variabili di processo nel nostro modello, useremo x i per una variabile di miscela, z i per una variabile di processo, b i per un coefficiente di miscela e a i per un coefficiente di variabile di processo. Non consideriamo i termini d io sono . Inoltre, il termine generico f(x) sarà utilizzato per un modello con solo ingredienti di miscela, mentre g(z) sarà utilizzato per modelli con solo variabili di processo. I modelli combinati che incorporano entrambi saranno scritti c(x,z).
Di nuovo, ci sono molti modelli potenziali che possono essere applicati alle variabili di processo e alle combinazioni di ingredienti di miscela e variabili di processo. Qui ci concentriamo sui design standard più comunemente applicati nelle applicazioni. Un modello lineare di variabile di processo sarebbe:
,
dove abbiamo r variabili indipendenti. Un modello di variabile di processo di secondo ordine (quadratico completo) sarebbe:
Si noti che la doppia sommatoria include i=j, quindi il modello quadratico completo include termini quadratici nel modello. Ovviamente, adattare un tale modello richiede più di due livelli nel design. Con design a due livelli, può essere utilizzato un modello fattoriale (termini lineari e interazioni di secondo ordine, ma nessun termine quadratico):
Con progetti fattoriali completi, ovviamente, potremmo stimare anche interazioni di ordine superiore.
In situazioni con variabili sia di miscela che di processo, una considerazione fondamentale è il grado in cui si prevede l'interazione tra le variabili di miscela e di processo. Se abbiamo una teoria o un'esperienza che suggerisce che le variabili di miscela e di processo non interagiscono tra loro, allora possiamo adattare i modelli di miscela e di processo separatamente. In altre parole, il modello complessivo diventerebbe:
c(x,z) = f(x) + g(z) (1)
Facciamo riferimento all'equazione 1 come modello additivo lineare. In questo caso, f(x) sarebbe qualsiasi modello ritenuto appropriato per i componenti della miscela e g(z) sarebbe qualsiasi modello ritenuto appropriato per le variabili di processo. In molte situazioni, tuttavia, i componenti della miscela e le variabili di processo interagiscono. In altre parole, il momento e la temperatura migliori per cuocere una torta possono dipendere dagli ingredienti della torta. Un vino rosso non viene solitamente servito freddo come un vino bianco e così via. In questi casi, molti autori, come Cornell (2002, 2011) e Prescott (2004), suggeriscono di moltiplicare i modelli di variabili di miscela e di processo, anziché sommarli. In altre parole, per adattare l'interazione miscela-processo potremmo usare il modello:
c(x,z) = f(x)*g(z) (2)
Questo modello moltiplicativo non è lineare nei parametri (b i e a i ), quindi la soluzione dei minimi quadrati non può essere ottenuta in forma chiusa o tramite software di regressione lineare standard. Un approccio per affrontare questo problema è quello di moltiplicare i singoli termini in f(x)*g(z). Si consideri il caso in cui vi siano tre variabili di miscela e due variabili di processo. Per semplicità, supponiamo di sapere che questi modelli saranno della forma:
f(x) = b 1 x 1 + b 2 x 2 + b 3 x 3 + b 12 x 1 x 2 + b 13 x 1 x 3 + b 23 x 2 x 3 + b 123 x 1 x 2 x 3 , e
g(z) = a 0 + a 1 z 1 + a 2 z 2 + a 12 z 1 z 2 ,
che sarebbe un modello speciale di miscela cubica e un modello di variabile di processo fattoriale. Pertanto, f(x) ha sette termini da stimare e g(z) ne ha quattro. Se moltiplichiamo ogni termine in f(x) per ogni termine in g(z), ciò produrrebbe 28 termini in un modello di regressione linearizzato. Ci riferiamo a questo modello come linearizzato perché l'equazione 2 è, di fatto, un modello non lineare. Moltiplicando tutti i termini, creiamo un modello lineare in 28 termini. Ovvero, abbiamo:
c ( x,z) = f(x)*g(z) = b1x1*a0 + b1x1 * a1z1+b1x1*a2z2+ b1x1*a12z1z2(3)
+ b 2 x 2 *a 0 + b 2 x 2 *a 1 z 1 + b 2 x 2 *a 2 z 2 + b 2 x 2 *a 12 z 1 z 2
+ .............+ b 123 x 1 x 2 x 3 *a 12 z 1 z 2
Si noti che l'equazione 3 è lineare nei parametri se consideriamo b 1 a 0 come un parametro, b 1 a 1 come un altro e così via. L'equazione 3 può quindi essere stimata con un software di regressione lineare standard, così come l'equazione 1. Naturalmente, quando si ottengono le stime dei minimi quadrati, il parametro stimato per x 1 , elencato come "b 1 a 0 " nell'equazione 3, sarà con probabilità zero uguale al coefficiente stimato per x 1 in f(x) dall'equazione 2 (1) volte l'intercetta stimata in g(z) dall'equazione 2 (0), se questi termini individuali fossero stimati direttamente dai minimi quadrati non lineari. Vale a dire, le stime dei minimi quadrati dall'equazione 3 non possono essere utilizzate per determinare le stime dei minimi quadrati non lineari dall'equazione 2.
Un punto importante su cui torneremo più avanti è il confronto dell'equazione 2 con l'equazione 3. L'equazione 2 è un modello non lineare nei parametri. Se viene stimata come tale, solo 11 parametri devono essere stimati, sette per f(x) e quattro per g(z). In pratica, saranno richiesti solo 10 parametri, poiché l'equazione 2 è in realtà sovraspecificata; non può esserci una soluzione unica ai minimi quadrati per questa equazione. Ciò può essere immediatamente visto se si considera che moltiplicando f(z) per una costante arbitraria diversa da zero, diciamo m, e dividendo g(z) per m, il valore di c(x,z) rimarrebbe invariato, perché m e 1/m si annullerebbero. Poiché esiste un numero infinito di tali costanti m che potrebbero essere moltiplicate per ogni coefficiente in f(x), ciascuna delle quali produce la stessa somma residua dei quadrati, non può esserci una soluzione unica dei minimi quadrati per l'equazione 2. Affrontiamo questa sovra-specificazione impostando 0 = 1,0. Non affermiamo che questo sia il modo migliore o l'unico per affrontare la sovra-specificazione, sebbene aiuti l'interpretazione degli altri coefficienti, come vedremo tra poco.
Il punto chiave, ovviamente, è che se si può stimare l'equazione 2 direttamente come un problema di minimi quadrati non lineare, allora sarebbero necessari solo 10 gradi di libertà per i parametri stimati, non i 28 richiesti per la versione linearizzata. Ciò ha ovvie implicazioni per la progettazione sperimentale quando è prevista un'interazione. Ovviamente, se non è prevista alcuna interazione, allora l'equazione 1, il modello additivo lineare, può essere stimata. Questa equazione è anche sovraspecificata, in quanto il termine a 0 non è necessario e, di fatto, non può essere stimato, poiché l'intercetta è già incorporata nel modello di miscela f(x). Eliminando l'intercetta, abbiamo di nuovo 10 parametri da stimare, come nel modello non lineare.
Tipici progetti sperimentali utilizzati nei problemi di miscela/processo
Progetti e modelli vanno ovviamente di pari passo, in quanto in genere abbiamo in mente modelli specifici quando progettiamo un esperimento, anche se non siamo sicuri della forma esatta. Nella sperimentazione di miscele, ci sono modelli adatti per stimare la risposta lineare di Scheffmodelli e, naturalmente, progetti più ampi adatti alla stima di modelli quadratici o cubici speciali.
I progetti simplex sono comunemente utilizzati nella sperimentazione di miscele. Questi sono in genere rappresentati in dimensioni q-1 quando abbiamo componenti q. Ad esempio, se abbiamo tre componenti, allora a causa del vincolo di miscela, ci sono solo due gradi di libertà, quindi il progetto può essere visualizzato in due dimensioni, come nella Figura 2. Si noti che tutti e tre i componenti sono rappresentati, in quanto ognuno ha un asse. In un problema di miscela non vincolato, ogni componente può essere variato da 0 a 1,0, quindi il simplex completo va da 0 a 1 su ogni asse. Il punto 0 è rappresentato dalla base del simplex, e quindi 1,0 sarebbe nel punto simplex opposto alla base. Si noti che se x 1 = 1,0, allora x 2 = x 3 = 0, quindi questo punto corrisponde alla base degli assi x 2 e x 3. Questi punti sono indicati come "miscele pure" per ovvi motivi. Le miscele pure e altri punti comuni eseguiti con progetti simplex sono identificati nella Figura 2.
Sottolineiamo che il centroide, corrispondente al punto centrale nei progetti fattoriali, corrisponde al punto 1/3, 1/3, 1/3, che si trova al centro del simplesso. Altri punti comuni eseguiti con i progetti simplessi sono le cosiddette miscele 50-50, che hanno proporzioni di 0,5 per due componenti e 0 per il terzo. Queste miscele 50-50 corrispondono ai punti medi lungo ciascuna base del simplesso. Un altro punto comune spesso utilizzato nei progetti simplessi è il "punto di controllo", in genere posizionato a metà tra il centroide e la miscela pura. Per un simplesso a tre componenti, questi sarebbero a 2/3, 1/6, 1/6, per x 1 , 1/6, 2/3, 1/6, per x 2 , e 1/6, 1/6, 2/3 per x 3 . Questi punti di controllo consentono di verificare che il modello si adatti ai dati in più punti rispetto al centroide e ai confini del simplesso. In altre parole, un buon adattamento dei checkpoint suggerirebbe che è relativamente sicuro effettuare l'interpolazione all'interno del simplesso.
Come spiegato in Cornell (2002), nella pratica vengono utilizzati anche progetti simplex-lattice più elaborati che posizionano i punti uniformemente sull'intero simplex. Negli esperimenti oltre i quattro componenti, questi progetti sono difficili da illustrare, ma è possibile formare gli stessi tipi di progetti, come nel caso dei progetti fattoriali. Spesso, naturalmente, ci saranno vincoli sui livelli degli ingredienti della formulazione. Ad esempio, pochi consumatori vorrebbero un condimento per insalata composto al 100% da aceto. In tali casi, si possono creare pseudocomponenti (Cornell 2002), che sono trasformazioni dei componenti originali, o utilizzare progetti assistiti da computer negli spazi di progettazione anomali creati dai vincoli. Tali progetti non sono il fulcro dell'articolo attuale. Supponiamo inoltre che il lettore abbia familiarità con i progetti fattoriali standard utilizzati per le variabili di processo.
Nei progetti di miscele con variabili di processo, in genere si usa un progetto ibrido, in modo che gli effetti e i modelli di miscela possano essere stimati, così come gli effetti e i modelli di processo. Se gli sperimentatori sospettano un'interazione, allora la capacità di stimare tutti i termini nella versione linearizzata dell'equazione 2 è spesso desiderata. Vale a dire, il progetto sperimentale scelto dovrebbe consentire la stima di tutti gli effetti che si ottengono moltiplicando ogni termine nel modello di miscela con ogni termine nel modello di processo. Nell'esempio sopra riportato, si vorrebbe un progetto che consenta la stima di tutti i 28 termini nell'equazione 3.
Tali progetti in genere incrociano un fattoriale o fattoriale frazionario con un progetto di miscela. Ad esempio, l'esperimento del patty di pesce di Cornell (Cornell 2002) ha incrociato un progetto simplex a tre componenti che comprendeva miscele pure, un centroide e miscele 50-50, con un progetto fattoriale 2 3 in tre variabili di processo. Questo progetto è mostrato nella Figura 3. Si noti che in ogni punto del progetto fattoriale 2 3 , è stato eseguito il progetto simplex completo. In alternativa, naturalmente, si potrebbe rappresentare questo come un progetto fattoriale completo in ogni punto del simplex. Poiché il progetto simplex aveva 7 punti e il progetto fattoriale 8 punti, il progetto completo era di 56 punti, eseguiti in ordine casuale per evitare la suddivisione del grafico (Cornell 2002, 2011).
Se non si prevede un'interazione, allora ovviamente i progetti potrebbero essere molto più piccoli. Ad esempio, nell'esempio del tortino di pesce di Cornell, uno speciale modello di miscela cubica avrebbe 7 termini (3 termini di fusione lineare, tre prodotti incrociati a 2 fattori e lo speciale prodotto incrociato cubico a 3 fattori), e un modello fattoriale completo avrebbe 8 termini (1 intercetta, 3 effetti principali, 3 interazioni a 2 fattori e 1 interazione a 3 fattori). Poiché il modello di miscela f(x) incorpora un'intercetta, potremmo eliminare l'intercetta da g(z), lasciando 7 + 8 – 1 = 14 termini da stimare in un modello additivo lineare senza interazione, ovvero c(x,z) = f(x) + g(z). Chiaramente potrebbe essere eseguito un progetto frazionario molto più piccolo, oppure poiché non c'è interazione nel modello, le variabili di miscela e di processo potrebbero essere studiate indipendentemente.
Il ruolo dell'ingegneria statistica nei modelli di miscela con variabili di processo
Hoerl e Snee (2010) hanno definito l'ingegneria statistica come: "Lo studio di come utilizzare al meglio concetti, metodi e strumenti statistici e integrarli con la tecnologia informatica e altre scienze, per generare risultati migliori". Al contrario, la scienza statistica può essere vista come lo studio e l'avanzamento della teoria sottostante e dell'applicazione di singoli metodi statistici. La distinzione fondamentale è che la scienza statistica si concentra sull'avanzamento della conoscenza fondamentale degli strumenti stessi, nonché sulla loro applicazione. L'ingegneria statistica, d'altro canto, si concentra su come prendere metodi e strumenti esistenti, ovvero la scienza statistica esistente, e collegare e integrare creativamente questi strumenti, spesso con strumenti non statistici, al fine di produrre un impatto maggiore. L'utilizzo creativo della scienza esistente per ottenere un impatto maggiore è l'essenza di qualsiasi campo dell'ingegneria.
Ovviamente, sia la scienza statistica che l'ingegneria statistica sono necessarie affinché il campo della statistica cresca e migliori il suo impatto sulla società. Sosteniamo che, sebbene sia necessario un approccio equilibrato, l'attuale attenzione della professione tende a essere orientata verso la scienza statistica (Snee e Hoerl 2011). In particolare, riteniamo che sia necessaria una maggiore enfasi sullo sviluppo di una teoria di base su come affrontare problemi grandi, complessi e non strutturati, problemi troppo grandi per essere risolti da un singolo strumento. Tali problemi richiedono ovviamente l'integrazione creativa di più metodi statistici, nonché l'uso creativo della tecnologia informatica o di altre scienze. Chiaramente, è richiesto un approccio ingegneristico. Vedere l'edizione speciale di Quality Engineering on Statistical Engineering (Anderson-Cook e Lu 2012) per ulteriori informazioni di base sulla disciplina dell'ingegneria statistica.
Abbiamo notato che quando si affrontano problemi di miscela con variabili di processo, la scelta del design e la scelta del modello vanno di pari passo. Vale a dire, i modelli che possiamo stimare sono determinati dal design e il design appropriato dipende dai modelli che desideriamo stimare. Inoltre, se conoscessimo in anticipo il modello specifico, potremmo costruire un design ottimale per stimare quel modello. Tuttavia, in molte situazioni pratiche la nostra conoscenza della materia è limitata e non siamo certi del modello finale. In genere, ciò si traduce in un approccio iterativo al design e all'analisi, come sottolineato da Box et al. (2005), Montgomery (2012) e molti altri.
La domanda chiave in tali situazioni è come affrontare al meglio il problema quando prevediamo l'interazione tra la miscela e le variabili di processo, ma non ne siamo sicuri. Notiamo che questa è una domanda molto diversa dal chiedere quale sia la progettazione ottimale per un dato modello, e anche diversa dal chiedere quale sia il modello ottimale per adattarsi a un dato set di dati. Queste ultime sono più domande di scienza statistica, perché riguardano la teoria e la pratica di singoli strumenti. Inoltre, si può determinare la risposta "corretta" analiticamente, in base a criteri oggettivi. La domanda su come affrontare un problema complesso non è una domanda di scienza statistica, tuttavia, perché abbiamo pochi dati e nessuna metrica oggettiva concordata per il successo. In altre parole, il problema non è strutturato.
Sosteniamo che questa domanda strategica sia più adatta all'ingegneria statistica perché richiediamo un approccio complessivo che incorpori sia la progettazione che l'analisi, forse in modo sequenziale, per ottenere risultati migliori. L'integrazione di più strumenti è fondamentale. In questo caso, "risultati migliori" possono essere basati su criteri statistici o sul risparmio di sforzi sperimentali, inclusi tempo e denaro, o entrambi. In altre parole, possono essere basati sulla ricerca della migliore soluzione aziendale, anziché sulla ricerca della migliore soluzione statistica. Questo è un problema più complesso e meno strutturato rispetto all'ottenimento della migliore progettazione o del miglior modello in condizioni specifiche. Il punto di vista dell'ingegneria statistica guida quindi il nostro studio e la strategia consigliata per i problemi di miscela con variabili di processo.
Tre casi di studio su progettazione e analisi
Cornell (2002) ha presentato i dati di un esperimento su tre specie di polpette di pesce: triglia, testa di pecora e ombrina. Inoltre, ogni polpetta è stata cotta a diverse temperature di cottura, tempi di cottura e tempi di frittura (le polpette sono state sia cotte al forno che fritte). La risposta di interesse è stata la consistenza delle polpette risultanti. Il design utilizzato era un simplex a sette run nelle variabili di miscela, tra cui miscele pure, miscele 50-50 e il centroide. Per le variabili di processo, è stato eseguito un 2 3 a otto run. Cornell ha incrociato il design della miscela con il design del processo, come elencato nella Tabella 1 e illustrato nella Figura 3. Questo design ha 7*8 = 56 run totali. Cornell ha adattato un modello linearizzato, dove:
f(x) = b 1 x 1 + b 2 x 2 + b 3 x 3 + b 12 x 1 x 2 + b 13 x 1 x 3 + b 23 x 2 x 3 + b 123 x 1 x 2 x 3 ,
g(z) = a 0 + a 1 z 1 + a 2 z 2 + a 3 z 3 + a 12 z 1 z 2 + a 13 z 1 z 3 + a 23 z 2 z 3 + a 123 z 1 z 2 z 3 , e
c(x,z) = f(x)*g(z)
TABELLA 1 Dati sulla consistenza del patty di pesce di Cornell
Miscela | Tempo di frittura |
25 | 40 |
Tempo di cottura in forno |
25 | 40 | 25 | 40 |
Temperatura del forno |
325 | 425 | 325 | 425 | 325 | 425 | 325 | 425 |
Triglia | Testa di pecora | Corvina | Struttura |
1 | 0 | 0 | - 1.84
- 2.86
- 3.01
- 4.13
- 1.65
- 2.32
- 3.04
- 4.13
|
0 | 1 | 0 | - 0,67
- 1.10
- 1.21
- 1.67
- 0,58
- 0,97
- 1.16
- 1.30
|
0 | 0 | 1 | - 1.51
- 1.60
- 2.32
- 2.57
- 1.21
- 2.12
- 2.00
- 2,75
- 0,5
- 0,5
|
0 | - 1.29
- 1.53
- 1.93
- 2.26
- 1.18
- 1.45
- 1,85
- 2.06
- 0,5
|
0 | - 0,5
- 1.42
- 1.81
- 2.57
- 3.15
- 1.45
- 1.93
- 2.39
- 2.82
|
0 | - 0,5
- 0,5
- 1.16
- 1,50
- 1.83
- 2.22
- 1.07
- 1.28
- 1.60
- 2.10
|
1/3 | 1/3 | 1/3 | - 1.59
- 1.68
- 1.94
- 2.60
- 1.41
- 1.54
- 2.05
- 2.32
|
Poiché f(x) ha 7 termini e g(z) ha 8 termini, quando i singoli termini vengono moltiplicati per creare un modello linearizzato, c(x,z) ha 7*8 = 56 termini. Ovviamente non c'erano gradi di libertà rimasti per stimare l'errore sperimentale con 56 esecuzioni nel progetto, producendo un errore quadratico medio (RMSE) di 0 e nessuna possibilità di stimare la deviazione standard del termine di errore (e), ovvero l'errore standard. Inoltre, non c'era alcuna possibilità di valutare i residui per la prova dell'inadeguatezza del modello o di eseguire test di mancanza di adattamento. Cornell ha quindi utilizzato la variazione tra misurazioni replicate (non repliche vere) come stima dell'errore standard. Ovviamente, questa variazione all'interno di una serie non consente di stimare le fonti di variazione tra le serie, quindi non può essere considerata una stima dell'errore standard equivalente a quella stimata da repliche vere o persino da gradi di libertà residui.
Per i nostri scopi di confronto dei modelli, abbiamo applicato il metodo PSE (pseudo standard error) di Lenth (Lenth 1989) per ottenere una stima dell'errore standard per il modello di Cornell. Il metodo di Lenth determina prima gli effetti che sembrano reali, quindi elimina le variabili rimanenti, utilizzando i gradi di libertà ottenuti per stimare l'errore standard. Si tratta di un pseudo errore standard in quanto dipende dall'eliminazione dei termini appropriati dal modello.
Prescott (2004) ha testato i volumi di pagnotte di pane utilizzando tre farine, Tjalve, Folke, entrambe norvegesi, e Hard Red Spring, americana. C'erano anche due variabili di processo, il tempo di lievitazione e il tempo di miscelazione. C'erano vincoli sui livelli di tre farine: .25 x11, 0 x2.75 e 0 x3.75, dove Tjalve è x 1 , Folke è x 2 , e Hard Red Spring è x 3 . Quando applicato allo spazio di miscela simplex, questo si traduce in un simplex completo più piccolo in uno spazio ridotto. Convertendo in pseudocomponenti (Cornell 2002), è ancora possibile utilizzare un design simplex standard. Ai fini dei confronti di modelli, e senza perdita di generalità, utilizziamo la versione pseudocomponente del design di miscela di Prescott. Prescott ha utilizzato un design simplex-reticolo a 10 run per le variabili di miscela e un 3 2 , ovvero un fattoriale a tre livelli in due variabili, per il design del processo. Questo design ha 9 run, ovviamente.
Incrociando nuovamente il design della miscela con il design del processo, Prescott ha creato un design di esecuzione 10*9 = 90, che è elencato nella Tabella 2 e illustrato nella Figura 4. Per il modello di miscela f(x), Prescott ha considerato lo stesso modello cubico speciale con 7 termini utilizzato da Cornell e per il modello di processo, g(z), ha considerato un modello quadratico completo con 6 termini:
g(z) = a 0 + a 1 z 1 + a 2 z 2 + a 12 z 1 z 2 +
TABELLA 2 Dati sul volume del pane di Prescott
Pseudocomponent Miscela | Tempo di correzione (minuti) |
35 | - 47.5
| 60 |
Tempo di miscelazione (minuti) |
5 | 15 | 25 | 5 | 15 | 25 | 5 | 15 | 25 |
Tjalve | Persone | Primavera rossa dura | Volume del pane |
.25 | .75 | 0 | - 378,89
- 396,67
- 392,22
- 445,56
- 452,22
- 487,78
- 457.22
- 500,56
- 472,78
|
.50 | .50 | 0 | - 388,89
- 423.33
- 416.11
- 460,00
- 488,89
- 475,78
- 472,78
- 478,00
- 506.11
|
.75 | .25 | 0 | - 426.11
- 483.33
- 389,44
- 474,44
- 514,44
- 462,78
- 506.67
- 591,67
- 522,22
- 1.0
|
0 | 0 | - 386.11
- 459.11
- 423.33
- 458,33
- 506.11
- 514,44
- 545,56
- 522,22
- 551.11
|
.25 | .50 | .25 | - 417.78
- 437.22
- 444,56
- 484,44
- 490,00
- 495,00
- 497,78
- 531.11
- 577,78
|
.50 | .25 | .25 | - 389,44
- 447.22
- 415,00
- 490,89
- 528,89
- 507.78
- 517.78
- 567.22
- 538.33
|
.75 | 0 | .25 | - 448,33
- 459,44
- 455,56
- 436,00
- 535,00
- 552.22
- 507.44
- 578,89
- 590,00
|
.25 | .25 | .50 | - 413,89
- 485,56
- 462.22
- 483,89
- 529,44
- 540,00
- 565,00
- 598,89
- 580,56
|
.50 | 0 | .50 | - 415.56
- 514,44
- 437.78
- 493,89
- 583.33
- 578,89
- 524,44
- 649,44
- 640,00
|
.25 | 0 | .75 | - 432,78
- 498,33
- 517.22
- 474,44
- 568,33
- 579,44
- 541.11
- 638,89
- 638,89
|
Si noti che i termini quadratici sono stimabili perché il design del processo era un design a tre livelli. Prescott ha eseguito diversi modelli interattivi linearizzati, ovvero della forma c(x,z) = f(x)*g(z), che avevano 7*6 = 42 termini totali. Con 90 esecuzioni c'erano sufficienti gradi di libertà per stimare il modello completo a 42 termini e avere ancora gradi di libertà rimasti per stimare l'errore standard. Dopo aver preso in considerazione diversi modelli, il modello finale suggerito da Prescott per questi dati era un modello ridotto della forma:
y = 522,8x 1 + 448,1x 2 + 599,3x 3 + 13,0x 1 z 1 + 1,7x 2 z 1 + 54,3x 3 z 1 + 56,3x 1 z 2 + 37,2x 2 z 2
+ 73,8x 3 con 2 – 39,4x 1+ 3,7x2– 46,0x3– 10,2x 1+ 28,4x 2+ 1,0x3
Si noti che alcuni termini sono stati eliminati dal modello, come i termini che coinvolgono qualsiasi prodotto vettoriale di x i , o l'interazione di z 1 e z 2 . Infatti, solo 15 dei possibili 42 termini sono stati inclusi in questo modello finale. Ritorniamo su questo punto quando confrontiamo i modelli linearizzati con quelli non lineari.
Wang et al. (2013) hanno condotto un progetto sperimentale di miscela/processo come parte di un progetto di classe per un corso di statistica tenuto dal primo autore alla Rutgers University nel 2013. Questo esperimento include tre variabili di miscela, acqua, latte e succo d'arancia, e due variabili di processo, l'aggiunta di zucchero (0 o 2 grammi) e il tipo di latte utilizzato (2% o intero). La risposta è stata il tempo di fusione in minuti del ghiaccio prodotto dalla miscela. Il progetto di miscela era un progetto simplex a 10 run con componenti puri, miscele 50-50, checkpoint e un centroide, in forma di pseudocomponente. Questo è il progetto illustrato nella Figura 2. Per il progetto di processo, Wang ha eseguito un fattoriale 2 2 in quattro run. Il progetto incrociato con 10*4 = 40 run e le risposte risultanti sono riportati nella Tabella 3 e illustrati nella Figura 5.
TABELLA 3 Wang et al. Dati sul tempo di fusione
Miscela | Tipo di latte |
2% | Totale |
Zucchero |
0g | 2g | 0g | 2g |
Acqua | Latte | Succo | Tempo di fusione |
1/6 | 1/6 | 2/3 | - 29.43
- 24.31
- 34,94
- 32,97
|
0 | - 0,5
- 0,5
- 37.36
- 32,89
- 45.69
- 39.06
- 0,5
- 0,5
|
0 | - 33.32
- 28.34
- 41.78
- 35,84
|
1 | 0 | 0 | - 19.13
- 17.73
- 23.7
- 22.16
|
2/3 | 1/6 | 1/6 | - 24.11
- 22.49
- 29.76
- 25.43
|
1/3 | 1/3 | 1/3 | - 32.08
- 26.29
- 36,97
- 30.13
|
0 | 0 | 1 | - 30.41
- 23.25
- 31.92
- 29.45
- 0,5
|
0 | - 0,5
- 21.86
- 22.88
- 27.09
- 26.21
|
1/6 | 2/3 | 1/6 | - 37.35
- 28.43
- 42,92
- 39,95
|
0 | 1 | 0 | - 48.64
- 33,00
- 45.08
- 47.35
|
Wang, et al. (2013) hanno adattato un modello linearizzato utilizzando una cubica speciale a 7 termini per f(x) e un modello di processo fattoriale a 4 termini per g(z), che aveva un'intercetta, due effetti principali e l'interazione a 2 fattori. Quindi, quando si moltiplicano tutti i termini, c(x,z) è il modello linearizzato a 28 termini fornito nell'equazione 3. Con 40 esecuzioni e 28 termini da stimare, erano rimasti 12 gradi di libertà per stimare l'errore standard.
Modelli e risultati lineari e non lineari
Per ciascuno di questi progetti e set di dati, si possono anche considerare modelli molto più piccoli, come il modello additivo lineare, c(x,z) = f(x) + g(z), che ovviamente non ha termini per stimare l'interazione tra variabili di miscela e di processo, e anche il modello non lineare. Per stimare il modello non lineare si trova la soluzione dei minimi quadrati per c(x,z) = f(x)*g(z) direttamente, senza moltiplicare i termini. Come notato in precedenza, questo modello è non lineare nei parametri. Ad esempio, nel caso semplicistico con due variabili di miscela e una variabile di processo:
c(x,z) = ( b1x1+b2x2+b12x1x2 )* (a0 + a1z ) (4 )
Supponendo di voler stimare ciascuno di questi 5 coefficienti, allora possiamo considerare l'equazione 4 come un'equazione non lineare con 5 coefficienti e usare i minimi quadrati non lineari per trovare una soluzione. Come notato in precedenza, in pratica abbiamo solo 4 coefficienti da stimare perché l'equazione 4 è sovradeterminata e non avrà una soluzione univoca dei minimi quadrati. Impostando arbitrariamente uno 0 = 1,0, possiamo generalmente ottenere una soluzione univoca dei minimi quadrati negli altri parametri. Usare un altro valore diverso da zero per uno 0 non cambierebbe le metriche del modello, come R 2 , errore standard e così via. Naturalmente, con i minimi quadrati non lineari, nessuna soluzione univoca è garantita.
Per adattare il modello non lineare utilizziamo l'algoritmo di regressione non lineare in JMP Pro 10, eseguito su un laptop MacBook Pro standard. Come notato in precedenza, eseguire modelli non lineari è più impegnativo di modelli lineari, ma con software moderni è sicuramente fattibile e suggeriamo che sia un'opzione praticabile per questi tipi di problemi. Prima di discutere i risultati ottenuti adattando modelli additivi lineari e non lineari a questi tre set di dati, discutiamo brevemente l'interpretazione dei coefficienti nel modello non lineare. Non discutiamo il modello additivo lineare, poiché l'interpretazione dei termini di miscela è stata ampiamente discussa nella letteratura, come Cuoco (1963), Cornell (2002) e molti altri.
Dopo aver stimato i termini nel modello non lineare nell'equazione 4, siamo liberi di moltiplicare i termini stimati per facilitare l'interpretazione. Si noti che questo produce un modello molto diverso da quello ottenuto moltiplicando i termini prima di stimare i coefficienti, che produrrebbe il modello linearizzato. Inoltre, la decisione di impostare 0 = 1 anziché un altro valore rende l'interpretazione del modello più semplice. Una volta moltiplicati i termini stimati nell'approccio non lineare all'equazione 4, otteniamo:
= ( 1 x 1 + 2 x 2 + 12 x 1 x 2 )*(1 + 1 z)
= ( x 1 + x 2 + 12 x 1 x 2 ) + ( x 1 + x 2 + 12 x 1 x 2 )* 1 z (5)
Senza perdita di generalità, possiamo supporre che z sia scalato per avere una media di 0. Pertanto, quando z è al suo valore medio, l'equazione 5 si semplifica solo nella parte sinistra, che è il modello di miscela pura, f(x). Pertanto, possiamo interpretare i coefficienti di miscela come la miscelazione che stimiamo nel punto medio della variabile di processo o, in alternativa, come la miscelazione media nell'intero design. Questa interpretazione è valida indipendentemente dal fatto che vi sia o meno interazione con z. L'interpretazione di 1 è più complicata. Si noti che l'unico posto in cui z appare nell'equazione 5 è attraverso un insieme di interazioni.
Ciò implica l'incapacità del modello non lineare di stimare l'effetto principale di z in modo univoco dalle interazioni di z con le variabili di miscela. Questo perché l'unico coefficiente disponibile per incorporare l'effetto principale di z e anche le sue interazioni con x i è 1 . Mentre f(x) potrebbe essere riscritto come un modello di variabile slack con un'intercetta, avremmo comunque solo un grado di libertà per incorporare sia l'effetto principale di z sia le sue interazioni con le variabili di miscela. Consideriamo questo come uno svantaggio dell'approccio non lineare e ipotizziamo che il risultato pratico sarà di avere qualche difficoltà ad adattare superfici con sia grandi effetti principali delle variabili di processo sia una forte interazione tra variabili di miscela e di processo.
Possiamo estendere questa interpretazione a modelli non lineari più grandi, come il modello di miscela cubica speciale a 7 termini e il modello di variabile di processo a 8 termini dal suo esperimento di polpetta di pesce. Se dovessimo stimare c(x,z) = f(x)*g(z) direttamente come modello non lineare, stimeremmo 7 + 8 – 1 = 14 coefficienti. Ricordiamo che abbiamo impostato 0 = 1. Dopo aver risolto questi 14 coefficienti utilizzando minimi quadrati non lineari, possiamo quindi moltiplicare i nostri termini per facilitare l'interpretazione. Così facendo si ottiene:
(x)*(1 + 1 z 1 + 2 z 2 + 3 z 3 + 12 z 1 z 2 + 13 z 1 z 3 + 23 z 2 z 3 + 123 z 1 z 2 z 3 ),
che è 1 volte (x), più 1 z 1 volte (x), più 2 z 2 volte (x), e così via. In altre parole, tutti gli altri termini nel modello oltre a (x)*1 coinvolgono i volte uno o più z i , volte (x). Pertanto, nessuno degli effetti principali di z i può essere stimato in modo univoco dall'interazione di tale z i con le variabili della miscela (e le loro interazioni), analogamente alla situazione nell'equazione 5. Analogamente, le interazioni tra z i , come z 1 z 2 , ad esempio, non possono essere stimate in modo univoco dalle interazioni tra questo termine e i termini della miscela.
Da un punto di vista pratico, l'incapacità di stimare i coefficienti individuali, per z 1 e x 1 z 1 , ad esempio, è di maggiore preoccupazione rispetto all'incapacità di stimare i coefficienti individuali per le interazioni come z 1 z 2 z 3 e x 1 x 2 x 3 z 1 z 2 z 3 , nel senso della risoluzione del progetto (Box et al. 2005). Vale a dire, i professionisti raramente si preoccuperebbero dell'importanza pratica di un'interazione a sei fattori.
Adattando sia il modello additivo lineare, c(x,z) = f(x) + g(z), sia il modello non lineare, c(x,z) = f(x)*g(z), ai tre set di dati discussi in precedenza, otteniamo i risultati mostrati nella Tabella 4. Per i set di dati Cornell e Wang, adattiamo modelli completi senza alcun tentativo di selezione di sottoinsiemi. Con i dati Prescott, sia per i modelli additivi lineari che non lineari, incorporiamo solo i termini in f(x) e g(z) che sono stati selezionati da Prescott per essere nel suo modello linearizzato finale. Nello specifico, per f(x) utilizziamo solo x 1 , x 2 , e x 3 . Per g(z) includiamo z 1 , z 2 , , e . In questo senso, i confronti Cornell e Wang sono "mele con mele" senza selezione di sottoinsiemi, e il confronto Prescott è "mele con mele" con la selezione di sottoinsiemi applicata da Prescott.
Il criterio numerico che stiamo utilizzando è l'errore standard stimato, o errore quadratico medio (RMSE). Ovviamente, non esiste una singola metrica che possa determinare la "bontà" di un modello. Per sviluppare modelli appropriati nella pratica, è necessario esaminare diversi criteri numerici, valutare i grafici dei residui, confrontare i risultati con una solida teoria della materia e così via. Il lettore non dovrebbe dedurre che raccomandiamo di concentrarsi esclusivamente sull'RMSE nella creazione del modello. Ai fini del confronto dei modelli, tuttavia, utilizziamo l'errore standard stimato semplicemente come un comodo criterio oggettivo per misurare il grado in cui il modello è in grado di adattarsi ai dati.
Dalla Tabella 4 vediamo che in due casi il modello linearizzato fornisce l'errore standard stimato più piccolo, ed è quasi il più piccolo per i dati Cornell. Ciò non sorprende, in quanto il modello additivo lineare non accoglie alcuna interazione, e il modello non lineare ha le limitazioni notate in precedenza. Concludiamo da queste tre analisi che se sono disponibili sufficienti gradi di libertà, il modello linearizzato è l'approccio preferito, in base a questi tre modelli che applicano questo criterio.
TABELLA 4 RMSE dei modelli linearizzati, additivi lineari e non lineari
Dati Cornell Dati Prescott Dati monetari
Linearizzato 0 .17* 21.0 1.36
Additivo lineare 0 .24 24.3 2.38
Non lineare 0 .16 23.1 2.05
*Calcolato utilizzando il metodo di Lenth perché non ci sono limiti di errore.
Tuttavia, a un esame più attento, notiamo che per due dei set di dati, i dati di Cornell e i dati di Prescott, le differenze tra i modelli non sono così grandi come ci si potrebbe aspettare e, in effetti, l'RMSE del modello non lineare è leggermente più piccolo dell'RMSE del modello linearizzato per i dati di Cornell. Ricordiamo che, poiché non sono rimasti gradi di libertà per stimare l'errore, l'RMSE del modello linearizzato viene calcolato utilizzando il metodo di Lenth. Le prestazioni dell'approccio non lineare sono impressionanti data l'entità delle differenze nel numero di coefficienti stimati in questi modelli: 14 (additivo lineare o non lineare) contro 56 (linearizzato) per il modello di Cornell, 12 contro 42 per il modello completo di Prescott (7 contro 15 se utilizziamo solo i termini del modello ridotto di Prescott) e 10 contro 28 per il modello di Wang. I modelli additivi non lineari e lineari sono molto più parsimoniosi.
Una possibile spiegazione del perché gli approcci additivi lineari e non lineari non funzionano bene per i dati di Wang è che c'è un'interazione altamente significativa tra le variabili di miscela e di processo con questi dati. Ad esempio, i termini nel modello linearizzato per latte*zucchero*tipo di latte (x 2 z 1 z 2 ) e latte*succo*zucchero*tipo di latte (x 2 x 3 z 1 z 2 ), sono entrambi statisticamente significativi al livello .01. Il termine per acqua*latte*zucchero*tipo di latte (x 1 x 2 z 1 z 2 ), è quasi significativo al livello .01 (valore p = .0101). Nella nostra esperienza, è molto insolito trovare interazioni a quattro fattori così altamente significative. Il modello lineare, che non include alcun termine per l'interazione tra variabili di processo e di miscela, ovviamente non sarà in grado di modellare efficacemente tale interazione. Il modello non lineare semplicemente non ha abbastanza termini per fornire una buona approssimazione. Con un'interazione di ordine superiore così significativa, è probabile che sarà necessario un approccio linearizzato.
Date le differenze relativamente basse osservate nella Tabella 4, sembra plausibile che potremmo risparmiare molto tempo e denaro riducendo la quantità di sperimentazione iniziale. Di certo, non sono necessarie 90 esecuzioni per stimare 12 termini nel modello non lineare Prescott utilizzando tutti i termini, né 56 esecuzioni per stimare i 14 termini nel modello non lineare Cornell. Per rispondere a questa domanda, valutiamo come ciascuno di questi modelli si adatterebbe a una frazione dei progetti effettivamente eseguiti.
Risultati con disegni frazionari
Ciascuno dei progetti di cui abbiamo discusso è stato prodotto incrociando il progetto di miscela con il progetto di processo. Pertanto, il numero totale di esecuzioni è stato n 1 *n 2 , dove n 1 era il numero nel progetto di miscela e n 2 il numero nel progetto di processo. Per il progetto di polpette di pesce di Cornell, questo era 7*8 = 56. Dati i risultati mostrati sopra per i modelli non lineari, una domanda logica da porsi è se tutte le 56 esecuzioni fossero effettivamente necessarie o se Cornell avrebbe potuto eseguire un progetto molto più piccolo e ottenere quasi gli stessi risultati? Una delle giustificazioni fornite da Cornell (2002) per l'esecuzione del progetto di 56 esecuzioni è stata la necessità di stimare tutti i coefficienti nel modello linearizzato.
Cornell (2002) ha anche osservato che se gli sperimentatori non fossero stati in grado di eseguire il progetto completo, avrebbero potuto creare un progetto frazionario eseguendo una frazione del progetto di processo in ogni punto dello spazio della miscela. Per garantire che fossero stimabili quanti più termini possibili, Cornell ha suggerito di cambiare la frazione del progetto di processo eseguita in punti diversi del progetto di miscela. Ad esempio, nel caso di tre variabili di processo, potremmo eseguire la mezza frazione z 1 z 2 z 3 = 1 a circa metà dei punti del progetto di miscela e z 1 z 2 z 3 = -1 all'altra metà. Cornell ha inoltre raccomandato di eseguire il progetto di processo completo al centroide dello spazio della miscela, se possibile. Ha osservato che se questo progetto frazionario fosse stato eseguito, lo sperimentatore non sarebbe stato in grado di stimare il modello linearizzato completo, ma sarebbe stato limitato a stimare un sottoinsieme di questi termini.
Nel caso del fish patty, il design della miscela aveva 7 punti e il design del processo 8. Eseguendo tutti gli 8 punti al centroide e poi 4 (una mezza frazione) in tutti gli altri punti si otterrebbe un design frazionario con 32 punti. Questi non sono punti sufficienti per stimare tutti i termini nel modello linearizzato del fish patty, ma sono più che sufficienti per stimare i 14 termini nel modello additivo non lineare o lineare. Nella Figura 6 mostriamo il design frazionario con z 1 z 2 z 3 = 1 eseguito nelle miscele pure e z 1 z 2 z 3 = -1 eseguito nelle miscele 50-50. Per facilitare l'interpretazione grafica e per consentire confronti con la Figura 3, mostriamo di nuovo i punti della miscela eseguiti in ogni punto del design del processo, sebbene il metodo di costruzione fosse come indicato sopra.
Oltre a vedere quanto bene il modello non lineare si adatta al set di dati ridotto, abbiamo anche un campione di hold-out naturale per valutare meglio il modello. Vale a dire, solo 32 esecuzioni vengono utilizzate per stimare il modello non lineare. Pertanto, una volta stimati i termini del modello, possiamo utilizzare questo modello per prevedere le 24 esecuzioni che non sono state utilizzate per stimare questo modello. Un tale campione di hold-out è generalmente considerato un criterio più valido per valutare un modello stimato, poiché il modello non ha visto questi dati e non può esserne influenzato durante il processo di adattamento. La Tabella 5 mostra i risultati del primo adattamento sia dei modelli additivi lineari che non lineari al design frazionario mostrato nella Figura 6, e anche l'errore standard di previsione (RMSE) quando si prevedono i dati hold-out. Si noti che il modello di Cornell aveva troppi termini da stimare con un design frazionario, quindi il modello linearizzato non è un'opzione.
Ovviamente, si potrebbe invertire arbitrariamente il design frazionario eseguito sulle miscele pure rispetto alle miscele 50-50. Pertanto, per completezza, consideriamo il design mostrato nella Figura 6 come design frazionario 1 e definiamo il design frazionario 2 come quello in cui z 1 z 2 z 3 = -1 viene eseguito sulle miscele pure e z 1 z 2 z 3 = 1 viene eseguito sulle miscele 50-50. Di nuovo, tutti gli 8 punti di progettazione del processo vengono eseguiti sul centroide.
TABELLA 5 Risultati di previsione con i disegni frazionari di Cornell
*Calcolato utilizzando il metodo di Lenth perché non ci sono limiti di errore.
Si noti nella Tabella 5 che per entrambi i progetti frazionari i modelli non lineari svolgono un buon lavoro di adattamento dei dati di "addestramento" e di adattamento dei dati di hold-out abbastanza bene. L'RMSE di previsione è 0,22 per entrambi i progetti frazionari, che è superiore all'RMSE originale di 0,16, ma entro limiti ragionevoli, considerando che abbiamo utilizzato solo 32 delle 56 esecuzioni originali, il che rappresenta una riduzione del 43%. Anche il modello additivo lineare funziona in modo coerente con il suo adattamento dell'intero set di dati. Come notato in precedenza, se il nostro unico obiettivo è massimizzare l'adattamento del modello, allora è preferibile un progetto completamente incrociato con il modello linearizzato. Tuttavia, se tempo e costi sono considerazioni importanti, allora dovrebbe essere preso in considerazione un modello non lineare con una precisione di previsione inferiore, ma ottenuto con molto meno sforzo sperimentale.
Il design della miscela di Prescott era un reticolo simplex con due punti di bordo tra ogni miscela pura e un centroide. Questo è stato incrociato con un design di processo 3 2. Tale combinazione presenta una sfida maggiore nel determinare un design frazionario che sarebbe bilanciato in senso euristico. Dopo aver considerato varie opzioni, definiamo il design frazionario 1 come il 3 2 completo al centroide, i punti in cui z 1 z 2 = 0 alle miscele pure e i punti in cui z 1 = z 2 = 0 e anche dove z 1 z 2 = +/-1 ai seguenti tre punti di bordo: (2/3, 1/3, 0), (0, 2/3, 1/3) e (1/3, 0, 2/3). Ciò si traduce in un design frazionario di 39 run (9 + 5*3 + 5*3), illustrato nella Figura 7. Si noti che il design frazionario ha meno della metà dei punti del design originale di 90 run. Il disegno frazionario 2 è stato ottenuto eseguendo nuovamente il processo completo 3 2 al centroide, ma invertendo i punti di processo eseguiti sulle miscele pure rispetto ai tre punti di bordo.
I risultati di previsione per i design frazionari di Prescott sono mostrati nella Tabella 6. Si noti che per il modello linearizzato di Prescott, solo i 15 termini mantenuti da Prescott sono stati utilizzati nel modello finale, quindi possiamo stimare questo modello con il design frazionario. Ciò ci consente di confrontare il modello linearizzato con i modelli additivi lineari e non lineari con i dati frazionari. Naturalmente, se Prescott avesse eseguito un modello completo di miscela cubica speciale in 7 termini con un design di processo fattoriale in 6 termini, non avremmo i 42 gradi di libertà necessari per stimare tutti i termini.
Possiamo vedere dalla Tabella 6 che il modello linearizzato funziona estremamente bene con i design frazionari utilizzando i dati di training. Infatti, l'RMSE per entrambi i design è inferiore all'RMSE ottenuto con il set di dati completo. Ciò può essere parzialmente spiegato dal fatto che Prescott ha determinato i parametri necessari nel modello linearizzato dal set di dati completo. In questo senso, stiamo utilizzando le informazioni dal set di dati completo quando adattiamo un modello linearizzato ai dati frazionari. Tuttavia, non possiamo stimare tutti i termini nel modello linearizzato completo con questi 39 punti dati. Si noti, tuttavia, che il modello linearizzato funziona molto peggio nel prevedere i dati hold-out. Infatti, per entrambi i design frazionari l'RMSE di previsione linearizzata è maggiore di quelli dei modelli lineari e non lineari.
Di nuovo, i modelli additivi lineari e non lineari forniscono una previsione RMSE che è ragionevolmente vicina all'RMSE del training set, per entrambi i design. Come nel caso dei dati di Cornell, vediamo che adattare un modello additivo lineare o non lineare con un design frazionario fornisce un'alternativa praticabile all'esecuzione del design completo da 90 run.
TABELLA 6 Risultati di previsione con i disegni frazionari di Prescott
Il progetto originale di Wang era un simplex da 10 esecuzioni con 50-50 punti di bordo e checkpoint, incrociato con un progetto di processo 2 2 , con il risultato di 10*4 = 40 esecuzioni. Otteniamo il progetto frazionario 1 eseguendo un 2 2 completo al centroide e miscele pure, la mezza frazione z 1 z 2 = 1 ai punti di bordo 50-50 e la mezza frazione z 1 z 2 = -1 ai checkpoint. Ciò si traduce in 4*4 + 2*3 + 2*3 = 28 esecuzioni, come mostrato nella Figura 8. Il progetto frazionario 2 è stato ottenuto invertendo le frazioni eseguite ai punti di bordo 50-50 e ai checkpoint.
Utilizzando questi design frazionari, confrontiamo nuovamente i modelli linearizzati, additivi lineari e non lineari in termini di RMSE di previsione. Poiché il modello linearizzato eseguito da Wang ha 28 parametri, siamo in grado di stimare questo modello completo, sebbene senza gradi di libertà rimanenti per stimare l'errore. Pertanto, a fini di confronto utilizziamo nuovamente l'errore pseudo standard di Lenth al posto di RMSE per il modello linearizzato. I risultati di questi confronti sono mostrati nella Tabella 7.
TABELLA 7 Risultati di previsione con modelli frazionari di Wang
*Calcolato utilizzando il metodo di Lenth perché non ci sono limiti di errore.
Forse la cosa più degna di nota della Tabella 7 sono le scarse previsioni del modello linearizzato. In gran parte, questo è probabilmente dovuto al fatto che non ci sono gradi di libertà per stimare l'errore con i progetti frazionari. A nostro avviso, una lezione fondamentale da questo è il pericolo nell'usare modelli di regressione con pochi o nessun grado di libertà per l'errore per prevedere nuovi dati. La valutazione e la convalida del modello sono compiti difficili; farlo con pochi o nessun grado di libertà per l'errore probabilmente darà luogo a scarse previsioni. I modelli additivi lineari e non lineari hanno prestazioni migliori, più o meno equivalenti tra loro in termini di previsione fuori dal campione. Si noti che né i modelli additivi lineari né quelli non lineari hanno prodotto un RMSE vicino al modello linearizzato con il set di dati completo. Tuttavia, quando prevedono fuori dal campione, entrambi hanno prestazioni migliori del modello linearizzato. Ancora una volta, sosteniamo che questo fornisce alcune prove del fatto che i modelli additivi lineari e non lineari, eseguiti su progetti frazionari, sono valide alternative da considerare nella pratica.
Cosa abbiamo imparato?
Abbiamo confrontato modelli linearizzati, additivi lineari e non lineari utilizzando due set di dati di processo di miscela pubblicati e un nuovo set di dati. Inoltre, abbiamo confrontato questi approcci non solo in termini di adattamento dei set di dati originali, ma anche nell'adattamento di potenziali progetti frazionari che avrebbero potuto essere eseguiti al posto dei progetti incrociati completi (processo di miscela per volta). Ripetiamo che il nostro scopo non è trovare il progetto ottimale o il miglior modello in senso assoluto. Piuttosto, proponiamo un approccio di ingegneria statistica per determinare la migliore strategia per attaccare i problemi di processo di miscela di fronte a una potenziale interazione. Tale strategia prenderebbe in considerazione i vantaggi pratici dei progetti frazionari e degli approcci sequenziali.
In breve, sosteniamo che da questi confronti abbiamo imparato quanto segue:
- Se sono disponibili sufficienti gradi di libertà, è probabile che i modelli linearizzati, ottenuti moltiplicando i termini del modello di miscela per quelli del modello di processo, si adattino meglio ai dati e forniscano le migliori previsioni sui dati fuori campione.
- I modelli additivi lineari, che ignorano l'interazione miscela-processo, e i modelli non lineari offrono valide alternative al modello linearizzato e offrono notevoli vantaggi in termini di numero di termini da stimare.
- Quando gli sperimentatori prendono in considerazione l'opzione di modelli additivi lineari o non lineari, una strategia sequenziale che inizia con progetti frazionari offre il potenziale per ridurre significativamente la quantità totale di sperimentazione necessaria per sviluppare un modello utile.
- Se i modelli additivi lineari e non lineari non si adattano abbastanza bene ai design frazionari originali, gli sperimentatori possono quindi eseguire il design incrociato completo rimanente e adattare il modello linearizzato. In questo senso, gli sperimentatori hanno molto da guadagnare e molto poco da perdere considerando una strategia sequenziale.
- Un ulteriore punto da non trascurare è che i modelli con pochi o nessun grado di libertà per l'errore residuo possono adattarsi bene ai dati campione, ma sono rischiosi da utilizzare per fare previsioni al di fuori dei dati campione.
La strategia che suggeriamo è stata illustrata nella Figura 1. Eseguendo inizialmente il design frazionario, abbiamo il potenziale per ridurre significativamente la quantità di sperimentazione richiesta per adattare un modello adeguato. I diversi design frazionari e il numero di coefficienti nei vari modelli sono riassunti nella Tabella 8 per il confronto.
TABELLA 8 Dimensioni dei modelli completi e frazionari e numero di coefficienti nei modelli
Insieme di dati | - No. Esegue il design completo
| - No. Esegue il design frazionario
| Riduzione | - No. Coefficienti del modello linearizzato
- No. Coefficienti del modello additivo lineare
- No. Coefficienti del modello non lineare
|
Cornell | 56 | 32 | 43% | 56 | 14 | 14 |
Prescott | 90 | 39 | 57% | 42 | 12 | 12 |
Wang e altri | 40 | 28 | 30% | 28 | 11 | 11 |
Suggeriamo di eseguire sia il modello additivo lineare che quello non lineare sui dati frazionari. Se il modello non lineare si adatta in modo apprezzabile meglio, ciò indicherebbe un'interazione degna di nota tra la miscela e le variabili di processo. Naturalmente, non vi è alcuna garanzia che il modello additivo lineare o quello non lineare si adattino bene. In particolare, con alti gradi di interazione tra la miscela e le variabili di processo, saranno probabilmente necessari modelli linearizzati.
Se gli sperimentatori non sono soddisfatti dei modelli generati dal design frazionario, hanno la possibilità di eseguire l'altra frazione, quella non eseguita inizialmente, per completare il design completo. Questa opzione dovrebbe essere parte della strategia adottata all'inizio dello studio. Questo approccio consentirebbe la stima del modello linearizzato completo. Sarebbe necessario un grado di libertà per bloccare efficacemente il design nel tempo, tra la prima e la seconda frazione. Altrimenti, non vi è alcun vero svantaggio in questo approccio, supponendo che sia possibile sperimentare in sequenza. Riconosciamo ancora una volta che la teoria alla base dei modelli non lineari non è sviluppata come quella dei modelli lineari.
La fase di adeguatezza del modello nella Figura 1 non dovrebbe ovviamente limitarsi alla valutazione dell'RMSE. Questa fase decisionale è pensata per includere una valutazione completa dell'adeguatezza del modello, tra cui un attento esame dei residui, la valutazione di potenziali valori anomali, il confronto con le attuali conoscenze di dominio su questo problema e così via. Tale valutazione del modello linearizzato è presunta, quindi non l'abbiamo inclusa come un'altra fase nella Figura 1. Il nostro obiettivo in questa figura è mostrare come valutare i diversi modelli in modo sequenziale, anziché descrivere i dettagli di una solida costruzione di modelli statistici, come discusso in Box et al. (2005), ad esempio.
Il lettore può notare che in questo articolo non esaminiamo il potenziale dei progetti assistiti da computer per selezionare una frazione ottimale per adattarsi al progetto non lineare. Riteniamo che la ricerca sull'applicazione dei progetti al computer per modelli non lineari in problemi di processi di miscelazione potrebbe fornire risultati persino migliori di quelli che presentiamo. Lasciamo questo alla ricerca futura.
È stata sviluppata, testata e illustrata una strategia praticabile
Consideriamo il problema di progettare esperimenti e adattare modelli con variabili sia di miscela che di processo, che sono considerate suscettibili di interagire tra loro. Un approccio comune a tali problemi è quello di eseguire un design di miscela completo incrociato con un design fattoriale completo nelle variabili di processo. Tale design consente la stima di tutti i coefficienti in un modello linearizzato, un modello creato incrociando tutti i termini nel modello di miscela con tutti quelli nel modello di processo. Tuttavia, sia i modelli che i design richiesti per stimarli tendono a essere piuttosto grandi. Ad esempio, nell'esempio di panificazione di Prescott, è stato utilizzato un design da 90 run. Il design del patty di pesce di Cornell ha richiesto 56 run.
Consideriamo il caso in cui gli sperimentatori vorrebbero un buon modello, forse non quello ottimale, e vorrebbero ottenere tale modello con molta meno sperimentazione di 90 o 56 esecuzioni. In queste situazioni, sosteniamo che una strategia di ingegneria statistica che utilizzi sperimentazione sequenziale, inizialmente progetti frazionari molto più piccoli e la considerazione di modelli additivi lineari o non lineari, fornisce un approccio complessivo migliore. Per ripetere, non affermiamo che il modello non lineare sia probabilmente superiore al modello linearizzato in termini di RMSE o RMSE di previsione. Né affermiamo che i progetti frazionari contengano tante informazioni quanto i progetti full-crossed. In questo senso, non stiamo proponendo un progetto specifico di per sé, né stiamo proponendo un modello specifico di per sé.
Piuttosto, proponiamo una strategia per affrontare tali problemi che riteniamo sia complessivamente superiore agli approcci suggeriti nella letteratura attuale. In questo senso, la nostra strategia proposta è un approccio di ingegneria statistica. Sulla base dei risultati mostrati qui, concludiamo che questo approccio è superiore perché offre il potenziale per risparmiare tempo e sforzi sperimentali significativi, senza avere praticamente alcun lato negativo, supponendo che un approccio sequenziale sia fattibile. In particolare, i modelli non lineari sono abbastanza semplici da stimare con software statistici moderni, come R, JMP, Minitab o SAS, quindi il software non deve essere un ostacolo alla considerazione di modelli non lineari. Crediamo inoltre che approcci simili possano essere di uso più generale in altre applicazioni di superficie di risposta, oltre ai modelli di variabili di processo/miscela, ma questo è un argomento per ricerche future.
Riferimenti
Anderson-Cook, CM, e Lu, L. (Guest Editors) (2012). “Numero speciale sull’ingegneria statistica”, Ingegneria della qualità , 24(2).
Box, GEP, Hunter, JS, e Hunter, WG (2005). Statistica per sperimentatori , 2a edizione, John Wiley and Sons, Hoboken, NJ.
Cornell, JA (2002). Esperimenti con miscele: progetti, modelli e analisi di dati di miscele , 3a edizione, John Wiley and Sons, Hoboken, NY.
Cornell, JA (2011). Un primer sugli esperimenti con miscele , John Wiley and Sons, Hoboken, NJ.
Hoerl, RW, e Snee, RD (2010). “Pensiero statistico e metodi nel miglioramento della qualità: uno sguardo al futuro”, Ingegneria della qualità , 22(3): 119-139.
Lenth, RV (1989). “Analisi rapida e semplice di fattoriali non replicati”, Tecnometria , 31(4): 469-473.
Montgomery, DC (2012). Progettazione e analisi degli esperimenti , ottava edizione, John Wiley and Sons, Hoboken, NJ.
Prescott, P. (2004). "Modellazione in esperimenti di miscela, comprese le interazioni con le variabili di processo". Quality Technology & Quantitative Management, 1(1): 87-103.
Cuoco, H. (1963). “Il disegno simplex-centroide per esperimenti con miscele”, Rivista della Royal Statistical Society B , 25(2): 235–263.
Snee, RD e Hoerl, RW (2011). “ Combinazione corretta; il giusto mix tra ingegneria statistica e statistica applicata”, Progresso della qualità , giugno: 46-49.
Wang, L., Xu,J.,Wu, S., e Zhang, K. (2013). Studio del tasso di fusione dei cubetti di ghiaccio fatti in casa, rapporto di progetto non pubblicato.
