<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Roger W. Hoerl, PhD, professore assistente di statistica a Brate-Peschel, Union College
Ronald D. Snee, PhD, Presidente, Snee Associates
Esperimenti efficienti di miscele/processi utilizzando modelli non lineari
9/2015
Ronald D. Snee, Snee Associates, Newark, DE
Roger W. Hoerl, Union College, Schenectady, New York
Gabriella Bucci, Accademia Out of Door, Sarasota, Florida
Diritto d'autore: Ronald D. Neve, Roger W. Hoerl e Gabriella Bucci 2015
Nota: questo articolo è attualmente in fase di revisione editoriale con il titolo: "Un approccio di ingegneria statistica agli esperimenti di miscela con variabili di processo"
Astratto: Viene discussa la sperimentazione sia dei componenti della miscela che delle variabili di processo, soprattutto quando è probabile che vi sia interazione tra questi due insiemi di variabili. Consideriamo sia le questioni di progettazione che quelle di analisi nel contesto dell'affrontare un problema reale di miscela/processo. Ci concentriamo su una strategia per affrontare tali problemi, invece di trovare la migliore progettazione possibile o il miglior modello possibile per un dato insieme di dati. In questo senso viene utilizzato un quadro di ingegneria statistica.In particolare, quando consideriamo il potenziale di adattare modelli non lineari parsimoniosi rispetto a modelli linearizzati più grandi, troviamo significative opportunità per ridurre le dimensioni dei progetti sperimentali. In pratica è difficile sapere quale tipo di modello si adatterà meglio ai dati risultanti. Pertanto, si raccomanda una strategia di progettazione e analisi integrata e sequenziale. Utilizzando due set di dati pubblicati e un nuovo set di dati, scopriamo che in alcuni casi i modelli non lineari, o i modelli lineari che ignorano l'interazione, consentono una riduzione della sperimentazione dell'ordine del 50%. In altri casi, i modelli non lineari potrebbero non essere sufficienti. Forniamo quindi linee guida su quando tale approccio avrà probabilmente successo e proponiamo una strategia globale per tali problemi.
Parole chiave: miscele, modelli di mistura, sperimentazione di misture, modelli non lineari
introduzione
I problemi di miscelazione, in cui la somma degli ingredienti deve corrispondere a 1,0, si verificano in molti settori e aree di applicazione, come lo sviluppo di alimenti, prodotti farmaceutici e prodotti chimici, solo per citarne alcuni. In molte applicazioni di miscele, non è solo la formulazione a influenzare la risposta finale, ma anche le variabili del processo. Ad esempio, nella produzione di un vino miscelato, il gusto finale e altre caratteristiche importanti dipendono non solo dalle proporzioni dei vitigni utilizzati, ma anche da variabili di processo, come le condizioni climatiche della stagione di crescita, il momento della raccolta delle uve, le temperature a varie fasi del processo di fermentazione, tipo di botti di invecchiamento utilizzate e così via.
In alcuni casi i componenti della miscela e le variabili di processo non interagiscono. Nell'esempio del vino, ciò significherebbe che la fermentazione e altri trattamenti potrebbero essere ottimizzati senza considerare quali vitigni siano stati utilizzati. Questo scenario porterebbe a utilizzare modelli additivi che combinano un modello di miscela più un modello di variabile di processo. In altri casi, questo scenario additivo non si applica, perché le migliori condizioni di lavorazione potrebbero dipendere dalle varietà utilizzate. In tal caso si avrebbe interazione tra la miscela e le variabili del processo. Lo scenario di interazione porterebbe a modelli che incorporano termini per tenere conto dell’interazione tra miscela e variabili di processo.
I disegni sperimentali tipicamente utilizzati quando si prevede tale interazione tendono ad essere ampi, al fine di accogliere il numero di termini nei modelli lineari che incorporano l'interazione (Cornell 2002, 2011). Naturalmente, se si sa dalla conoscenza dell'argomento o dalla sperimentazione precedente quale sarà la forma del modello finale, si può progettare un esperimento ottimale o quasi ottimale per stimare quel modello specifico. Consideriamo la situazione più comune in cui gli sperimentatori sospettano l'interazione, ma non sono sicuri di specificare la forma del modello finale prima di eseguire il progetto e ottenere i dati successivi. La nostra attenzione non è quindi né sulla progettazione ottimale per un dato modello, né sul modello ottimale per un dato insieme di dati. Piuttosto, ci concentriamo su una strategia per affrontare tali problemi, considerando progetti alternativi, modelli alternativi e tenendo conto della necessità di efficienza nell’affrontare i problemi nella pratica.
In questo senso, adottiamo un approccio di ingegneria statistica (Hoerl e Snee 2010, Anderson-Cook e Lu 2012) per identificare gli approcci più efficaci ed efficienti per affrontare le applicazioni di miscele/processi che si verificano nel mondo degli affari, dell'industria, della ricerca o del governo.In particolare, troviamo che una seria considerazione dei modelli non lineari nei parametri può fornire un'alternativa efficiente ai tradizionali modelli lineari nei parametri. Sebbene l'adattamento di modelli non lineari sia più impegnativo dell'adattamento di modelli lineari, i software moderni, come R, JMP, Minitab o SAS, consentono agli utenti di stimare e interpretare i modelli non lineari abbastanza facilmente, almeno rispetto ai software commerciali di 10 a 20 anni fa.
I modelli non lineari hanno meno parametri da stimare per lo stesso problema di miscela/processo. Ad esempio, nell'applicazione Cornell per il fish patty (Cornell 2002) c'erano 56 termini da stimare nel modello lineare contro 14 termini nel modello non lineare. Pertanto, qualora i modelli non lineari fornissero un’alternativa praticabile, potrebbero essere adottate strategie di progettazione frazionaria molto più aggressive per ridurre significativamente la sperimentazione iniziale. Riconosciamo che la teoria alla base dei modelli non lineari, per cose come gli errori standard dei coefficienti, è meno sviluppata rispetto ai modelli lineari e spesso si basa su risultati asintotici o approssimati (Montgomery 2012).
In altre parole, poiché i modelli non lineari richiedono meno parametri per gestire l’interazione tra le variabili del processo e della miscela, inizialmente è possibile eseguire progetti frazionari molto più piccoli. Ovviamente, non sono necessarie 56 esecuzioni per stimare 14 termini, presupponendo che il costo della sperimentazione non sia trascurabile. Se il modello non lineare, o anche un modello lineare additivo senza interazione, si rivela sufficiente, allora il problema può essere risolto con il progetto iniziale.
Abbiamo molto da guadagnare e poco, se non nulla, da perdere considerando i modelli non lineari. Se questi modelli più piccoli non forniscono una precisione sufficiente, è possibile eseguire ulteriori sperimentazioni in modo sequenziale. In questo modo, lo scenario migliore è che riduciamo l'effetto sperimentale richiesto per risolvere il problema fino al 50%, mentre lo scenario peggiore è che alla fine dovremo eseguire tutta la sperimentazione di un tipico modello lineare con interazione richiederebbe. Questa strategia complessiva è illustrata nella Figura 1. A nostro avviso, enfatizzare il miglior approccio complessivo per affrontare il problema, piuttosto che concentrarsi sulla migliore progettazione individuale per un dato modello, o sul miglior modello individuale per un dato set di dati, è al centro dell’ingegneria statistica.
Il resto dell'articolo è organizzato come segue; esaminiamo innanzitutto i modelli e i progetti tipici utilizzati negli esperimenti di miscela con variabili di processo, comprese quelle con interazione. Successivamente, esamineremo i fondamenti dell'ingegneria statistica e discutiamo come si applicano a questo problema specifico. Introduciamo quindi tre set di dati, due pubblicati in precedenza e un nuovo set di dati. Utilizzando questi set di dati, confrontiamo modelli lineari additivi, lineari interattivi e non lineari, in termini di adattamento dei dati. Inoltre, notiamo potenziali interpretazioni dei coefficienti del modello non lineare. Successivamente, consideriamo i risultati ipotetici che avremmo potuto ottenere con progetti frazionari per ciascuno di questi problemi. Cioè, analizziamo un sottoinsieme dei dati effettivi secondo un disegno frazionario, adattiamo i diversi modelli e utilizziamo i modelli per prevedere i dati non utilizzati dal modello. Infine, consideriamo le implicazioni di questa analisi e suggeriamo una strategia per affrontare i problemi di miscela/processo in cui si sospetta un'interazione.
Modelli tipici utilizzati in problemi di miscela/processo
Esistono molti progetti e modelli potenziali applicati a problemi di miscelazione con variabili di processo. Qui evidenziamo i modelli e i design più comuni utilizzati nelle applicazioni, in particolare Scheff modelli (Cap 1963, Cornell 2002), senza tentare di fornire una rassegna esaustiva. Consideriamo dapprima i modelli misti stessi, poi i modelli misti con variabili di processo senza interazione, quindi con interazione. Una volta terminati i modelli, discutiamo i progetti generalmente eseguiti per consentire l'adattamento di questi modelli.
A causa del vincolo che la somma dei componenti della formulazione sia pari a 1,0, con conseguente perdita di un grado di libertà, è prassi comune eliminare semplicemente il termine costante da un modello di regressione lineare standard. Ad esempio, con q componenti della miscela lo Scheff lineare modello verrebbe scritto:
Poiché la somma dei componenti è 1,0, non è il valore assoluto dei coefficienti ad essere più significativo, ma piuttosto le relazioni tra i coefficienti. Ad esempio, se b 1 =10, b 2 =20 e b 3 =30, con tre componenti, allora diremmo che x 1 ha un impatto negativo sulla risposta, perché per aumentare x 1 dovremmo diminuire x 2 o x 3 di un importo uguale, quindi l'impatto netto dell'aumento di x 1 significherebbe diminuire E(y). Ulteriori informazioni sull'interpretazione dei coefficienti di miscela possono essere trovate in Cornell (2002).
Si noti che per tutti i modelli presentati in questo articolo si assume un termine di errore casuale additivo, normale indipendente e identicamente distribuito con media 0 e deviazione standard . Sebbene i termini di errore siano ovviamente importanti in qualsiasi modello statistico, questo non è un punto chiave del presente articolo, quindi diremo poco su questo termine di errore in futuro.
Esistono altri modelli di miscela che potrebbero essere presi in considerazione, come i modelli "variabile slack", in cui tralasciamo uno degli ingredienti della miscela per evitare il vincolo della miscela e aggiungiamo nuovamente il termine costante nel modello. Quando è presente la curvatura, è comune adattare una quadratica Schiff modello, che incorpora termini lineari più tutti i possibili termini di prodotto incrociato tra i componenti:
Poiché ciascun componente può essere visto come uno meno la somma di tutti gli altri componenti, in genere non consideriamo i termini del prodotto incrociato come un modello di interazione nel senso tradizionale del termine, ma piuttosto come un modello di fusione non lineare in generale. Quando è presente un ulteriore blending non lineare e sono disponibili sufficienti gradi di libertà, possiamo adattare il cubico speciale Schiff Modelli:
Questo è considerato un cubico "speciale" nel senso che non include tutti i termini del terzo ordine, ma è piuttosto il modello quadratico più tutti i possibili prodotti incrociati tra tre termini. Ad esempio, il cubico speciale non include il termine X 2 . Una cubica piena Schiff il modello sarebbe:
dove il d ij sono coefficienti cubici dell'eccesso binario o "sinergismo" (Cornell 2011 p. 31). Quando nel nostro modello sono presenti variabili di processo, utilizzeremo x io per una variabile mista, ad es io per una variabile di processo, b io per un coefficiente di miscela, e a io per un coefficiente della variabile di processo. Non consideriamo il d ij termini. Inoltre, il termine generico f(x) verrà utilizzato per un modello con solo ingredienti della miscela, mentre g(z) sarà utilizzato per modelli con solo variabili di processo. I modelli combinati che incorporano entrambi verranno scritti c(x,z).
Ancora una volta, ci sono molti modelli potenziali che possono essere applicati alle variabili di processo e alle combinazioni di ingredienti della miscela e variabili di processo. Qui ci concentriamo sui progetti standard più comunemente applicati nelle applicazioni. Un modello con variabili di processo lineare sarebbe:
,
dove abbiamo r variabili indipendenti. Un modello con variabili di processo di secondo ordine (quadratico completo) sarebbe:
Si noti che la doppia sommatoria include i=j, quindi il modello quadratico completo include termini quadratici (quadratici) nel modello. Ovviamente, l'adattamento di un modello del genere richiede più di due livelli di progettazione. Con i progetti a due livelli, è possibile utilizzare un modello fattoriale - termini lineari e interazioni del secondo ordine, ma non termini quadratici (al quadrato):
Con i disegni fattoriali completi, ovviamente, potremmo stimare anche le interazioni di ordine superiore.
In situazioni con variabili sia di miscela che di processo, una considerazione chiave è il grado in cui è prevista l'interazione tra la miscela e le variabili di processo. Se abbiamo una teoria o un’esperienza che suggerisce che le variabili della miscela e del processo non interagiscono tra loro, allora possiamo adattare i modelli della miscela e del processo separatamente. In altre parole, il modello complessivo diventerebbe:
c(x,z) = f(x) + g(z) (1)
Ci riferiamo all'Equazione 1 come al modello additivo lineare. In questo caso, f(x) sarebbe qualunque modello ritenuto appropriato per i componenti della miscela, e g(z) sarebbe qualunque modello ritenuto appropriato per le variabili di processo.In molte situazioni, tuttavia, i componenti della miscela e le variabili del processo interagiscono. In altre parole, il tempo e la temperatura migliori per cuocere una torta possono dipendere dagli ingredienti della torta. Un vino rosso non viene generalmente servito freddo come un vino bianco e così via. In questi casi, molti autori, come Cornell (2002, 2011) e Prescott (2004), suggeriscono di moltiplicare i modelli di miscela e variabile di processo, invece di aggiungerli. In altre parole, per accogliere l’interazione miscela-processo possiamo utilizzare il modello:
c(x,z) = f(x)*g(z) (2)
Questo modello moltiplicativo non è lineare nei parametri (b io e un io ), quindi la soluzione dei minimi quadrati non può essere ottenuta in forma chiusa o mediante software di regressione lineare standard. Un approccio per affrontare questo problema è moltiplicare i singoli termini in f(x)*g(z). Consideriamo il caso in cui sono presenti tre variabili di miscela e due variabili di processo. Per semplicità, supponiamo di sapere che questi modelli saranno nella forma:
f(x) = b 1 X 1 + b 2 X 2 + b 3 X 3 + b 12 X 1 X 2 + b 13 X 1 X 3 + b 23 X 2 X 3 + b 123 X 1 X 2 X 3 , E
g(z) = a 0 +a 1 per esempio 1 +a 2 per esempio 2 +a 12 per esempio 1 per esempio 2 ,
che sarebbe uno speciale modello di miscela cubica e un modello di variabili di processo fattoriali. Pertanto, f(x) ha sette termini da stimare e g(z) ne ha quattro. Se moltiplichiamo ciascun termine in f(x) per ciascun termine in g(z), ciò produrrebbe 28 termini in un modello di regressione linearizzato. Ci riferiamo a questo modello come linearizzato perché l'equazione 2 è, in effetti, un modello non lineare. Moltiplicando tutti i termini, creiamo un modello lineare in 28 termini. Cioè, abbiamo:
c(x,z) = f(x)*g(z) = b 1 X 1 *UN 0 + b 1 X 1 *UN 1 per esempio 1 + b 1 X 1 *UN 2 per esempio 2 + b 1 X 1 *UN 12 per esempio 1 per esempio 2 (3)
+ b 2 X 2 *UN 0 + b 2 X 2 *UN 1 per esempio 1 + b 2 X 2 *UN 2 per esempio 2 + b 2 X 2 *UN 12 per esempio 1 per esempio 2
+ .............+ b 123 X 1 X 2 X 3 *UN 12 per esempio 1 per esempio 2
Notiamo che l'equazione 3 è lineare nei parametri se consideriamo b 1 UN 0 essere un parametro, b 1 UN 1 essere un altro e così via. L'equazione 3 può quindi essere stimata con un software di regressione lineare standard, così come l'equazione 1. Naturalmente, quando si ottengono le stime dei minimi quadrati, il parametro stimato per x 1 , elencato come "b 1 UN 0 " nell'equazione 3, sarà con probabilità zero uguale al coefficiente stimato per x 1 in f(x) dall'equazione 2 ( 1 ) volte l'intercetta stimata in g(z) dall'equazione 2 ( 0 ), se questi singoli termini fossero stimati direttamente dai minimi quadrati non lineari. Cioè, le stime dei minimi quadrati dell'Equazione 3 non possono essere utilizzate per determinare le stime dei minimi quadrati non lineari dell'Equazione 2.
Un punto importante su cui torneremo più avanti è il confronto dell'Equazione 2 con l'Equazione 3. L'equazione 2 è un modello non lineare nei parametri. Se viene stimato come tale, occorre stimare solo 11 parametri, sette per f(x) e quattro per g(z).In pratica, saranno richiesti solo 10 parametri, poiché l'Equazione 2 è effettivamente sovraspecificata; non può esserci una soluzione unica ai minimi quadrati per questa equazione. Ciò può essere immediatamente visto se si considera che moltiplicando f(z) per una costante arbitraria diversa da zero, diciamo m, e dividendo g(z) per m, il valore di c(x,z) rimarrebbe invariato, perché la m e 1/m verrebbero annullati. Poiché esiste un numero infinito di tali costanti m che potrebbero essere moltiplicate per ciascun coefficiente in f(x), producendo ciascuna la stessa somma residua di quadrati, non può esistere un'unica soluzione ai minimi quadrati per l'equazione 2. Affrontiamo questa specifica eccessiva impostando a 0 = 1,0. Non affermiamo che questo sia il modo migliore o l'unico per affrontare l'eccessiva specificazione, sebbene aiuti l'interpretazione degli altri coefficienti, come vedremo tra breve.
Il punto chiave, ovviamente, è che se si potesse stimare l’Equazione 2 direttamente come un problema dei minimi quadrati non lineare, allora sarebbero necessari solo 10 gradi di libertà per i parametri stimati, non i 28 richiesti per la versione linearizzata. Ciò ha ovvie implicazioni per la progettazione sperimentale quando è prevista l'interazione. Naturalmente, se non si prevede alcuna interazione, è possibile stimare l'Equazione 1, il modello additivo lineare. Anche questa equazione è eccessivamente specificata, in quanto a 0 il termine non è necessario, e di fatto non può essere stimato, poiché l'intercetta è già incorporata nel modello di mistura f(x). Eliminando l'intercetta, abbiamo ancora 10 parametri da stimare, come nel modello non lineare.
Disegni sperimentali tipici utilizzati in problemi di miscele/processi
Disegni e modelli ovviamente vanno di pari passo, nel senso che in genere abbiamo in mente modelli specifici quando progettiamo un esperimento, anche se non siamo sicuri della forma esatta. Nella sperimentazione delle misture esistono modelli adatti per la stima di Scheff lineare modelli e, naturalmente, progetti più ampi adatti alla stima di modelli quadratici o cubici speciali.
I progetti simplex sono comunemente usati nella sperimentazione delle miscele. Questi sono tipicamente rappresentati in dimensioni q-1 quando abbiamo q componenti. Ad esempio, se abbiamo tre componenti, a causa del vincolo di miscelazione ci sono solo due gradi di libertà, quindi il progetto può essere visualizzato in due dimensioni, come nella Figura 2. Si noti che tutti e tre i componenti sono rappresentati, in quanto ciascuno ha un asse. In un problema di mistura non vincolata, ogni componente può essere variato da 0 a 1,0, quindi l'intero simplesso va da 0 a 1 su ciascun asse. Il punto 0 è rappresentato dalla base del simplesso, quindi 1.0 sarebbe nel punto del simplesso opposto alla base. Si noti che se x 1 = 1.0, quindi x 2 =x 3 = 0, quindi questo punto corrisponde alla base della x 2 e x 3 assi. Questi punti vengono definiti "miscele pure" per ovvi motivi. Le miscele pure e altri punti comuni eseguiti con disegni simplex sono identificati nella Figura 2.
Facciamo notare che il baricentro, corrispondente al punto centrale nei disegni fattoriali, corrisponde al punto 1/3, 1/3, 1/3, che si trova a metà del simplesso. Altri punti comuni eseguiti con i disegni simplex sono le cosiddette miscele 50-50, che hanno proporzioni di 0,5 per due componenti e 0 per il terzo. Queste miscele 50-50 corrispondono ai punti medi lungo ciascuna base del simplesso. Un altro punto comune spesso utilizzato nei progetti simplex è il "punto di controllo", tipicamente posizionato a metà strada tra il baricentro e la fusione pura. Per un simplex a tre componenti, questi sarebbero a 2/3, 1/6, 1/6, per x 1 , 1/6, 2/3, 1/6, per x 2 e 1/6, 1/6, 2/3 per x 3 . Questi punti di controllo consentono di verificare che il modello si adatti ai dati oltre al baricentro e ai confini del simplesso. In altre parole, adattare bene i checkpoint suggerirebbe che è relativamente sicuro interpolare all'interno del simplex.
Come spiegato in Cornell (2002), nella pratica vengono utilizzati anche progetti di reticolo del simplesso più elaborati che posizionano i punti in modo uniforme sull'intero simplesso. Negli esperimenti che vanno oltre le quattro componenti, questi disegni sono difficili da illustrare, ma è possibile realizzare gli stessi tipi di disegni, come nel caso dei disegni fattoriali. Spesso, ovviamente, ci saranno dei vincoli sui livelli degli ingredienti della formulazione. Ad esempio, pochi consumatori vorrebbero un condimento per l'insalata composto al 100% da aceto. In tali casi, si possono creare pseudocomponenti (Cornell 2002), che sono trasformazioni dei componenti originali, o utilizzare progetti assistiti dal computer negli spazi di progettazione anomali creati dai vincoli. Tali progetti non sono al centro del presente articolo. Supponiamo inoltre che il lettore abbia familiarità con i disegni fattoriali standard utilizzati per le variabili di processo.
Nella progettazione di miscele con variabili di processo, viene generalmente utilizzata una progettazione ibrida, in modo da poter stimare gli effetti e i modelli della miscela, nonché gli effetti e i modelli del processo. Se gli sperimentatori sospettano un'interazione, spesso è auspicabile la capacità di stimare tutti i termini nella versione linearizzata dell'equazione 2. Cioè, il disegno sperimentale scelto dovrebbe consentire la stima di tutti gli effetti che si ottengono moltiplicando ciascun termine nel modello di miscela per ciascun termine nel modello di processo. Nell'esempio sopra riportato, si vorrebbe un progetto che consenta la stima di tutti i 28 termini dell'equazione 3.
Tali disegni tipicamente incrociano un fattoriale, o fattoriale frazionario, con un disegno misto. Ad esempio, l'esperimento del fish patty di Cornell (Cornell 2002) ha incrociato un disegno simplex a tre componenti che coinvolgeva miscele pure, un baricentro e miscele 50-50, con un 2 3 disegno fattoriale in tre variabili di processo. Questo disegno è mostrato nella Figura 3. Da notare che in ogni punto del 2 3 disegno fattoriale, è stato eseguito il disegno simplex completo. In alternativa, ovviamente, si potrebbe rappresentare questo come un disegno fattoriale completo in ogni punto del simplesso. Poiché il disegno simplex aveva 7 punti e il disegno fattoriale 8 punti, il disegno completo era di 56 punti, eseguiti in ordine casuale per evitare lo split plotting (Cornell 2002, 2011).
Se l'interazione non è prevista, ovviamente i progetti potrebbero essere molto più piccoli. Ad esempio, nell'esempio del tortino di pesce alla Cornell, uno speciale modello di miscela cubica avrebbe 7 termini (3 termini di fusione lineare, tre prodotti incrociati a 2 fattori e lo speciale prodotto incrociato cubico a 3 fattori) e un modello fattoriale completo avrebbe 8 termini (1 intercetta, 3 effetti principali, 3 interazioni a 2 fattori e 1 interazione a 3 fattori). Poiché il modello misto f(x) incorpora un'intercetta, potremmo eliminare l'intercetta da g(z), lasciando 7 + 8 – 1 = 14 termini da stimare in un modello additivo lineare senza interazione, ovvero c(x,z ) = f(x) + g(z). Chiaramente si potrebbe eseguire un progetto frazionario molto più piccolo oppure, poiché non vi è alcuna interazione nel modello, le variabili della miscela e del processo potrebbero essere studiate in modo indipendente.
Il ruolo dell'ingegneria statistica nei modelli di miscela con variabili di processo
Hoerl e Snee (2010) hanno definito l'ingegneria statistica come: "Lo studio di come utilizzare al meglio concetti, metodi e strumenti statistici e integrarli con la tecnologia dell'informazione e altre scienze, per generare risultati migliori". Al contrario, la scienza statistica può essere vista come lo studio e il progresso della teoria sottostante e l’applicazione di metodi statistici individuali. La distinzione fondamentale è che la scienza statistica si concentra sull’avanzamento della conoscenza fondamentale degli strumenti stessi, nonché sulla loro applicazione. L’ingegneria statistica, d’altro canto, si concentra su come prendere metodi e strumenti esistenti, cioè la scienza statistica esistente, e collegare e integrare in modo creativo questi strumenti, spesso con strumenti non statistici, al fine di produrre un maggiore impatto. L'utilizzo creativo della scienza esistente per ottenere un impatto maggiore è l'essenza di qualsiasi campo dell'ingegneria.
Ovviamente, sia la scienza statistica che l’ingegneria statistica sono necessarie affinché il campo della statistica cresca e migliori il suo impatto sulla società. Sosteniamo che, sebbene sia necessario un approccio equilibrato, l’attuale focus della professione tende ad essere sbilanciato verso la scienza statistica (Snee e Hoerl 2011). In particolare, riteniamo che sia necessaria una maggiore enfasi sullo sviluppo di una teoria di base su come affrontare problemi grandi, complessi e non strutturati – problemi troppo grandi per essere risolti da qualsiasi strumento. Tali problemi richiedono ovviamente l’integrazione creativa di molteplici metodi statistici, nonché l’uso creativo della tecnologia dell’informazione o di altre scienze. Chiaramente è necessario un approccio ingegneristico. Vedere l'edizione speciale di Quality Engineering on Statistical Engineering (Anderson-Cook e Lu 2012) per ulteriori informazioni sulla disciplina dell'ingegneria statistica.
Abbiamo notato che quando si affrontano problemi di miscelazione con variabili di processo, la scelta del progetto e la scelta del modello vanno di pari passo. Cioè, i modelli che possiamo stimare sono determinati dal progetto, e il progetto appropriato dipende dai modelli che desideriamo stimare. Inoltre, se conoscessimo in anticipo il modello specifico, potremmo costruire un progetto ottimale per stimare quel modello. Tuttavia, in molte situazioni pratiche la nostra conoscenza dell’argomento è limitata e non siamo certi del modello finale. Tipicamente, ciò si traduce in un approccio iterativo alla progettazione e all'analisi, come sottolineato da Box et al. (2005), Montgomery (2012) e molti altri.
La domanda chiave in tali situazioni è come affrontare al meglio il problema quando anticipiamo l'interazione tra la miscela e le variabili del processo, ma non ne siamo sicuri. Notiamo che questa è una domanda molto diversa dal chiedere quale sia la progettazione ottimale per un dato modello, e anche diversa dal chiedere quale sia il modello ottimale per adattarsi a un dato insieme di dati. Queste ultime sono domande più di scienza statistica, perché riguardano la teoria e la pratica dei singoli strumenti. Inoltre, è possibile determinare analiticamente la risposta "corretta" sulla base di criteri oggettivi. La questione su come affrontare un problema complesso, tuttavia, non è una questione di scienza statistica, perché abbiamo pochi dati e nessuna metrica oggettiva concordata per il successo. In altre parole, il problema non è strutturato.
Sosteniamo che questa domanda strategica sia più adatta per l'ingegneria statistica perché richiediamo un approccio globale che incorpori sia la progettazione che l'analisi, magari in modo sequenziale, per ottenere risultati migliori. L’integrazione di più strumenti è fondamentale. In questo caso, i "risultati migliori" possono essere basati su criteri statistici o sul risparmio di sforzi sperimentali, inclusi tempo e denaro, o entrambi. In altre parole, potrebbe basarsi sulla ricerca della migliore soluzione aziendale, anziché sulla ricerca della migliore soluzione statistica. Si tratta di un problema più complesso e meno strutturato rispetto all'ottenimento del miglior progetto o del miglior modello in condizioni specifiche. Il punto di vista dell'ingegneria statistica guida quindi il nostro studio e la strategia consigliata per problemi di miscelazione con variabili di processo.
Tre casi di studio in progettazione e analisi
Cornell (2002) ha presentato i dati di un esperimento su tre specie di polpette di pesce: triglia, testa di pecora e ombrina. Inoltre, ogni tortino veniva cotto a temperature, tempi di cottura e tempi di frittura diversi (i tortini venivano sia cotti che fritti). La risposta di interesse è stata la consistenza delle polpette risultanti. Il disegno utilizzato era un simplex a sette esecuzioni nelle variabili della miscela, comprese miscele pure, miscele 50-50 e il baricentro. Per le variabili di processo, un otto-run 2 3 che corsa Cornell ha incrociato la progettazione della miscela con la progettazione del processo, come elencato nella Tabella 1 e illustrato nella Figura 3. Questo disegno ha 7*8 = 56 corse in totale. Cornell adatta un modello linearizzato, dove:
f(x) = b 1 X 1 + b 2 X 2 + b 3 X 3 + b 12 X 1 X 2 + b 13 X 1 X 3 + b 23 X 2 X 3 + b 123 X 1 X 2 X 3 ,
g(z) = a 0 +a 1 per esempio 1 +a 2 per esempio 2 +a 3 per esempio 3 +a 12 per esempio 1 per esempio 2 +a 13 per esempio 1 per esempio 3 +a 23 per esempio 2 per esempio 3 +a 123 per esempio 1 per esempio 2 per esempio 3 , E
c(x,z) = f(x)*g(z)
TABELLA 1 Dati sulla consistenza del tortino di pesce di Cornell
Cieco | È tempo di friggere |
25 | 40 |
Tempo del forno |
25 | 40 | 25 | 40 |
Temp. del forno |
325 | 425 | 325 | 425 | 325 | 425 | 325 | 425 |
Triglia | Testa di pecora | Crocchiatore | struttura |
1 | 0 | 0 | - 1.84
- 2.86
- 3.01
- 4.13
- 1,65
- 2.32
- 3.04
- 4.13
|
0 | 1 | 0 | - 0,67
- 1.10
- 1.21
- 1.67
- 0,58
- 0,97
- 1.16
- 1.30
|
0 | 0 | 1 | - 1.51
- 1,60
- 2.32
- 2.57
- 1.21
- 2.12
- 2.00
- 2,75
- 0,5
- 0,5
|
0 | - 1.29
- 1.53
- 1.93
- 2.26
- 1.18
- 1,45
- 1,85
- 2.06
- 0,5
|
0 | - 0,5
- 1.42
- 1.81
- 2.57
- 3.15
- 1,45
- 1.93
- 2.39
- 2.82
|
0 | - 0,5
- 0,5
- 1.16
- 1,50
- 1.83
- 2.22
- 1.07
- 1.28
- 1,60
- 2.10
|
1/3 | 1/3 | 1/3 | - 1,59
- 1,68
- 1,94
- 2,60
- 1.41
- 1.54
- 2.05
- 2.32
|
Poiché f(x) ha 7 termini e g(z) ha 8 termini, quando i singoli termini vengono moltiplicati per creare un modello linearizzato, c(x,z) ha 7*8 = 56 termini. Ovviamente non erano rimasti gradi di libertà per stimare l'errore sperimentale con 56 esecuzioni nel progetto, producendo un errore quadratico medio (RMSE) pari a 0, e nessuna capacità di stimare la deviazione standard del termine di errore (e), ovvero, l'errore standard. Inoltre, non vi è stata la possibilità di valutare i residui per evidenziare l’inadeguatezza del modello o di eseguire test di idoneità. Cornell ha quindi utilizzato la variazione tra misurazioni replicate (non repliche vere) come stima dell'errore standard. Ovviamente, questa variazione intra-analisi non consente di stimare le fonti di variazione tra analisi, quindi non può essere considerata una stima dell'errore standard equivalente a quella stimata da repliche reali, o anche da gradi di libertà residui.
Per i nostri scopi di confronto dei modelli, abbiamo applicato il metodo PSE (pseudo errore standard) di Lenth (Lenth 1989) per ottenere una stima dell'errore standard per il modello di Cornell. Il metodo di Lenth determina innanzitutto gli effetti che sembrano reali, quindi elimina le restanti variabili, utilizzando i gradi di libertà guadagnati per stimare l'errore standard. È un errore pseudo standard in quanto dipende dall’eliminazione dei termini appropriati dal modello.
Prescott (2004) ha testato i volumi di pane utilizzando tre farine, Tjalve, Folke, entrambe norvegesi, e Hard Red Spring, americana. C'erano anche due variabili di processo, il tempo di lievitazione e il tempo di miscelazione. C'erano vincoli sui livelli di tre farine: .25 X 1 1, 0 X 2 .75 e 0 X 3 .75, dove Tjalve è x 1 , la gente è x 2 , e Hard Red Spring è x 3 . Quando applicato allo spazio della miscela simplex, ciò si traduce in un simplex completo più piccolo in uno spazio ridotto. Convertendosi agli pseudocomponenti (Cornell 2002), è ancora possibile utilizzare un design simplex standard. Ai fini dei confronti dei modelli, e senza perdita di generalità, utilizziamo la versione pseudocomponente del progetto della miscela di Prescott. Prescott ha utilizzato un disegno a reticolo simplex a 10 run per le variabili della miscela e un disegno a 3 2 , cioè un fattoriale a tre livelli in due variabili, per il disegno del processo. Questo progetto ha 9 esecuzioni, ovviamente.
Incrociando nuovamente il progetto della miscela con il progetto del processo, Prescott ha creato un progetto 10*9 = 90 cicli, elencato nella Tabella 2 e illustrato nella Figura 4. Per il modello misto f(x), Prescott considerò lo stesso modello cubico speciale con 7 termini utilizzato da Cornell, e per il modello di processo, g(z), considerò un modello quadratico completo con 6 termini:
g(z) = a 0 +a 1 per esempio 1 +a 2 per esempio 2 +a 12 per esempio 1 per esempio 2 +
TABELLA 2 Dati sul volume della pagnotta di Prescott
Pseudo componente miscela | Tempo di correzione (minuti) |
35 | - 47,5
| 60 |
Tempo di miscelazione (minuti) |
5 | 15 | 25 | 5 | 15 | 25 | 5 | 15 | 25 |
Tjalve | Persone | Dura primavera rossa | Volume della pagnotta |
.25 | .75 | 0 | - 378,89
- 396,67
- 392.22
- 445.56
- 452.22
- 487,78
- 457.22
- 500,56
- 472,78
|
.50 | .50 | 0 | - 388,89
- 423.33
- 416.11
- 460,00
- 488,89
- 475,78
- 472,78
- 478,00
- 506.11
|
.75 | .25 | 0 | - 426.11
- 483.33
- 389,44
- 474.44
- 514.44
- 462.78
- 506.67
- 591.67
- 522.22
- 1.0
|
0 | 0 | - 386.11
- 459.11
- 423.33
- 458.33
- 506.11
- 514.44
- 545.56
- 522.22
- 551.11
|
.25 | .50 | .25 | - 417,78
- 437.22
- 444.56
- 484.44
- 490,00
- 495,00
- 497,78
- 531.11
- 577,78
|
.50 | .25 | .25 | - 389,44
- 447.22
- 415,00
- 490,89
- 528,89
- 507.78
- 517,78
- 567.22
- 538.33
|
.75 | 0 | .25 | - 448.33
- 459.44
- 455,56
- 436,00
- 535,00
- 552.22
- 507.44
- 578,89
- 590,00
|
.25 | .25 | .50 | - 413,89
- 485,56
- 462.22
- 483,89
- 529.44
- 540,00
- 565,00
- 598,89
- 580,56
|
.50 | 0 | .50 | - 415.56
- 514.44
- 437,78
- 493,89
- 583.33
- 578,89
- 524.44
- 649.44
- 640,00
|
.25 | 0 | .75 | - 432,78
- 498.33
- 517.22
- 474.44
- 568.33
- 579.44
- 541.11
- 638,89
- 638,89
|
Si noti che i termini quadratici sono stimabili perché la progettazione del processo era a tre livelli. Prescott ha eseguito diversi modelli interattivi linearizzati, cioè della forma c(x,z) = f(x)*g(z), che avevano 7*6 = 42 termini in totale. Con 90 esecuzioni c'erano gradi di libertà sufficienti per stimare l'intero modello a 42 termini e restano ancora gradi di libertà per stimare l'errore standard. Dopo aver considerato diversi modelli, il modello finale suggerito da Prescott per questi dati era un modello ridotto della forma:
y = 522,8x 1 +448,1x 2 +599,3x 3 +13,0x 1 per esempio 1 +1,7x 2 per esempio 1 +54,3x 3 per esempio 1 +56,3x 1 per esempio 2 +37,2x 2 per esempio 2
+73,8x 3 per esempio 2 - 39,4x 1 + 3,7x 2 – 46,0x 3 - 10,2x 1 +28,4x 2 + 1,0x 3
Si noti che alcuni termini sono stati eliminati dal modello, come i termini che coinvolgono qualsiasi prodotto incrociato di x io , o l'interazione di z 1 e z 2 . In effetti, solo 15 dei 42 possibili termini sono stati inclusi in questo modello finale. Ritorneremo su questo punto confrontando i modelli linearizzati con quelli non lineari.
Wang et al. (2013) hanno eseguito un disegno sperimentale di miscela/processo come parte di un progetto di classe per un corso di statistica tenuto dal primo autore alla Rutgers University nel 2013. Questo esperimento comprende tre variabili di miscela, acqua, latte e succo d'arancia, e due variabili di processo, l'aggiunta di zucchero (0 o 2 grammi) e il tipo di latte utilizzato (2% o intero). La risposta è stata il tempo di scioglimento in minuti del ghiaccio prodotto dalla miscela. Il progetto della miscela era un progetto simplex a 10 esecuzioni con componenti puri, 50-50 miscele, punti di controllo e un centroide, in forma di pseudocomponente. Questo è il disegno illustrato nella Figura 2. Per la progettazione del processo, Wang ha eseguito un 2 2 fattoriale in quattro esecuzioni. Il disegno incrociato con 10*4 = 40 esecuzioni e le risposte risultanti sono riportati nella Tabella 3 e illustrati nella Figura 5.
TABELLA 3 Wang et al. Dati sul tempo di fusione
miscela | Tipo di latte |
2% | Totale |
Zucchero |
0 g | 2g | 0 g | 2g |
Acqua | Latte | Succo | Tempo di fusione |
1/6 | 1/6 | 2/3 | - 29.43
- 24.31
- 34.94
- 32,97
|
0 | - 0,5
- 0,5
- 37.36
- 32.89
- 45.69
- 39.06
- 0,5
- 0,5
|
0 | - 33.32
- 28.34
- 41.78
- 35,84
|
1 | 0 | 0 | - 19.13
- 17.73
- 23.7
- 22.16
|
2/3 | 1/6 | 1/6 | - 24.11
- 22.49
- 29.76
- 25.43
|
1/3 | 1/3 | 1/3 | - 32.08
- 26.29
- 36,97
- 30.13
|
0 | 0 | 1 | - 30.41
- 23.25
- 31.92
- 29.45
- 0,5
|
0 | - 0,5
- 21.86
- 22.88
- 27.09
- 26.21
|
1/6 | 2/3 | 1/6 | - 37.35
- 28.43
- 42.92
- 39,95
|
0 | 1 | 0 | - 48.64
- 33.00
- 45.08
- 47.35
|
Wang et al. (2013) hanno adattato un modello linearizzato utilizzando un cubico speciale a 7 termini per f(x) e un modello di processo fattoriale a 4 termini per g(z), che aveva un'intercetta, due effetti principali e l'interazione a 2 fattori. Pertanto, moltiplicando tutti i termini, c(x,z) è il modello linearizzato a 28 termini fornito nell'equazione 3. Con 40 esecuzioni e 28 termini da stimare, rimanevano 12 gradi di libertà per stimare l'errore standard.
Modelli e risultati lineari e non lineari
Per ciascuno di questi progetti e insiemi di dati, si possono anche considerare modelli molto più piccoli, come il modello additivo lineare, c(x,z) = f(x) + g(z), che ovviamente non ha termini per stimare l'interazione tra miscela e variabili di processo, e anche il modello non lineare. Per stimare il modello non lineare si trova direttamente la soluzione dei minimi quadrati di c(x,z) = f(x)*g(z), senza moltiplicare i termini. Come notato in precedenza, questo modello non è lineare nei parametri. Ad esempio, nel caso semplicistico con due variabili di miscela e una variabile di processo:
c(x,z) = ( B 1 X 1 + b 2 X 2 + b 12 X 1 X 2 )* (UN 0 +a 1 z) (4)
Supponendo di voler stimare ciascuno di questi 5 coefficienti, possiamo considerare l'equazione 4 come un'equazione non lineare con 5 coefficienti e utilizzare i minimi quadrati non lineari per trovare una soluzione. Come notato in precedenza, in pratica abbiamo solo 4 coefficienti da stimare perché l'equazione 4 è sovradeterminata e non avrà una soluzione unica ai minimi quadrati. Impostando arbitrariamente a 0 = 1.0, in genere possiamo ottenere un'unica soluzione ai minimi quadrati negli altri parametri. Utilizzando qualche altro valore diverso da zero per a 0 non cambierebbe le metriche del modello, come R 2 , errore standard e così via. Naturalmente, con i minimi quadrati non lineari non è garantita alcuna soluzione unica.
Per adattare il modello non lineare utilizziamo l'algoritmo di regressione non lineare in JMP Pro 10, eseguito su un laptop MacBook Pro standard. Come notato in precedenza, l'esecuzione di modelli non lineari è più impegnativa rispetto ai modelli lineari, ma con il software moderno è certamente fattibile e suggeriamo che sia un'opzione praticabile per questo tipo di problemi. Prima di discutere i risultati ottenuti adattando modelli lineari additivi e non lineari a questi tre insiemi di dati, discutiamo brevemente l'interpretazione dei coefficienti nel modello non lineare. Non discutiamo il modello additivo lineare, poiché l'interpretazione dei termini della miscela è stata ampiamente discussa in letteratura, come ad esempio Schiff (1963), Cornell (2002) e molti altri.
Dopo aver stimato i termini nel modello non lineare nell'equazione 4, siamo liberi di moltiplicare i termini stimati per facilitare l'interpretazione. Si noti che questo produce un modello molto diverso da quello ottenuto moltiplicando i termini prima di stimare i coefficienti, che produrrebbe il modello linearizzato. Quindi, la decisione di impostare a 0 = 1 piuttosto che qualche altro valore rende l'interpretazione del modello più semplice. Una volta moltiplicati i termini stimati nell'approccio non lineare all'Equazione 4 otteniamo:
= ( 1 X 1 + 2 X 2 + 12 X 1 X 2 )*(1+ 1 z)
= ( X 1 +X 2 + 12 X 1 X 2 ) + ( X 1 +X 2 + 12 X 1 X 2 )* 1 z (5)
Senza perdita di generalità possiamo assumere che z sia scalato per avere una media pari a 0. Pertanto, quando z è al suo valore medio, l'Equazione 5 si semplifica solo nella parte sinistra, che è il modello di miscela pura, f(x). Pertanto, possiamo interpretare i coefficienti di miscelazione come la miscelazione che stimiamo nel punto medio della variabile di processo o, in alternativa, come la miscelazione media nell'intero progetto. Questa interpretazione vale indipendentemente dal fatto che vi sia o meno interazione con z. L'interpretazione di 1 è più complicato. Si noti che l'unico posto in cui z appare nell'Equazione 5 è attraverso una serie di interazioni.
Ciò implica l'incapacità del modello non lineare di stimare l'effetto principale di z esclusivamente dalle interazioni di z con le variabili della miscela. Questo perché è l'unico coefficiente disponibile a incorporare l'effetto principale di z e anche le sue interazioni con x io È 1 . Sebbene f(x) possa essere riscritto come un modello a variabile slack con un'intercetta, avremmo comunque solo un grado di libertà per incorporare sia l'effetto principale di z che le sue interazioni con le variabili miste. Consideriamo questo come uno svantaggio dell'approccio non lineare e ipotizziamo che il risultato pratico sarà quello di avere qualche difficoltà nell'adattare superfici con effetti principali di grandi variabili di processo e una grave interazione tra miscela e variabili di processo.
Possiamo estendere questa interpretazione a modelli non lineari più ampi, come il modello della miscela cubica speciale a 7 termini e il modello delle variabili di processo a 8 termini del suo esperimento con il tortino di pesce. Se stimassimo c(x,z) = f(x)*g(z) direttamente come modello non lineare, stimeremmo 7 + 8 – 1 = 14 coefficienti. Ricordiamo che abbiamo impostato a 0 = 1. Dopo aver risolto questi 14 coefficienti utilizzando i minimi quadrati non lineari, possiamo moltiplicare i termini per facilitare l'interpretazione. In questo modo si produce:
(x)*(1 + 1 per esempio 1 + 2 per esempio 2 + 3 per esempio 3 + 12 per esempio 1 per esempio 2 + 13 per esempio 1 per esempio 3 + 23 per esempio 2 per esempio 3 + 123 per esempio 1 per esempio 2 per esempio 3 ),
che è 1 volte (x), più 1 per esempio 1 volte (x), più 2 per esempio 2 volte (x) e così via. In altre parole, tutti gli altri termini del modello oltre a (x)*1 coinvolgono io volte uno o più z io , volte (x). Pertanto, nessuno degli effetti principali della z io può essere stimato solo dall'interazione di quello z io con le variabili della miscela (e le loro interazioni), analogamente alla situazione nell'Equazione 5. Allo stesso modo, le interazioni tra z io , ad esempio 1 per esempio 2 , ad esempio, non può essere stimato esclusivamente dalle interazioni tra questo termine e i termini della miscela.
Dal punto di vista pratico, incapacità di stimare i singoli coefficienti, per z 1 e x 1 per esempio 1 , ad esempio, è più preoccupante dell'incapacità di stimare i coefficienti individuali per le interazioni come z 1 per esempio 2 per esempio 3 e x 1 X 2 X 3 per esempio 1 per esempio 2 per esempio 3 , nel senso di risoluzione del progetto (Box et al. 2005). Cioè, i professionisti raramente si preoccuperebbero dell’importanza pratica di un’interazione a sei fattori.
Adattando ai tre dati sia il modello additivo lineare, c(x,z) = f(x) + g(z), sia il modello non lineare, c(x,z) = f(x)*g(z) set discussi in precedenza, otteniamo i risultati mostrati nella Tabella 4. Per i set di dati di Cornell e Wang, adattiamo modelli completi senza alcun tentativo di selezione di sottoinsiemi. Con i dati di Prescott, sia per il modello lineare additivo che per quello non lineare, incorporiamo solo i termini in f(x) e g(z) che sono stati selezionati da Prescott per essere nel suo modello linearizzato finale. Nello specifico, per f(x) utilizziamo solo x 1 , X 2 e x 3 . Per g(z) includiamo z 1 , per esempio 2 , , E . In questo senso, i confronti di Cornell e Wang sono "mele alle mele" senza selezione del sottoinsieme, e il confronto Prescott è "mele alle mele" con la selezione del sottoinsieme applicata da Prescott.
Il criterio numerico che utilizziamo è l'errore standard stimato, o errore quadratico medio (RMSE). Ovviamente non esiste un unico parametro in grado di determinare la “bontà” di un modello. Per sviluppare modelli appropriati nella pratica è necessario considerare diversi criteri numerici, valutare i grafici residui, confrontare i risultati con una solida teoria dell'argomento e così via. Il lettore non dovrebbe dedurre che raccomandiamo di concentrarsi esclusivamente sull’RMSE nella costruzione del modello. Ai fini del confronto dei modelli, tuttavia, utilizziamo l’errore standard stimato semplicemente come un criterio oggettivo conveniente per misurare il grado in cui il modello è in grado di adattarsi ai dati.
Dalla Tabella 4 vediamo che in due casi il modello linearizzato fornisce l'errore standard stimato più piccolo ed è quasi il più piccolo per i dati Cornell. Ciò non sorprende, in quanto il modello additivo lineare non consente alcuna interazione e il modello non lineare presenta le limitazioni precedentemente indicate. Da queste tre analisi concludiamo che se sono disponibili sufficienti gradi di libertà, il modello linearizzato è l'approccio preferito, basato su questi tre modelli che applicano questo criterio.
TABELLA 4 RMSE dei modelli linearizzati, lineari additivi e non lineari
Dati Cornell Dati Prescott Wang Dati
Linearizzato 0,17* 21,0 1,36
Additivi lineari 0,24 24,3 2,38
Non lineare 0 ,16 23,1 2,05
*Calcolato utilizzando il metodo di Lenth poiché non sono presenti df per errori.
Ad un esame più attento, tuttavia, notiamo che per due dei set di dati, i dati Cornell e i dati Prescott, le differenze tra i modelli non sono così grandi come ci si potrebbe aspettare, e in effetti, il modello non lineare RMSE è leggermente più piccolo del modello linearizzato RMSE per i dati di Cornell. Ricordiamo che, a causa dell'assenza di gradi di libertà per stimare l'errore, il modello linearizzato RMSE viene calcolato utilizzando il metodo di Lenth. Le prestazioni dell'approccio non lineare sono impressionanti data l'entità delle differenze nel numero di coefficienti stimati in questi modelli: 14 (additivo lineare o non lineare) contro 56 (linearizzato) per il modello di Cornell, 12 contro 42 per il modello completo di Prescott (7 contro 15 se usiamo solo i termini del modello ridotto di Prescott) e 10 contro 28 per il modello di Wang. I modelli additivi non lineari e lineari sono molto più parsimoniosi.
Una possibile spiegazione del motivo per cui gli approcci lineari additivi e non lineari non funzionano bene per i dati Wang è che esiste un’interazione altamente significativa tra la miscela e le variabili di processo con questi dati. Ad esempio, i termini nel modello linearizzato per latte*zucchero*tipo latte (x 2 per esempio 1 per esempio 2 ) e latte*succo*zucchero*tipo di latte (x 2 X 3 per esempio 1 per esempio 2 ), sono entrambi statisticamente significativi al livello .01. Il termine per acqua*latte*zucchero*tipo di latte (x 1 X 2 per esempio 1 per esempio 2 ), è quasi significativo al livello .01 (valore p = .0101). Nella nostra esperienza, è molto raro trovare interazioni tra quattro fattori così altamente significative. Il modello lineare, non includendo alcun termine per l'interazione tra variabili di processo e di miscela, sarà ovviamente incapace di modellare efficacemente tale interazione. Il modello non lineare semplicemente non ha termini sufficienti per fornire una buona approssimazione. Con un'interazione di ordine superiore così significativa, è probabile che sarà necessario l'approccio linearizzato.
Date le differenze relativamente basse osservate nella Tabella 4, sembra plausibile che potremmo essere in grado di risparmiare tempo e denaro riducendo la quantità di sperimentazione iniziale. Certamente, non sono necessarie 90 esecuzioni per stimare 12 termini nel modello non lineare di Prescott utilizzando tutti i termini, né 56 esecuzioni per stimare i 14 termini nel modello non lineare di Cornell. Per rispondere a questa domanda, valutiamo come ciascuno di questi modelli si adatterebbe a una frazione dei progetti effettivamente eseguiti.
Risultati con disegni frazionari
Ciascuno dei progetti di cui abbiamo discusso è stato prodotto incrociando il design della miscela con il design del processo. Pertanto il numero totale di corse è stato n 1 *N 2 , dove n 1 era il numero nel disegno della miscela, e n 2 il numero nella progettazione del processo.Per il disegno del tortino di pesce di Cornell, questo era 7*8 = 56. Considerati i risultati mostrati sopra per i modelli non lineari, una domanda logica da porsi è se tutte le 56 esecuzioni fossero effettivamente necessarie o se Cornell avrebbe potuto eseguire un progetto molto più piccolo e ottenere quasi gli stessi risultati? Una delle giustificazioni fornite da Cornell (2002) per l'esecuzione del progetto a 56 prove era la necessità di stimare tutti i coefficienti nel modello linearizzato.
Cornell (2002) notò anche che se gli sperimentatori non fossero stati in grado di eseguire il progetto completo, avrebbero potuto creare un progetto frazionario eseguendo una frazione del progetto del processo in ciascun punto dello spazio della miscela. Per garantire che il maggior numero possibile di termini fosse stimabile, Cornell ha suggerito di cambiare quale frazione della progettazione del processo fosse eseguita in diversi punti della progettazione della miscela. Ad esempio, nel caso di tre variabili di processo, potremmo eseguire z 1 per esempio 2 per esempio 3 = 1 mezza frazione a circa la metà dei punti di progettazione della miscela, e z 1 per esempio 2 per esempio 3 = -1 nell'altra metà. Cornell consiglia inoltre di eseguire, se possibile, l'intero progetto del processo al centroide dello spazio della miscela. Ha osservato che se questo disegno frazionario fosse eseguito, lo sperimentatore non sarebbe in grado di stimare l’intero modello linearizzato, ma sarebbe limitato a stimare un sottoinsieme di questi termini.
Nel caso del tortino di pesce, il progetto della miscela aveva 7 punti e il progetto del processo 8. Eseguendo tutti gli 8 punti sul baricentro e poi 4 (mezza frazione) su tutti gli altri punti si otterrebbe un disegno frazionario con 32 punti. Questo non è un numero sufficiente per stimare tutti i termini nel modello linearizzato del patty di pesce, ma è più che sufficiente per stimare i 14 termini nel modello additivo non lineare o lineare. Nella Figura 6 mostriamo il disegno frazionario con z 1 per esempio 2 per esempio 3 = 1 corsa alle miscele pure e z 1 per esempio 2 per esempio 3 = -1 corsa alle miscele 50-50. Per facilitare l'interpretazione grafica e consentire confronti con la Figura 3, mostriamo nuovamente i punti di miscelazione eseguiti in ciascun punto della progettazione del processo, sebbene il metodo di costruzione sia quello indicato sopra.
Oltre a vedere quanto bene il modello non lineare si adatta al set di dati ridotto, abbiamo anche un campione di riferimento naturale per valutare meglio il modello. Cioè, vengono utilizzate solo 32 esecuzioni per stimare il modello non lineare. Pertanto, una volta stimati i termini del modello, possiamo utilizzare questo modello per prevedere le 24 esecuzioni che non sono state utilizzate per stimare questo modello. Tale campione di controllo è generalmente considerato un criterio più valido per valutare un modello stimato, poiché il modello non ha visto questi dati e non può esserne influenzato durante il processo di adattamento. La Tabella 5 mostra i risultati del primo adattamento sia del modello additivo lineare che di quello non lineare al progetto frazionario mostrato nella Figura 6, nonché dell'errore standard di previsione (RMSE) durante la previsione dei dati di controllo. Si noti che il modello di Cornell aveva troppi termini per essere stimati con un progetto frazionario, quindi il modello linearizzato non è un'opzione.
Ovviamente, si potrebbe arbitrariamente invertire l'esecuzione della progettazione frazionaria per le miscele pure rispetto alle miscele 50-50. Pertanto, per completezza, consideriamo il progetto mostrato nella Figura 6 come progetto frazionario 1 e definiamo il progetto frazionario 2 come quello in cui z 1 per esempio 2 per esempio 3 = -1 viene eseguito su miscele pure e z 1 per esempio 2 per esempio 3 = 1 viene eseguito a 50-50 miscele. Anche in questo caso, tutti gli 8 punti di progettazione del processo vengono eseguiti sul baricentro.
TABELLA 5 Risultati della previsione con i disegni frazionari di Cornell
*Calcolato utilizzando il metodo di Lenth poiché non sono presenti df per errori.
Si noti nella Tabella 5 che per entrambi i progetti frazionari i modelli non lineari svolgono un buon lavoro nell'adattare i dati di "addestramento" e adattano ragionevolmente bene i dati di controllo. L'RMSE di previsione è 0,22 per entrambi i progetti frazionari, che è superiore all'RMSE originale di 0,16, ma entro limiti ragionevoli, considerando che abbiamo utilizzato solo 32 delle 56 esecuzioni originali, ovvero una riduzione del 43%. Il modello additivo lineare funziona inoltre in modo coerente con l'adattamento dell'intero set di dati. Come notato in precedenza, se il nostro unico obiettivo è massimizzare l'adattamento del modello, è preferibile un progetto completamente incrociato con il modello linearizzato. Tuttavia, se tempo e costi sono considerazioni importanti, allora si dovrebbe prendere in considerazione un modello non lineare con una precisione di previsione inferiore, ma ottenuto con uno sforzo sperimentale molto minore.
Il progetto della miscela di Prescott era un reticolo simplex con due punti di bordo tra ciascuna miscela pura e un baricentro. Questo è stato incrociato con un 3 2 progettazione del processo. Una tale combinazione presenta maggiori sfide nel determinare un disegno frazionario che sarebbe bilanciato in senso euristico. Dopo aver considerato varie opzioni, definiamo il disegno frazionario 1 come il 3 completo 2 al baricentro, i punti dove z 1 per esempio 2 = 0 nelle miscele pure e nei punti in cui z 1 = ad es 2 = 0 e anche dove z 1 per esempio 2 = +/-1 nei seguenti tre punti del bordo: (2/3, 1/3, 0), (0, 2/3, 1/3) e (1/3, 0, 2/3).Ciò si traduce in un disegno frazionario a 39 esecuzioni (9 + 5*3 + 5*3), illustrato nella Figura 7. Si noti che il disegno frazionario ha meno della metà dei punti del disegno originale da 90 run. Il progetto frazionario 2 è stato ottenuto eseguendo nuovamente il 3 completo 2 al baricentro, ma invertendo il processo i punti vengono eseguiti nelle miscele pure rispetto ai tre punti del bordo.
I risultati della previsione per i disegni frazionari di Prescott sono mostrati nella Tabella 6. Si noti che per il modello linearizzato di Prescott, solo i 15 termini mantenuti da Prescott sono stati utilizzati nel modello finale, quindi possiamo stimare questo modello con il disegno frazionario. Ciò ci consente di confrontare il modello linearizzato con i modelli lineari additivi e non lineari con i dati fazionali. Naturalmente, se Prescott avesse eseguito un modello completo di miscela cubica speciale in 7 termini con un disegno del processo fattoriale in 6 termini, non avremmo i 42 gradi di libertà necessari per stimare tutti i termini.
Dalla Tabella 6 possiamo vedere che il modello linearizzato si comporta molto bene con i progetti frazionari utilizzando i dati di addestramento. In effetti, l’RMSE per entrambi i progetti è inferiore all’RMSE ottenuto con l’intero set di dati. Ciò può essere parzialmente spiegato dal fatto che Prescott ha determinato i parametri necessari nel modello linearizzato dall'intero set di dati. In questo senso, stiamo utilizzando le informazioni dell'intero set di dati quando adattiamo un modello linearizzato ai dati frazionari. Tuttavia, non possiamo stimare tutti i termini nel modello completamente linearizzato con questi 39 punti dati. Si noti, tuttavia, che il modello linearizzato fa molto peggio nel prevedere i dati di hold-out. Infatti, per entrambi i progetti frazionari, la previsione linearizzata RMSE è maggiore di quella dei modelli sia lineari che non lineari.
Ancora una volta, i modelli lineari additivi e non lineari forniscono un RMSE di previsione ragionevolmente vicino all'RMSE del set di addestramento, per entrambi i progetti. Come nel caso dei dati di Cornell, vediamo che adattare un modello lineare additivo o non lineare con un progetto frazionario fornisce una valida alternativa all'esecuzione dell'intero progetto a 90 esecuzioni.
TABELLA 6 Risultati della previsione con i disegni frazionari di Prescott
Il progetto originale di Wang era un simplex da 10 passaggi con 50-50 punti limite e punti di controllo, incrociato con un 2 2 progettazione del processo, risultante in 10*4 = 40 esecuzioni. Otteniamo il progetto frazionario 1 eseguendo un 2 completo 2 al baricentro e alle miscele pure, la mezza frazione z 1 per esempio 2 = 1 ai 50-50 punti del bordo e la mezza frazione z 1 per esempio 2 = -1 ai posti di blocco. Ciò si traduce in 4*4 + 2*3 + 2*3 = 28 esecuzioni, come mostrato nella Figura 8. Il disegno frazionario 2 è stato ottenuto invertendo le frazioni eseguite sui punti limite e sui checkpoint 50-50.
Utilizzando questi progetti frazionari, confrontiamo nuovamente i modelli linearizzati, additivi lineari e non lineari in termini di previsione RMSE. Poiché il modello linearizzato eseguito da Wang ha 28 parametri, siamo in grado di stimare questo modello completo, sebbene senza gradi di libertà rimanenti per stimare l'errore. Pertanto, a fini comparativi utilizziamo nuovamente l'errore pseudo standard di Lenth al posto dell'RMSE per il modello linearizzato. I risultati di questi confronti sono mostrati nella Tabella 7.
TABELLA 7 Risultati della previsione con i disegni frazionari Wang
*Calcolato utilizzando il metodo di Lenth poiché non sono presenti df per errori.
Forse la cosa più degna di nota della Tabella 7 sono le scarse previsioni del modello linearizzato. In gran parte, ciò è probabilmente dovuto al fatto che non ci sono gradi di libertà nella stima dell’errore con i progetti frazionari. A nostro avviso, una lezione chiave da tutto ciò è il pericolo di utilizzare modelli di regressione con pochi o nessun grado di libertà di errore per prevedere nuovi dati. La valutazione e la validazione del modello sono compiti difficili; farlo con pochi o nessun grado di libertà di errore rischia di portare a previsioni inadeguate. I modelli lineari additivi e non lineari hanno prestazioni migliori, più o meno equivalenti tra loro in termini di previsione fuori campione. Si noti che né il modello additivo lineare né quello non lineare hanno prodotto un RMSE vicino al modello linearizzato con l'intero set di dati. Tuttavia, quando si effettuano previsioni fuori campione, entrambi hanno prestazioni migliori rispetto al modello linearizzato. Ancora una volta, sosteniamo che ciò fornisce alcune prove del fatto che i modelli lineari additivi e non lineari, eseguiti su progetti frazionari, sono alternative praticabili da considerare nella pratica.
Cosa abbiamo imparato?
Abbiamo confrontato modelli linearizzati, additivi lineari e non lineari utilizzando due set di dati pubblicati sul processo di miscelazione e un nuovo set di dati. Inoltre, abbiamo confrontato questi approcci non solo in termini di adattamento dei set di dati originali, ma anche di adattamento di potenziali progetti frazionari che avrebbero potuto essere eseguiti al posto dei progetti completamente incrociati (processo dei tempi di miscelazione). Ripetiamo che il nostro scopo non è trovare il design ottimale o il modello migliore in senso assoluto. Piuttosto, proponiamo un approccio di ingegneria statistica per determinare la migliore strategia per attaccare i problemi del processo misto di fronte alla potenziale interazione. Tale strategia prenderebbe in considerazione i vantaggi pratici dei progetti frazionati e degli approcci sequenziali.
In breve, riteniamo di aver imparato quanto segue da questi confronti:
- Se sono disponibili gradi di libertà sufficienti, è probabile che i modelli linearizzati, ottenuti moltiplicando i termini del modello misto con quelli del modello di processo, si adattino meglio ai dati e forniscano le migliori previsioni dei dati fuori campione.
- I modelli additivi lineari, che ignorano l'interazione della miscela-processo, e i modelli non lineari, offrono alternative praticabili al modello linearizzato e offrono vantaggi significativi in termini di numero di termini da stimare.
- Quando gli sperimentatori considerano l'opzione di modelli lineari additivi o non lineari, una strategia sequenziale che inizia con progetti frazionari offre il potenziale per ridurre significativamente la quantità totale di sperimentazione richiesta per sviluppare un modello utile.
- Se i modelli lineari additivi e non lineari non si adattano abbastanza bene ai progetti frazionari originali, gli sperimentatori possono quindi eseguire il rimanente progetto completamente incrociato e adattare il modello linearizzato. In questo senso, gli sperimentatori hanno molto da guadagnare e molto poco da perdere considerando una strategia sequenziale.
- Un ulteriore punto da non trascurare è che i modelli con pochi o nessun grado di libertà per l’errore residuo possono adattarsi bene ai dati campione, ma è rischioso utilizzare la previsione a partire dai dati campione.
La strategia che suggeriamo è stata illustrata nella Figura 1. Eseguendo inizialmente il progetto frazionario, abbiamo il potenziale per ridurre significativamente la quantità di sperimentazione necessaria per adattare un modello adeguato. I diversi disegni frazionari e il numero di coefficienti nei vari modelli sono riepilogati nella Tabella 8 per confronto.
TABELLA 8 Dimensioni dei progetti completi e frazionari e numero di coefficienti nei modelli
insieme di dati | - NO. Esegue la progettazione completa
| - NO. Esegue la progettazione frazionaria
| Riduzione | - NO. Coefficienti del modello linearizzato
- NO. Coefficienti del modello additivo lineare
- NO. Coefficienti del modello non lineare
|
Cornell | 56 | 32 | 43% | 56 | 14 | 14 |
Prescott | 90 | 39 | 57% | 42 | 12 | 12 |
Wang et al. | 40 | 28 | 30% | 28 | 11 | 11 |
Suggeriamo di eseguire sia il modello additivo lineare che quello non lineare sui dati frazionari. Se il modello non lineare si adattasse sensibilmente meglio, ciò indicherebbe un’interazione degna di nota tra la miscela e le variabili del processo. Naturalmente, non vi è alcuna garanzia che il modello additivo lineare o quello non lineare si adattino bene. In particolare, con elevati gradi di interazione tra miscela e variabili di processo, saranno probabilmente necessari modelli linearizzati.
Se gli sperimentatori non sono soddisfatti dei modelli generati dal progetto frazionario, hanno la possibilità di eseguire l'altra frazione, ovvero quella non eseguita inizialmente, per completare il progetto completo. Questa opzione dovrebbe far parte della strategia adottata all'inizio dello studio. Questo approccio consentirebbe la stima del modello completamente linearizzato. Sarebbe necessario un grado di libertà per bloccare efficacemente il disegno nel tempo, tra la prima frazione e la seconda frazione. Altrimenti, non vi è alcun reale svantaggio in questo approccio, presupponendo che sia possibile sperimentare in sequenza. Riconosciamo ancora una volta che la teoria alla base dei modelli non lineari non è sviluppata quanto quella dei modelli lineari.
Naturalmente, la fase di adeguatezza del modello nella Figura 1 non dovrebbe limitarsi alla valutazione dell'RMSE. Questa fase decisionale intende includere una valutazione completa dell'adeguatezza del modello, compreso un attento esame dei residui, la valutazione di potenziali valori anomali, il confronto con le attuali conoscenze del dominio su questo problema e così via. Si presuppone tale valutazione del modello linearizzato, quindi non l'abbiamo inclusa come un altro passaggio nella Figura 1. Il nostro obiettivo in questa figura è mostrare come valutare i diversi modelli in modo sequenziale, invece di descrivere i dettagli della costruzione di modelli statistici validi, come discusso in Box et al. (2005), per esempio.
Il lettore potrebbe notare che in questo articolo non indaghiamo il potenziale della progettazione assistita da computer per selezionare una frazione ottimale per adattarsi alla progettazione non lineare. Riteniamo che la ricerca sull'applicazione della progettazione computerizzata per modelli non lineari in problemi di processi misti potrebbe fornire risultati ancora migliori di quelli che presentiamo. Lasciamo questo alla ricerca futura.
Una strategia praticabile è stata sviluppata, testata e illustrata
Consideriamo il problema di progettare esperimenti e adattare modelli con variabili sia di miscela che di processo, che si ritiene possano interagire tra loro. Un approccio comune a tali problemi consiste nell'eseguire un progetto completo della miscela incrociato con un progetto fattoriale completo nelle variabili del processo. Un tale progetto consente la stima di tutti i coefficienti in un modello linearizzato, un modello creato incrociando tutti i termini del modello misto con tutti quelli del modello di processo. Tuttavia, sia i modelli che i progetti necessari per stimarli tendono ad essere piuttosto grandi. Ad esempio, nell'esempio della preparazione del pane di Prescott, è stato utilizzato un progetto a 90 passaggi. Il design del tortino di pesce di Cornell richiedeva 56 corse.
Consideriamo il caso in cui gli sperimentatori vorrebbero un buon modello, forse non quello ottimale, e vorrebbero ottenere un modello del genere con molta meno sperimentazione di 90 o 56 esecuzioni. In queste situazioni, sosteniamo che una strategia di ingegneria statistica che utilizza la sperimentazione sequenziale, inizialmente progetti frazionari molto più piccoli e la considerazione di modelli lineari additivi o non lineari, fornisce un approccio complessivo migliore. Per ripetere, non affermiamo che il modello non lineare sia probabilmente superiore al modello linearizzato in termini di RMSE o di previsione RMSE. Né affermiamo che i disegni frazionari contengano tante informazioni quanto i disegni completamente incrociati. In questo senso, non stiamo proponendo un disegno specifico di per sé, né proponiamo un modello specifico di per sé.
Piuttosto, proponiamo una strategia per affrontare tali problemi che riteniamo sia complessivamente superiore agli approcci suggeriti nella letteratura attuale. In questo senso, la nostra strategia proposta è un approccio di ingegneria statistica. Sulla base dei risultati qui mostrati, concludiamo che questo approccio è superiore perché offre il potenziale per risparmiare tempo e sforzi sperimentali significativi, pur non avendo praticamente alcun lato negativo, presupponendo che un approccio sequenziale sia fattibile. In particolare, i modelli non lineari sono abbastanza semplici da stimare con i moderni software statistici, come R, JMP, Minitab o SAS, quindi il software non deve necessariamente essere un ostacolo alla considerazione dei modelli non lineari. Riteniamo inoltre che approcci simili possano essere di uso più generale in altre applicazioni di superfici di risposta – oltre ai modelli di variabili di miscela/processo, ma questo è un argomento per la ricerca futura.
Riferimenti
Anderson-Cook, CM, e Lu, L. (Redattori ospiti) (2012). "Numero speciale sull'ingegneria statistica", Ingegneria della qualità , 24(2).
Scatola, GEP, Hunter, JS e Hunter, WG (2005). Statistiche per gli sperimentatori , 2 nd edizione, John Wiley and Sons, Hoboken, NJ.
Cornell, JA (2002). Esperimenti con miscele: progetti, modelli e analisi dei dati della miscela , 3 ca Edizione, John Wiley and Sons, Hoboken, NY.
Cornell, JA (2011). Un primer sugli esperimenti con le miscele , John Wiley e figli, Hoboken, NJ.
Hoerl, RW e Snee, RD (2010). "Pensiero statistico e metodi per il miglioramento della qualità: uno sguardo al futuro" Ingegneria della qualità , 22(3): 119-139.
Lent, RV (1989). "Analisi rapida e semplice di fattoriali non replicati", Tecnometria , 31(4): 469-473.
Montgomery, DC (2012). Progettazione e analisi degli esperimenti , ottava edizione, John Wiley and Sons, Hoboken, NJ.
Prescott, P. (2004). "Modellazione in esperimenti di miscele comprese le interazioni con le variabili di processo." Tecnologia della qualità e gestione quantitativa, 1(1): 87-103.
Schiff , H. (1963). "Il disegno simplex-centroide per esperimenti con miscele", Giornale della Royal Statistical Society B , 25(2): 235–263.
Snee, RD e Hoerl, RW (2011). " Miscelazione corretta; Il giusto mix tra ingegneria statistica e statistica applicata," Progresso di qualità , giugno: 46-49.
Wang, L., Xu, J., Wu, S., e Zhang, K. (2013). Studio della velocità di scioglimento dei cubetti di ghiaccio autoprodotti, relazione di progetto non pubblicata.
