Autori
William D. Kappele, Presidente, Esperimenti oggettivi
Julie Kidd, ingegnere dei materiali, sintetico statunitense
Heather Schaefer, Ingegnere dei materiali, Sintetico statunitense
introduzione
A volte ti imbatti in un problema interessante nel corso del tuo normale lavoro. Questo è quello che è successo a noi. Durante l’utilizzo di un esperimento progettato per formulare diamanti sintetici, abbiamo effettuato alcune prove per le quali non siamo riusciti a misurare una risposta: erano al di sotto del limite di rilevamento del nostro sistema di misurazione.
Avremmo potuto modificare le impostazioni del fattore fino a quando non avessimo potuto effettuare una misurazione, ma non volevamo aggiungere quella spesa se non fosse stato necessario.
All'inizio abbiamo semplicemente assegnato “zero” a tutto ciò che non potevamo misurare. Eravamo un po' nervosi per questa cosa, dopotutto stavamo mentendo a JMP – qualcosa che non ci piace fare!
È con il desiderio di onestà che è iniziata la nostra avventura.
https://www.youtube.com/watch?v=Zf0REURPFU0
L'avventura
Due delle nostre risposte erano al di sotto del limite di rilevamento del nostro sistema di misurazione. Tutto ciò che sapevamo di queste risposte era che si trovavano in un intervallo compreso tra il limite di rilevamento e lo zero. I dati noti solo per rientrare in un intervallo sono chiamati “dati censurati”. Sapevamo come gestire i dati censurati nell'analisi dell'affidabilità, ma non sapevamo come gestirli in un esperimento progettato.
Abbiamo chiesto a Bill se sapeva cosa fare. Ha suggerito di utilizzare la stima della massima verosimiglianza, ma non era sicuro di come farlo in JMP. Ha contattato Brad Jones (di JMP) e Brad lo ha indirizzato verso la piattaforma Parametric Survival. Sebbene non sia stato progettato per fare esattamente ciò di cui avevamo bisogno, potrebbe essere utilizzato per ottenere la nostra risposta.
Volevamo condividere ciò che avevamo imparato – come confrontare le diverse analisi e come utilizzare JMP per eseguirle – ma il nostro progetto era proprietario. Sembrava che il nostro apprendimento dovesse essere il nostro segreto finché Heather non ha avuto una grande idea: camuffare il nostro lavoro come se stessimo preparando biscotti con gocce di cioccolato! Lei e Julie hanno quindi creato con successo un set di dati “cookie” fedele al nostro lavoro che non avrebbe rivelato segreti.
Come per tutte le analogie, la nostra analogia con i cookie sembrerà un po’ artificiosa. Tuttavia, se avrai pazienza con noi, sarai in grado di vedere il problema che abbiamo realmente dovuto affrontare e imparare come affrontare questo stesso tipo di problema se si presenta nel tuo lavoro.
Una semplice analogia: cuocere i biscotti
Supponiamo che stessimo effettivamente lavorando alla cottura di biscotti con gocce di cioccolato. Il nostro obiettivo sarebbe quello di produrre il biscotto più sottile possibile utilizzando la nostra ricetta. (Te lo avevamo detto che poteva sembrare un po' forzato! Avremmo davvero provato dei biscotti spessi.) La ricetta che abbiamo utilizzato era la classica ricetta dei biscotti Nestlé Toll House nella Figura 1.
|
Figura 1 – La ricetta ufficiale dei biscotti Toll House, per gentile concessione di Nestlé. |
Abbiamo raggruppato gli ingredienti in modo logico per creare 5 fattori per il nostro esperimento. I fattori sono elencati nella Figura 2.
Patatine fritte Secco (farina, bicarbonato, sale) Crema (burro, zucchero, zucchero di canna, vaniglia) Temperatura Tempo |
Figura 2 – I fattori. |
Ecco i fattori e i livelli che abbiamo utilizzato per creare il progetto dell'esperimento:
Fattore | Tipo | Basso livello | Alto livello |
|---|
Patatine fritte | Miscela | 0 | 0,5 |
Crema | Miscela | 0 | 0,5 |
Asciutto | Miscela | 0 | 0,8 |
Temperatura | Continuo | 375 | 450 |
Tempo | Continuo | 5 | 12 |
Avevamo anche diversi vincoli. Una parte del progetto di un esperimento con questi vincoli (vedere Figura 3) è mostrata nella Figura 4.
|
Figura 3 – Creazione del progetto con vincoli |
|
Figura 4 – Una parte del nostro progetto di esperimento. |
Poi abbiamo sfornato i biscotti….
Utilizzo di JMP per analizzare i dati
Dopo aver sfornato i nostri biscotti, dovevamo misurare lo spessore. Non lo sapresti! Non avevamo un buon sovrano. Non siamo riusciti davvero a misurare nulla sotto 1 mm. Potremmo certamente dire che avevamo un biscotto sottile, ma non potevamo dire esattamente quanto sottile. Il nostro limite di rilevamento era di 1 mm.
Inizialmente abbiamo semplicemente inserito uno "zero" per lo spessore dei cookie che non potevamo misurare, ovvero quelli al di sotto del nostro limite di rilevamento. Ricorda, sapevamo di avere un biscotto, quindi "zero" non poteva essere giusto, ma abbiamo pensato di provarci.
Questi dati erano facili da analizzare. Abbiamo semplicemente utilizzato il comando "Adatta modello" con la personalità "Minimi quadrati standard".
Per capire come abbiamo analizzato i dati censurati, abbiamo bisogno di un po' di informazioni.
Stima della massima verosimiglianza
Sebbene i minimi quadrati siano una tecnica eccellente per adattare i dati ai modelli, non sono facili da utilizzare con i dati censurati. Un'altra tecnica, la stima della massima verosimiglianza, è molto più semplice da utilizzare con i dati censurati. JMP utilizza la stima della massima verosimiglianza in vari momenti nel comando "Adatta modello" (ad esempio, se si sceglie l'opzione "Modelli lineari generalizzati"), tuttavia offre solo un'opzione per i dati censurati nella piattaforma Parametric Survival.
Avevamo bisogno di “convincere” JMP a fare ciò che volevamo che facesse.
La piattaforma di sopravvivenza parametrica
La piattaforma "Parametric Survival" di JMP utilizza la stima della massima verosimiglianza e offre la possibilità di analizzare i dati censurati. È progettato per funzionare con le risposte “Time to Failure” – non con le altezze dei cookie – ma si è rivelato facile aggirare il problema. Quando JMP richiede il "Time to Event", scegli semplicemente "Cookie Height" come nella Figura 5.
Scelta di una distribuzione
La piattaforma Parametric Survival richiede la scelta di una distribuzione. La distribuzione Normale sarebbe stata la nostra prima scelta, ma non era disponibile. Abbiamo scelto la distribuzione logNormal perché ha una grande capacità di impersonare la distribuzione Normal. Inoltre, poiché eravamo vicini all'altezza zero, una distribuzione normale avrebbe potuto modellare il rumore che avrebbe consentito previsioni di altezza negativa (qualcosa che potresti Mai vuoi un biscotto!). La distribuzione logNormal evita questo fastidio.
Aggiunta di una colonna "Censore".
L'aggiunta di una colonna di censura alla tabella ci consente di indicare a JMP quali esecuzioni contengono dati censurati (dati inferiori al limite di rilevamento). Li tratterà in modo diverso rispetto al resto delle misurazioni. (Non li tratterà come se fossero zero: li tratterà in un modo più sofisticato.)
Ottimizzazione della ricetta: mediana vs media
L'ottimizzatore nella piattaforma di sopravvivenza parametrica considera la "probabilità di fallimento" come un fattore. Questo non è necessario per la nostra analisi, quindi a cosa dovremmo impostarlo?
Di solito nella metodologia della superficie di risposta, prevediamo il valore medio. Poiché ci aspettiamo che la distribuzione logNormal si avvicini alla distribuzione Normale, la mediana dovrebbe essere abbastanza vicina alla media. Se impostiamo la “Probabilità di fallimento” su 0,5 dovremmo ottenere ciò di cui abbiamo bisogno. Figura 6
|
Figura 5 – La piattaforma di sopravvivenza parametrica |
mostra come “bloccare” la “probabilità di fallimento” sulla mediana.
Tieni inoltre presente che la risposta sarà sempre etichettata come "Ora". Certo, sai che in realtà è "Cookie Height".
Puoi aggiungere le "Funzioni di desiderabilità" e impostare le desiderabilità come al solito. Trovi anche lo "Sweet Spot" usando "Massimizza la desiderabilità" come al solito.
Se desideri creare grafici di contorno, dovrai salvare la formula di previsione e utilizzare il "Contour Profiler" in "Grafico".
|
Figura 6 – Il profilatore quantile |
Risultati
Quindi cosa abbiamo trovato?
Per prima cosa, abbiamo trovato un ottimo righello in modo da poter conoscere lo spessore effettivo dei biscotti (è stato piuttosto difficile e ha richiesto molto tempo). Quindi siamo stati in grado di creare un grafico Effettivo/Previsto (vedere Figura 7). Questo non raccontava tutta la storia poiché escludeva il rumore. Quindi abbiamo creato anche un grafico Effettivo/Residuo (vedi Figura 8). Guardando i due di questi puoi vedere che i risultati erano simili. I residui erano di dimensioni simili con una distorsione diversa.
Successivamente abbiamo previsto gli Sweet Spot con entrambi i modelli. Entrambi i modelli prevedevano essenzialmente lo stesso Sweet Spot, differendo solo leggermente nel tempo di cottura previsto (vedere Figure 9 e 10). Abbiamo preparato 50 biscotti per ogni Sweet Spot e abbiamo confrontato i risultati (vedere Figura 11).
|
Figura 7 – Curve effettive e previste |
|
Figura 8 – Curve effettive e residue |
|
Figura 9 – Il punto debole per l'analisi dei dati censurati |
|
Figura 10 – Il punto debole per l'analisi dei dati azzerati |
I due Sweet Spots hanno prodotto lo stesso spessore di biscotto . Abbiamo trovato essenzialmente lo stesso Sweet Spot con entrambi i modelli, quindi la tecnica di analisi non ha avuto importanza per trovare uno Sweet Spot.
Dai un'occhiata più da vicino alle Figure 9, 10 e 11. Sebbene avessero previsto lo stesso Sweet Spot, la previsione effettiva del modello censurato era più accurata. Anche i limiti di confidenza per la previsione del modello censurato erano più vicini alla realtà. Quindi, se hai bisogno di previsioni accurate, il modello censurato è migliore.
|
Figura 11 – Confronto dello Sweet Spot |
Abbiamo davvero avuto 2 problemi
- Avevamo censurato i dati.
- Avevamo bisogno di modellare il rumore con una distribuzione che non prevedesse Cookie Heights negativi.
Il modello con i dati azzerati non ha risolto nessuno di questi problemi. Il modello contabile dei dati censurati ha tenuto conto di entrambi questi problemi. Una domanda naturale è: “Affrontare solo uno di questi problemi produrrebbe risultati altrettanto buoni quanto il modello censurato?”
Sebbene non disponiamo di un modo semplice per testare il problema 1 (in JMP non abbiamo modo di esaminare i dati censurati con una distribuzione normale), possiamo esaminare il problema 2. Non possiamo utilizzare facilmente la piattaforma dei modelli lineari generalizzati poiché non può essere utilizzata con le miscele. Tuttavia, possiamo effettuare una trasformazione logaritmica dei nostri dati e analizzarli con i minimi quadrati standard. Ciò ha l'effetto di trattare i dati come se fossero distribuiti normalmente in log.
Un problema con questo approccio è che l'azzeramento dei dati non funzionerà. Abbiamo invece sostituito gli zeri con la media dell'intervallo censurato (0,5). Naturalmente lo eravamo ancora mentendo a JMP ! Abbiamo analizzato anche questi dati senza la trasformazione del registro per il confronto.
I risultati di questa analisi sono nelle Figure 12 e 13. Si noti che gli Sweet Spot sono identici ai minimi quadrati standard adattati per dati distribuiti normalmente utilizzando zeri. Tuttavia, le previsioni di 0,63 con limiti di confidenza al 95% di 0,53 e 0,76 per la trasformazione logaritmica e 0,68 con limiti di confidenza al 95% di 0,42 e 0,93 per la media dell'intervallo censurato, sono molto migliori della previsione per l'analisi dei dati azzerati. Un confronto tra tutti e quattro i modelli è nella Figura 14.
|
Figura 12 – Lo Sweet Spot per l'analisi della trasformazione dei log |
|
Figura 13 – Il punto debole per l'analisi della media dell'intervallo |
|
Figura 14 – Grafici effettivi e residui per tutti e tre i modelli |
Puoi vedere che sia il modello di dati censurato che il modello trasformato in log hanno previsto abbastanza bene: il modello censurato ha previsto un valore leggermente alto, il modello trasformato in log ha previsto un valore leggermente basso. Sembra che l'utilizzo della distribuzione logNormal non fosse necessario.
Riepilogo
- L'assegnazione di "zero" alle risposte al di sotto del limite di rilevamento ha comportato una previsione scarsa, ma ha prodotto uno Sweet Spot praticabile.
- Assegnazione della media dell'intervallo censurato alle risposte inferiori al limite di rilevamento previsto bene e ha prodotto uno Sweet Spot praticabile.È improbabile che funzioni in generale: sembra che questa volta siamo stati fortunati.
- Una trasformazione logaritmica del set di dati in (2) ha prodotto risultati simili a (2) con un avvertimento simile.
- Utilizzo della piattaforma Parametric Survival di JMP con dati censurati e una distribuzione logNormal per modellare il rumore previsto bene e ha prodotto uno Sweet Spot praticabile per la mediana . È probabile che funzioni al meglio in generale.
Conclusione
Nel nostro lavoro abbiamo riscontrato due problemi:
- Dati censurati
- Avevamo bisogno di modellare il rumore in modo da evitare valori negativi (almeno nella fascia bassa).
Con i nostri dati siamo stati in grado di risolvere questi problemi in due modi:
- Analizza con dati censurati e una distribuzione logNormal utilizzando la piattaforma parametrica di sopravvivenza.
- Analizzare la trasformazione logaritmica dei dati con i valori censurati sostituiti dalla media dell'intervallo utilizzando i minimi quadrati standard.
Come si è scoperto, la distribuzione Normale ha funzionato bene in questo caso: non sono state previste altezze negative dei cookie.
Entrambi questi metodi hanno previsto risultati migliori rispetto al semplice azzeramento dei dati al di sotto del limite di rilevamento. Entrambi i metodi hanno trovato essenzialmente lo stesso Sweet Spot.
Allora cosa abbiamo fatto? Veramente Imparare?
- L'assegnazione di zeri per valori sconosciuti ha funzionato abbastanza bene. Ciò è stato probabilmente dovuto alla buona sorte. Non ci aspetteremmo che ciò funzioni per tutti i set di dati.
- Assegnare la media dell'intervallo censurato ha funzionato meglio, ma probabilmente è stata anche solo fortuna. Non ci aspetteremmo che questa sia una buona strategia in generale.
- La piattaforma Parametric Survival di JMP ci ha permesso di analizzare i dati come censurati, anche se in questo caso non ha prodotto risultati migliori della media dell'intervallo censurato. Nonostante ciò, questa sarà probabilmente la migliore strategia in futuro. Mentre (1) e (2) sono semplicemente ipotesi, la stima della massima verosimiglianza dietro la piattaforma di sopravvivenza parametrica è ben consolidata.
- Sia la distribuzione Normal che quella logNormal hanno funzionato bene per noi.
E ora abbiamo condiviso la nostra avventura (e il nostro apprendimento) con te. Ora è il momento dei biscotti!
Cerchi di più?
Ecco alcuni riferimenti interessanti per ulteriori approfondimenti:
Russell B. Millar, Stima e inferenza della massima verosimiglianza: con esempi in R, SAS e ADMB , J. Wiley e figli, 2011, ISBN 978-0470094822 .
http://ussynthetic.com/ (per informazioni su US Synthetic)
http://www.ObjectiveExperiments.com (per informazioni su corsi di formazione e workshop)
http://www.jmp.com/ (per informazioni sul software JMP)
http://en.wikipedia.org/wiki/Censoring_(statistiche) (per una bella spiegazione sulla censura)
http://mathworld.wolfram.com/MaximumLikelihood.html (per una breve spiegazione della stima della massima verosimiglianza)
http://en.wikipedia.org/wiki/Chocolate_chip_cookie (per una storia del biscotto con gocce di cioccolato)
Riguardo agli Autori
Julie Kidd è un ingegnere dei materiali presso US Synthetic. Le sue specialità sono sistemi ceramici e compositi e caratterizzazione dei materiali, compresa la metallurgia forense e l'analisi dei guasti.
Heather Schaefer è un ingegnere dei materiali presso US Synthetic.Suo le specialità sono materiali energetici fusi e pressati con particolare attenzione allo sviluppo di bagliori esca a infrarossi.
Insieme stanno attualmente sviluppando diamanti sintetici migliorati per l’industria del petrolio e del gas.
Bill Kappele lo è Presidente dell'Ob Esperimenti oggettivi. È responsabile dell'erogazione e dello sviluppo del corso.Giulia E Erica ho imparato la progettazione degli esperimenti da Bill.
