850182_it-IT

liliconcom

Utilizzo di JMP® per analizzare i dati di un esperimento progettato con alcune risposte al di sotto del limite di rilevamento

Autori

William D. Kappele, Presidente, Objective Experiments
Julie Kidd, ingegnere dei materiali, US Synthetic
Heather Schaefer, ingegnere dei materiali, US Synthetic

Introduzione

A volte capita di imbattersi in un problema interessante nel corso del normale lavoro. È quello che è successo a noi. Mentre utilizzavamo un esperimento progettato per formulare diamanti sintetici, abbiamo avuto alcune prove per le quali non siamo riusciti a misurare una risposta: erano al di sotto del limite di rilevamento del nostro sistema di misurazione.

Avremmo potuto modificare le impostazioni del fattore fino a quando non avessimo potuto effettuare una misurazione, ma non volevamo aggiungere quella spesa se non fosse stato necessario.

All'inizio abbiamo semplicemente assegnato "zero" a tutto ciò che non potevamo misurare. Eravamo un po' nervosi per questo, però: dopotutto, stavamo mentendo a JMP , cosa che non ci piace fare!

È con il desiderio di onestà che è iniziata la nostra avventura.

https://www.youtube.com/watch?v=Zf0REURPFU0

L'avventura

Due delle nostre risposte erano al di sotto del limite di rilevamento del nostro sistema di misurazione. Tutto ciò che sapevamo di queste risposte era che si trovavano da qualche parte in un intervallo tra il limite di rilevamento e zero. I dati che si sa solo che si trovano in un intervallo sono chiamati "dati censurati". Sapevamo come gestire i dati censurati in Reliability Analysis, ma non sapevamo come gestirli in un esperimento progettato.

Abbiamo chiesto a Bill se sapeva cosa fare. Ha suggerito di usare la Maximum Likelihood Estimation, ma non era sicuro di come farlo in JMP. Ha contattato Brad Jones (di JMP) e Brad lo ha indirizzato alla piattaforma Parametric Survival. Sebbene non fosse stata progettata per fare esattamente ciò di cui avevamo bisogno, poteva essere utilizzata per ottenere la nostra risposta.

Volevamo condividere ciò che avevamo imparato, come si confrontavano le diverse analisi e come usare JMP per eseguirle, ma il nostro progetto era proprietario. Sembrava che il nostro apprendimento dovesse essere il nostro segreto finché Heather non ha avuto una grande idea: camuffare il nostro lavoro come se stessimo sfornando biscotti con gocce di cioccolato! Lei e Julie hanno quindi creato con successo un set di dati "biscotto" fedele al nostro lavoro che non avrebbe rivelato segreti.

Come per tutte le analogie, la nostra analogia con i biscotti sembrerà un po' forzata. Tuttavia, se ci sopporterete, riuscirete a vedere il problema che abbiamo realmente affrontato e a imparare come gestire questo stesso tipo di problema se dovesse presentarsi nel vostro lavoro.

Una semplice analogia: cuocere i biscotti

Supponiamo di stare effettivamente lavorando alla preparazione di biscotti con gocce di cioccolato. Il nostro obiettivo sarebbe quello di produrre il biscotto più sottile possibile utilizzando la nostra ricetta. (Vi avevamo detto che poteva sembrare un po' forzato! In realtà avremmo cercato di ottenere biscotti spessi.) La ricetta che abbiamo utilizzato era la classica ricetta dei biscotti Nestle Toll House nella Figura 1.

Figura 1 – La ricetta ufficiale dei biscotti Toll House, per gentile concessione di Nestlé.

Abbiamo raggruppato gli ingredienti in modo logico per creare 5 fattori per il nostro esperimento. I fattori sono elencati nella Figura 2.

Patatine fritte Secco (farina, bicarbonato, sale) Crema (burro, zucchero, zucchero di canna, vaniglia) Temperatura Tempo

Figura 2 – I fattori.

Ecco i fattori e i livelli che abbiamo utilizzato per creare il nostro progetto sperimentale:

Fattore	Tipo	Basso livello	Alto livello
Patatine fritte	Miscela	0	0,5
Crema	Miscela	0	0,5
Asciutto	Miscela	0	0,8
Temperatura	Continuo	375	450
Tempo	Continuo	5	12

Avevamo anche diversi vincoli. Una parte di un progetto sperimentale con questi vincoli (vedere Figura 3) è mostrata nella Figura 4.

Figura 3 – Creazione del progetto con vincoli

Figura 4 – Una parte del nostro progetto sperimentale.

Poi abbiamo fatto i biscotti…

Utilizzo di JMP per analizzare i dati

Dopo aver sfornato i biscotti, dovevamo misurarne lo spessore. Non ci credereste! Non avevamo un righello molto buono. Non riuscivamo a misurare niente sotto 1 mm. Sapevamo sicuramente che avevamo un biscotto sottile, ma non sapevamo esattamente quanto fosse sottile. Il nostro limite di rilevamento era 1 mm.

Inizialmente abbiamo semplicemente inserito uno "zero" per lo spessore dei biscotti che non potevamo misurare, quelli al di sotto del nostro limite di rilevamento. Ricordate, sapevamo di avere un biscotto, quindi "zero" non poteva essere giusto, ma abbiamo pensato di provarci.

Questi dati sono stati facili da analizzare. Abbiamo semplicemente utilizzato il comando "Fit Model" con la personalità "Standard Least Squares".

Per comprendere come abbiamo analizzato i dati censurati, abbiamo bisogno di un piccolo background.

Stima della massima verosimiglianza

Sebbene Least Squares sia un'eccellente tecnica per adattare i dati ai modelli, non è facile da usare con i dati censurati. Un'altra tecnica, Maximum Likelihood Estimation, è molto più facile da usare con i dati censurati. JMP usa Maximum Likelihood Estimation in vari momenti nel comando "Fit Model" (ad esempio, se si sceglie l'opzione "Generalized Linear Models"), tuttavia offre un'opzione solo per i dati censurati nella piattaforma Parametric Survival.

Avevamo bisogno di "convincere" JMP a fare ciò che volevamo.

La piattaforma di sopravvivenza parametrica

La piattaforma "Parametric Survival" di JMP utilizza la Maximum Likelihood Estimation e offre la possibilità di analizzare dati censurati. È progettata per funzionare con risposte "Time to Failure" (tempo al fallimento), non con altezze dei cookie, ma si è rivelata facile da aggirare. Quando JMP chiede "Time to Event", basta scegliere "Cookie Height" (altezza del cookie), come nella Figura 5.

Scelta di una distribuzione

La piattaforma Parametric Survival richiede di scegliere una distribuzione. La distribuzione Normale sarebbe stata la nostra prima scelta, ma non era disponibile. Abbiamo scelto la distribuzione logNormale perché ha una grande capacità di impersonare la distribuzione Normale. Inoltre, poiché eravamo vicini all'altezza zero, una distribuzione Normale avrebbe potuto modellare il rumore che avrebbe consentito previsioni di altezza negativa (qualcosa che non si desidera mai in un biscotto!). La distribuzione logNormale evita questo fastidio.

Aggiungere una colonna “Censore”

Aggiungere una colonna censor alla tabella ci consente di dire a JMP quali esecuzioni contengono dati censurati (dati al di sotto del limite di rilevamento). Li tratterà in modo diverso rispetto al resto delle misurazioni. (Non li tratterà come se fossero zero, li gestirà in modo più sofisticato.)

Ottimizzazione della ricetta: mediana vs media

L'ottimizzatore nella piattaforma Parametric Survival tratta la "probabilità di fallimento" come un fattore. Questo non è necessario per la nostra analisi, quindi a quale valore dovremmo impostarlo?

Di solito nella metodologia della superficie di risposta, stiamo prevedendo il valore medio. Poiché ci aspettiamo che la distribuzione logNormale si avvicini alla distribuzione Normale, la mediana dovrebbe essere piuttosto vicina alla media. Se impostiamo la "Probabilità di guasto" a 0,5 dovremmo ottenere ciò di cui abbiamo bisogno. Figura 6

Figura 5 – La piattaforma di sopravvivenza parametrica

mostra come "bloccare" la "Probabilità di fallimento" sulla mediana.

Nota anche che la risposta sarà sempre etichettata "Tempo". Ovviamente, sai che in realtà è "Altezza del biscotto".

Puoi aggiungere le "Desirability Functions" e impostare le Desirability come al solito. Puoi anche trovare lo "Sweet Spot" usando "Maximize Desirability" come al solito.

Se si desidera creare grafici di contorno, sarà necessario salvare la formula di previsione e utilizzare il "Contour Profiler" in "Grafico".

Figura 6 – Il profiler dei quantili

Risultati

Quindi cosa abbiamo scoperto?

Per prima cosa, abbiamo tirato fuori un righello davvero buono, così da poter conoscere lo spessore effettivo del biscotto (è stato piuttosto difficile e ci ha preso molto tempo). Poi siamo stati in grado di creare un grafico Actual vs. Predicted (vedi Figura 7). Questo non raccontava tutta la storia, perché ometteva il rumore. Quindi abbiamo anche creato un grafico Actual vs. Residuals (vedi Figura 8). Guardando i due, puoi vedere che i risultati erano simili. I residui erano di dimensioni simili con una distorsione diversa.

Successivamente abbiamo previsto gli Sweet Spot con entrambi i modelli. Entrambi i modelli hanno previsto essenzialmente lo stesso Sweet Spot, differendo solo leggermente nel tempo di cottura previsto (vedere Figure 9 e 10). Abbiamo cotto 50 biscotti per ogni Sweet Spot e confrontato i risultati (vedere Figura 11).

Figura 7 – Curve effettive e previste

Figura 8 – Curve effettive vs. curve residue

Figura 9 – Il punto ottimale per l’analisi dei dati censurati

Figura 10 – Il punto ottimale per l’analisi dei dati azzerati

I due Sweet Spot hanno prodotto lo stesso spessore del biscotto . Abbiamo trovato essenzialmente lo stesso Sweet Spot con entrambi i modelli, quindi la tecnica di analisi non ha avuto importanza per trovare uno Sweet Spot.

Osservate più da vicino le Figure 9, 10 e 11. Sebbene prevedessero lo stesso Sweet Spot, la previsione effettiva del modello censurato era più accurata. Anche i limiti di confidenza per la previsione del modello censurato erano più vicini alla realtà. Quindi, se avete bisogno di previsioni accurate, il modello censurato è migliore.

Figura 11 – Confronto Sweet Spot

Abbiamo avuto davvero 2 problemi

1. Avevamo censurato i dati.
2. Avevamo bisogno di modellare il rumore con una distribuzione che non prevedesse altezze negative dei cookie.

Il modello con i dati azzerati non ha affrontato nessuno di questi problemi. Il modello che tiene conto dei dati censurati ha preso in considerazione entrambi questi problemi. Una domanda naturale è: "Affrontare solo uno di questi problemi produrrebbe risultati buoni quanto il modello censurato?"

Sebbene non abbiamo un modo semplice per testare il problema 1 (non abbiamo modo in JMP di esaminare i dati censurati con una distribuzione normale), possiamo esaminare il problema 2. Non possiamo utilizzare facilmente la piattaforma Generalized Linear Models poiché non può essere utilizzata con le miscele. Tuttavia, possiamo effettuare una trasformazione logaritmica dei nostri dati e analizzarli con Standard Least Squares. Ciò ha l'effetto di trattare i dati come se fossero distribuiti logNormalmente.

Un problema con questo approccio è che azzerare i dati non funziona. Invece, abbiamo sostituito gli zeri con la media dell'intervallo censurato (0,5). Ovviamente stavamo ancora mentendo a JMP ! Abbiamo anche analizzato questi dati senza la trasformazione logaritmica per il confronto.

I risultati di questa analisi sono nelle Figure 12 e 13. Si noti che gli Sweet Spot sono identici all'adattamento dei minimi quadrati standard per dati distribuiti normalmente utilizzando zeri. Tuttavia, le previsioni di 0,63 con limiti di confidenza al 95% di 0,53 e 0,76 per la trasformazione logaritmica e 0,68 con limiti di confidenza al 95% di 0,42 e 0,93 per la media dell'intervallo censurato sono molto migliori della previsione per l'analisi dei dati azzerati. Un confronto di tutti e quattro i modelli è nella Figura 14.

Figura 12 – Il punto ottimale per l’analisi della trasformazione del registro

Figura 13 – Il punto ottimale per l’analisi della media dell’intervallo

Figura 14 – Grafici effettivi e residui per tutti e tre i modelli

Si può vedere che sia il modello di dati censurati che il modello trasformato in logaritmo hanno previsto abbastanza bene: il modello censurato ha previsto un po' alto, il modello trasformato in logaritmo ha previsto un po' basso. Sembra che usare la distribuzione logNormale non fosse necessario.

Riepilogo

1. L'assegnazione di "zero" alle risposte al di sotto del limite di rilevamento ha prodotto risultati poco attendibili, ma ha prodotto uno Sweet Spot valido.
2. Assegnazione della media dell'intervallo censurato alle risposte al di sotto del limite di rilevamento previstobene eha prodotto uno Sweet Spot praticabile.In generale è improbabile che ciò funzioni: sembra che questa volta siamo stati fortunati.
3. Una trasformazione logaritmica del set di dati in (2) ha prodotto risultati simili a (2) con una avvertenza simile.
4. Utilizzo della piattaforma Parametric Survival di JMP con dati censurati e una distribuzione logNormale per modellare il rumoreprevistobene eha prodotto uno Sweet Spot praticabileper la mediana. In generale, è probabile che questa sia la soluzione migliore.

Conclusione

Nel nostro lavoro abbiamo incontrato due problemi:

1. Dati censurati
2. Avevamo bisogno di modellare il rumore in modo da evitare valori negativi (almeno nella fascia bassa).

Grazie ai nostri dati siamo riusciti a risolvere questi problemi in due modi:

1. Eseguire l'analisi con dati censurati e una distribuzione logNormale utilizzando la Parametric Survival Platform.
2. Analizzare la trasformazione logaritmica dei dati con i valori censurati sostituiti dalla media dell'intervallo utilizzando i minimi quadrati standard.

Come si è scoperto, la distribuzione normale ha funzionato bene in questo caso: non sono state previste altezze negative dei cookie.

Entrambi questi metodi hanno previsto meglio del semplice azzeramento dei dati al di sotto del limite di rilevamento. Entrambi i metodi hanno trovato essenzialmente lo stesso Sweet Spot.

Quindi cosa abbiamo imparato veramente ?

1. L'assegnazione di zeri per valori sconosciuti ha funzionato abbastanza bene. Ciò è stato probabilmente dovuto alla fortuna. Non ci aspetteremmo che funzionasse per tutti i set di dati.
2. Assegnare la media dell'intervallo censurato ha funzionato meglio, ma probabilmente è stata solo fortuna. Non ci aspetteremmo che questa fosse una buona strategia in generale.
3. La piattaforma Parametric Survival di JMP ci ha permesso di analizzare i dati come censurati, anche se in questo caso non ha prodotto risultati migliori della media dell'intervallo censurato. Nonostante ciò, è probabile che questa sia la strategia migliore in futuro. Mentre (1) e (2) sono semplicemente delle ipotesi, la stima di massima verosimiglianza dietro la piattaforma Parametric Survival è ben consolidata.
4. Per noi hanno funzionato bene sia la distribuzione normale che quella lognormale.

E ora abbiamo condiviso la nostra avventura (e il nostro apprendimento) con voi. Ora è il momento dei biscotti!

Cerchi altro?

Ecco alcuni riferimenti interessanti per ulteriori informazioni:

Russell B. Millar, Stima della massima verosimiglianza e inferenza: con esempi in R, SAS e ADMB , J. Wiley and Sons, 2011, ISBN Tel. 978-0470094822 .

http://ussynthetic.com/ (per informazioni su US Synthetic)

http://www.ObjectiveExperiments.com (per informazioni su formazione e workshop)

http://www.jmp.com/ (per informazioni sul software JMP)

http://en.wikipedia.org/wiki/Censoring_(statistiche) (per una buona spiegazione della censura)

http://mathworld.wolfram.com/MaximumLikelihood.html (per una breve spiegazione della stima di massima verosimiglianza)

http://en.wikipedia.org/wiki/Chocolate_chip_cookie (per la storia del biscotto con gocce di cioccolato)

Informazioni sugli autori

Julie Kidd è un'ingegnere dei materiali presso US Synthetic. Le sue specialità sono i sistemi ceramici e compositi e la caratterizzazione dei materiali, tra cui la metallurgia forense e l'analisi dei guasti.

Heather Schaefer è un'ingegnere dei materiali presso US Synthetic. Le sue specialità sono i materiali energetici fusi e pressati, con un'enfasi sullo sviluppo di flare esche a infrarossi.

Insieme stanno attualmente sviluppando diamanti sintetici migliorati per l'industria petrolifera e del gas.

Bill Kappele èPresidente di ObEsperimenti oggettivi.È responsabile dell'erogazione e dello sviluppo dei corsi.GiuliaE Ericaho imparato la progettazione degli esperimenti da Bill.