Introduzione
Benvenuti all'episodio conclusivo della nostra serie DOE sul riempimento degli spazi! Dopo aver definito il nostro quadro di riferimento e la metodologia di valutazione nei post precedenti, presentiamo ora i risultati completi del nostro studio comparativo. I risultati forniscono indicazioni chiare su quando e come selezionare il design di riempimento degli spazi più appropriato per la vostra specifica applicazione.
Sintesi dei risultati principali
La nostra analisi, condotta su quattro tipologie di design, tre impostazioni di dimensionalità e tre condizioni di dimensione del campione per ciascun fattore, rivela diverse interessanti considerazioni in termini di prestazioni del design e tempo di calcolo.
Come già dettonel post precedente di questa serieL'analisi dei risultati viene effettuata attraverso due diverse metodologie: una classificazione dei tipi di progettazione in base a diverse impostazioni di dimensionalità e dimensione del campione (Figura 1) e un approccio di modellazione in cui la discrepanza delle risposte, MaxPro e le risposte temporali vengono modellate in base ai fattori (Figura 2).
Figura 1: Classifica dei risultati per tutte le risposte.
Figura 2: Profilo di previsione e importanza delle variabili per tutte le risposte.
Come previsto, non esiste una soluzione di design universale che occupi lo spazio in modo ottimale tra le diverse configurazioni testate. Il contesto determina la scelta ottimale e, in particolare, la dimensionalità e il numero di punti per fattore hanno un impatto significativo sulle prestazioni del progetto, così come sul tempo di calcolo richiesto.
Il riempimento rapido e flessibile è la soluzione migliore in termini di proprietà di proiezione (criterio MaxPro).
La configurazione uniforme è la migliore per le sue proprietà di copertura/uniformità dello spazio (criterio di discrepanza), ma il tempo di generazione necessario per calcolarla è il più elevato e può diventare rapidamente proibitivo.
È interessante notare che le prestazioni del progetto dipendono fortemente dalle interazioni tra dimensione del campione e dimensionalità, poiché le prestazioni relative possono variare con il numero totale di esecuzioni per un numero specifico di fattori.
Classificazione dei risultati per tipologia di design
Utilizzando gli script presentati nel secondo post di questa serie, le risposte continue possono essere trasformate in classifiche, in cui le prestazioni dei quattro modelli per ogni scenario di dimensionalità e dimensione del campione sono valutate da 1 (modello migliore) a 4 (modello peggiore).
- Confronto della proprietà di copertura dello spazio (discrepanza):
- I progetti uniformi mostrano le migliori prestazioni di copertura dello spazio in tutte le impostazioni di dimensionalità e dimensione del campione. Non sorprende, dato che i progetti uniformi tendono a distribuire i punti in modo da seguire una distribuzione uniforme il più fedelmente possibile,come visto nel primo post di questa serie, quindi ci si aspetta che le loro prestazioni in relazione alla metrica della discrepanza siano buone.
- I modelli a ipercubo latino, che distribuiscono i punti simulando una distribuzione uniforme, si classificano al secondo posto per le loro buone prestazioni in termini di copertura dello spazio.
- Infine, i progetti veloci e flessibili, che bilanciano la copertura dello spazio e le proprietà di proiezione, e i progetti di impacchettamento di sfere, che distribuiscono i punti il più possibile all'interno della regione di progettazione, si collocano rispettivamente al terzo e all'ultimo posto (Figura 3).
Figura 3: Classificazione della discrepanza dei progetti per tutte le configurazioni di test in termini di dimensionalità e dimensione del campione (valore inferiore è migliore).
- Confronto delle proprietà di proiezione (MaxPro):
- Le soluzioni di riempimento rapide e flessibili offrono prestazioni di proiezione ottimali in ogni situazione.
- Per campioni di dimensioni medie (20 prove per fattore) e grandi (100 prove per fattore), i modelli uniformi mostrano prestazioni migliori rispetto ai modelli ipercubici latini.
- I modelli di impacchettamento di sfere hanno una statistica MaxPro non definita perché i punti possono avere valori identici per una dimensione, quindi non vengono visualizzati nelle classifiche (Figura 4).
Figura 4: Classifica MaxPro dei progetti per tutte le configurazioni di test in termini di dimensionalità e dimensione del campione (valore inferiore è migliore).
- Confronto della generazione dei tempi di progettazione:
- I progetti basati sull'ipercubo latino mostrano i tempi di generazione del progetto più rapidi in quasi tutte le configurazioni di dimensionalità e dimensione del campione.
- Per campioni di dimensioni medio-grandi (20 prove per fattore) e grandi (cento prove per fattore), la progettazione flessibile veloce rappresenta una scelta molto competitiva anche per la sua velocità di generazione del progetto.
- I modelli di impacchettamento di sfere sono generalmente più lenti da calcolare, e i modelli uniformi sono i più lenti in assoluto (Figura 5).
Figura 5: Classifica dei tempi di generazione dei progetti per tutte le configurazioni di test di dimensionalità e dimensione del campione (valore inferiore è migliore).
Risultati della modellazione
Utilizzando lo script del modello modificato presentato nel secondo post di questa serie, i modelli vengono avviati sulle tre risposte discrepanza, MaxPro e Tempo. Per ciascuna di queste risposte, possiamo notare che l'adattamento del modello non sembra adeguato (Figura 6).
Figura 6: Grafico dei valori effettivi rispetto ai valori previsti per il modello di discrepanza della risposta iniziale.
Inoltre, nei residui si può osservare un andamento non normale e non casuale (Figura 7).
Figura 7: Visualizzazioni dei residui che mostrano modelli non casuali e non normali.
Si presume che i valori residui siano distribuiti casualmente attorno allo zero, in modo che la variazione della risposta sia completamente spiegata dagli effetti inclusi nel modello. Se si osserva un andamento non casuale, la natura di tale andamento può indicare potenziali problemi con il modello. In questo caso, un effetto di curvatura, la non normalità dei residui e l'eteroschedasticità (varianza non omogenea) possono suggerire la necessità di una trasformazione dei dati per risolvere questi problemi. Poiché i dati coprono un intervallo di scala molto diverso (Figura 8), una trasformazione logaritmica (o trasformazione di Box-Cox con λ=0) sembra appropriata.
Figura 8: Risultati di una distribuzione lognormale adattata alla risposta di discrepanza.
Questa valutazione è confermata dalla valutazione della trasformazione Box-Cox fornita da JMP, che mostra un valore raccomandato per λ molto vicino a 0 (Figura 9).
Figura 9: Risultato del pannello delle trasformazioni di Box-Cox per la risposta alla discrepanza.
Sotto il triangolo rosso delle trasformazioni Box-Cox (disponibile nel triangolo rosso accanto a Risposta […] in Profilazione fattoriale > Trasformazione Box-Cox Y ), selezioniamo Sostituisci con Trasforma e un valore lambda di 0 per sostituire automaticamente l'adattamento del modello con uno a cui è stata applicata la trasformazione logaritmica ai nostri dati. I modelli ora sembrano adeguati per l'analisi dei dati degli esperimenti.
- Risultati della modellazione della risposta alla discrepanza:La maggior parte della variazione della risposta di discrepanza è spiegata dal rapporto dei fattori exp/fattori e dal tipo di disegno sperimentale. Anche la dimensionalità (numero di fattori) è un fattore importante, ma con un'importanza relativamente inferiore rispetto ai due fattori menzionati in precedenza (Figura 2). Sono stati rilevati effetti di interazione, ma il loro impatto sulla variazione della discrepanza è relativamente basso rispetto agli effetti principali. È stato rilevato un effetto quadratico molto importante per il rapporto dei fattori exp/fattori (Figura 10).
Figura 10: Grafico della dimensione dell'effetto per la risposta alla discrepanza.
L'impatto della scelta del tipo di progettazione sul valore della discrepanza può essere visualizzato semplicemente mostrando il valore della discrepanza misurato dal rapporto exp/fattori per ogni numero di scenari di fattori analizzati nel DOE (Figura 14).
- Risultati della modellazione della risposta di MaxPro:La maggior parte della variazione della risposta MaxPro è spiegata dal rapporto tra i fattori exp/fattori e dal tipo di disegno sperimentale. Anche la dimensionalità (numero di fattori) è un fattore importante, ma con un'importanza relativamente inferiore rispetto ai due fattori menzionati in precedenza (Figura 2). Il modello rileva effetti di interazione moderati che coinvolgono i tre fattori. Un effetto quadratico molto importante viene rilevato per il rapporto tra i fattori exp/fattori (Figura 11).
Figura 11: Grafico della dimensione dell'effetto per la risposta MaxPro.
L'impatto della scelta del tipo di progettazione sulla metrica MaxPro può essere visualizzato semplicemente mostrando il valore MaxPro misurato dal rapporto exp/fattori per ogni numero di scenari di fattori analizzati nel DOE (Figura 14).
- Risultati della modellazione relativi ai tempi di generazione del progetto:I tre fattori tipo di progettazione, numero di fattori e rapporto exp/fattori hanno un'importanza simile ed elevata sulla risposta del tempo di generazione della progettazione (Figura 2). Sono state rilevate interazioni importanti tra i tre fattori, che mostrano come la differenza nel tipo di metodo di generazione dei punti possa influenzare il tempo di generazione della progettazione (Figura 12). Il tipo di progettazione ipercubo latino sembra particolarmente adatto a scenari ad alta dimensionalità e con un elevato numero di campioni (numero di punti per fattore), mentre i progetti uniformi potrebbero essere più adatti a scenari a bassa dimensionalità e con un numero ridotto di campioni.
Figura 12: Grafico della dimensione dell'effetto per la risposta temporale.
L'impatto della scelta del tipo di progetto sul tempo di generazione del progetto può essere visualizzato semplicemente mostrando il tempo di generazione del progetto misurato dal rapporto exp/fattori per ogni numero di scenari di fattori analizzati nel DOE (Figura 13).
Figura 13: Evoluzione del tempo di generazione del progetto in funzione dei fattori tipo di progetto, numero di fattori e rapporto exp/fattori.
Approfondimenti chiave
I punti di forza specifici del progetto diventano più pronunciati con dimensioni del campione maggiori. All'aumentare della dimensione del campione, sono presenti meno lacune nelle distribuzioni di ciascun fattore, riducendo la discrepanza. Tuttavia, all'aumentare del numero di punti, le distanze tra i punti si riducono, aumentando il valore del criterio MaxPro. È interessante notare che esiste un compromesso da raggiungere tra la discrepanza e il criterio MaxPro, a seconda del numero di prove per fattore. Il compromesso è chiaramente visibile nell'intervallo tra 60 e 80, dove è necessario stabilire una priorità per il criterio di prestazione del progetto tra la discrepanza e le metriche MaxPro (Figura 14).
Nel caso della modellazione MaxPro, si può notare un cambiamento per quanto riguarda le prestazioni dei modelli Latin Hypercube e Fast Flexible Filling in relazione alla dimensionalità (numero di fattori): quando il rapporto tra il numero di esperimenti per fattore è intorno a 70, entrambi questi modelli presentano valori MaxPro crescenti con il numero di fattori.
Figura 14: Evoluzione della discrepanza e dei valori MaxPro in funzione dei fattori di progettazione.
I modelli uniformi diventano computazionalmente proibitivi per dimensionalità elevata e/o campioni di grandi dimensioni. Il compromesso tra prestazioni e velocità favorisce modelli diversi a seconda dello scenario. Per riassumere i diversi punti di forza e di debolezza di ciascun modello, viene fornita una tabella con i risultati (Tabella 1).
Linee guida pratiche per la selezione/Quadro decisionale
Fase 1: Valuta il contesto sperimentale
- Dimensionalità dello spazio fattoriale (numero e tipo di fattori)
- Caratteristiche di risposta attese (livello di rumore)
- vincoli relativi alla dimensione del campione
- Risorse computazionali disponibili
Passaggio 2: Applicare le regole di selezione
- Alta dimensionalità:Evitare disegni uniformi
- Tipologie miste di fattori e/o presenza di vincoli:Utilizzare sistemi di riempimento rapidi e flessibili
- Risposta rumorosa:Preferisci i progetti di confezionamento sferico o usa prima un DOE basato su screening/modelli
- Dimensioni ridotte del campione: CreareDisegni a ipercubo uniforme o latino
- Necessità di tempi di generazione del progetto rapidi: GeneraIpercubo latino o design di riempimento rapido e flessibile
Riepilogo: Confronto tra progetti di riempimento dello spazio
Tabella 1: Riepilogo dei risultati per tipologia di progetto di riempimento dello spazio.
Si noti che un trattamento del disegno fattoriale completo (disegno uniforme con nove fattori e 100 prove per fattore) non è stato possibile a causa degli elevati tempi di calcolo (Figura 15):
Figura 15: Messaggio JMP visualizzato per il progetto uniforme combinato, composto da nove fattori e 100 prove per fattore.
Il calcolo di progettazione è stato interrotto prima del completamento per questa configurazione. Anche se questo esperimento non fosse stato incluso nella progettazione fattoriale completa, l'analisi avrebbe potuto essere condotta senza problemi.
Limitazioni e prospettive future
Limitazioni dello studio
- I limiti computazionali hanno impedito l'esecuzione di test con la dimensionalità più elevata.
- Concentrarsi su fattori continui senza vincoli per consentire la sperimentazione di diverse tipologie di progetto.
Ricerche future
- Integrazione con strategie di apprendimento attivo (ottimizzazione bayesiana)
- Confronto delle prestazioni con diversi modelli di apprendimento automatico
- Robustezza/sensibilità al rumore nella risposta
Conclusioni e raccomandazioni
La nostra valutazione completa fornisce prove inequivocabili del fatto che la selezione del design per il riempimento dello spazio dovrebbe essere guidata da specifiche caratteristiche sperimentali piuttosto che da scelte predefinite.
Punti chiave
- Non esiste un vincitore universale; il contesto determina la scelta ottimale.
- La dimensionalità è fondamentale.
- Il design di riempimento rapido e flessibile è il design migliore per le proprietà di proiezione (criterio MaxPro).
- Il tipo di risposta è importante; superfici lisce e superfici complesse richiedono approcci diversi.
- Interazioni con la dimensione del campione; variazioni relative delle prestazioni in base alle esecuzioni disponibili.
Raccomandazione finale:Utilizzate il nostro quadro decisionale come punto di partenza, ma convalidate sempre le scelte progettuali con studi pilota, ove possibile.
Si conclude così la nostra serie in tre parti sui progetti di esperimenti che riempiono lo spazio:
- Introduzione alle tipologie più comuni di progetti di riempimento dello spazio
- Quadro comparativo e parametri di valutazione
- Risultati, analisi e linee guida per la selezione del progetto(questo post)
Grazie per aver seguito questa serie! Spero che questi spunti vi aiutino a prendere decisioni più consapevoli riguardo all'arredamento degli spazi nei vostri progetti.
Risorse e ulteriori letture
- Configurazione utilizzata per lo studio:
- Processore: Intel(R) Core(TM) i9-11900H di undicesima generazione a 2,50 GHz (2,50 GHz)
- RAM installata: 64,0 GB (63,7 GB utilizzabili)
- Tipo di sistema: sistema operativo a 64 bit, processore x64
- Script JMP per la generazione e la valutazione del progetto
- Tabelle dei risultati estese e visualizzazioni
- Riferimenti:
- “ Progettazione di esperimenti e apprendimento automatico per l’innovazione di prodotto: una revisione sistematica della letteratura ”, di Rosa Arboretti, Riccardo Ceccato, Luca Pegoraro, Luigi Salmaso,https://doi.org/10.1002/qre.3025
- “Scelte progettuali e prestazioni dei modelli di apprendimento automatico”, by Rosa Arboretti, Riccardo Ceccato, Luca Pegoraro, Luigi Salmaso, https://doi.org/10.1002/qre.3123
- “ Progettazione di riempimento dello spazio per esperimenti al computer: una rassegna ”, di Joseph VR, Qual Eng. 2016; 28: 28-35.https://doi.org/10.1080/08982112.2015.1100447
- Portale di conoscenze statistiche:Presupposti del modello di regressione | Introduzione alla statistica | JMP
Ciao @Victor_G ,
Grazie per i tuoi articoli, sono stati davvero utili.
Ho una domanda relativa alla scelta tra Latin Hypercube Design e Fast Flexible Design per la simulazione al computer.
Considerare i fattori sottostanti;
A: intervallo: 0 -1 (valori continui)
B: intervallo: 1-100 (tutti i valori interi compresi nell'intervallo)
C: intervallo: 1-5 (tutti i valori interi compresi nell'intervallo)
Domanda: JMP consiglia di utilizzare il disegno FFF per i fattori discreti. Tuttavia, il Fattore B e il Fattore C sono tecnicamente discreti, ma dovrebbero contenere tutti i numeri interi in quell'intervallo (1, 2, 3, 4,..., 100). Non voglio che accettino valori decimali per la simulazione. Quale disegno dovrei usare?
JMP offre un'opzione per impostare la larghezza dei valori dei fattori, che mi permette di rimuovere il decimale nell'ipercubo latino. Non sono sicuro che ciò abbia implicazioni sull'analisi.
Posso trattare i fattori come continui in LHD e regolare la larghezza, oppure utilizzare un qualche tipo di arrotondamento per ottenere valori interi?
La documentazione JMP fornita per l'ipercubo latino considera l'input continuo, ma la tabella di progettazione finale ha valori interi.
https://www.jmp.com/support/help/en/19.0/index.shtml#page/jmp/example-of-creating-a-latin-hypercube-design.shtml#
Ciao @Divya123rama ,
Grazie per il tuo gentile commento.
Riguardo alla tua domanda, ecco cosa penso:
Come forse avrete già letto nella prima parte di questa serie di blog "Esplorazione dei progetti di riempimento dello spazio - Parte 1: Introduzione ai tipi comuni di fi..." - Community di utenti JMP , i progetti di ipercubo latino creano un numero di intervalli pari al numero di esecuzioni desiderate nel progetto finale. A seconda del numero di esecuzioni desiderate nel progetto finale, questo influirà sul numero di intervalli per i fattori e su quanto l'arrotondamento per eccesso dei valori possa influire sul progetto. Nell'esempio mostrato dalla Guida di JMP, il progetto include 8 esecuzioni per l'intervallo di fattori da 1 a 8, quindi l'ipercubo latino crea intervalli di larghezza 1, in modo che ciascuno degli 8 intervalli venga utilizzato nel progetto. Quando si hanno intervalli di fattori pari al numero di esecuzioni, gli intervalli diventano valori interi discreti.
Nel tuo caso, hai due intervalli di fattori molto diversi: in genere, per il fattore con un intervallo discreto piccolo (1-5), il numero di intervalli può sempre essere maggiore del numero possibile di valori tra cui scegliere in quell'intervallo (5). Quindi, userei un fattore numerico discreto per questo, poiché potresti ritrovarti con molti valori ripetuti arrotondando i valori nel disegno, il che potrebbe influire sulle proprietà di copertura e proiezione del tuo disegno.
Esempio con progetto di ipercubo latino con 30 esecuzioni e solo fattori continui (B e C vengono arrotondati per eccesso dopo la generazione del progetto per avere solo valori interi):
Esempio con progettazione Fast Flexible Filling con 30 esecuzioni, fattori continui A e B (B viene arrotondato per eccesso dopo la generazione della progettazione) e C è un valore numerico discreto:
Esempio con progettazione Fast Flexible Filling con 30 esecuzioni, A continua, B e C numerica discreta:
Sembra che la ripartizione delle esecuzioni tra la seconda e la terza situazione sia piuttosto simile, ed entrambe utilizzano il design Fast Flexible Filling a causa della presenza di almeno un fattore numerico discreto. La prima situazione si ottiene forzando una generazione LHD con soli fattori continui, prima di arrotondarli per eccesso. Questa situazione non sembra ottimale, poiché la distribuzione dei punti appare clusterizzata, con lacune ai bordi dello spazio sperimentale.
In questo caso consiglierei di utilizzare il design Fast Flexible Filling, con l'opzione 2 o 3.
Spero che questa risposta ti sia d'aiuto,
Victor, la tua serie in tre parti sui progetti che riempiono gli spazi è stata chiara e utile.
Per molte applicazioni, i progetti FFF con analisi successiva dei dati di risposta con metodi ML, come i modelli di ensemble autovalidanti, sembrano un'ottima scelta per processi con superfici di risposta note o che si prevede siano complesse.
Un vantaggio significativo dei progetti Space Filling è che è meno necessario testare il modello predittivo, grazie ai vuoti relativamente piccoli nello spazio di progettazione. I vuoti in un tipico progetto CCD o Optimal assomigliano al Rub' Al Khali rispetto ai vuoti in un progetto Space Filling. Questo vantaggio si traduce in un flusso di lavoro DOE più semplice e in un miglioramento dell'economia DOE.
Grazie!
Stephen Czupryna, Istituto Pyzdek, Prescott Valley, Arizona, Stati Uniti
Ciao @SteveCz ,
Grazie mille per il tuo gentile commento e feedback!
Sono d'accordo, i progetti Fast Flexible Filling sono un'ottima scelta, con buone prestazioni di proiezione e discrepanza, un'ampia varietà di applicazioni grazie alla gestione di diversi tipi di fattori e vincoli e un tempo di generazione computazionale ridotto.
Sì, con i progetti Space Filling e la modellazione di Machine Learning si punta a trovare un modello in grado di interpolare in modo fluido (a seconda dell'algoritmo scelto e dell'ipotesi di comportamento della risposta) tra i punti di progettazione. Per convalidare la pertinenza e l'utilità del modello adattato, è possibile utilizzare metodi di convalida specifici come Leave-One-Out e Self-Validated Ensemble Models. Per alcuni modelli semplici come Random Forests e Support Vector Machines, è anche possibile controllare alcuni valori chiave degli iperparametri (profondità dell'albero per RF, penalità e curvatura per SVM) per prevenire e valutare il rischio di overfitting e scegliere valori di iperparametri rilevanti.
Infine, niente è meglio delle esecuzioni di convalida: è sempre una buona idea confermare la validità del modello eseguendo nuovi esperimenti in posizioni interessanti (risultati migliori/peggiori, area con maggiore distanza dai punti di progettazione, ecc.)
Migliore,
