Introduzione
Benvenuti alla prima parte della nostra serie di tre articoli sul blog, dedicata all'esplorazione dei modelli di esplorazione dello spazio (DOE). In un'epoca in cui l'apprendimento automatico, la sperimentazione computazionale e la simulazione rivestono un ruolo sempre più cruciale nella ricerca e nello sviluppo, gli approcci tradizionali alla progettazione sperimentale a volte non riescono a esplorare in modo efficiente spazi fattoriali complessi e continui. È qui che i modelli di esplorazione dello spazio si rivelano vincenti.
Che cosa sono i progetti che riempiono lo spazio?
I disegni di riempimento dello spazio sono un tipo di progettazione di esperimenti (DOE) indipendente dal modello, che mira a distribuire uniformemente i punti di progettazione nell'intera regione sperimentale, massimizzando la distanza tra due punti qualsiasi e la copertura dello spazio di progettazione con un numero limitato di prove. L'analisi dei risultati spesso implica l'uso di semplici modelli di apprendimento automatico (come processi gaussiani, macchine a vettori di supporto e foreste casuali) in grado di modellare e approssimare risposte complesse e non lineari.
I modelli di riempimento dello spazio sono originariamente utilizzati per esperimenti numerici, in ambiti in cui gli esperimenti sono impossibili, complessi, costosi e/o richiedono troppo tempo. Pertanto, i fenomeni vengono spesso studiati utilizzando simulazioni numeriche, ma il tempo di calcolo può essere molto lungo a causa della crescente complessità e precisione dei modelli. Per evitare di eseguire simulazioni casuali e consentire una buona copertura dello spazio di simulazione, i modelli di riempimento dello spazio vengono utilizzati per distribuire uniformemente le esecuzioni computazionali nello spazio studiato. I modelli di riempimento dello spazio in genere non includono repliche, poiché le simulazioni numeriche sono deterministiche e producono output identici per input identici, eliminando la necessità di esecuzioni ripetute per stimare la variabilità. I modelli di riempimento dello spazio si trovano in diversi settori, come quello petrolifero, astronomico, ottico, nucleare, ecc.
Grazie a modelli di riempimento dello spazio e di apprendimento automatico, è possibile ottenere rapidamente un'approssimazione precisa dei modelli di simulazione (chiamata "modello surrogato" o metamodellazione). I modelli surrogati vengono utilizzati per rappresentare e approssimare i risultati di modelli di simulazione complessi e, rispetto a questi ultimi, sono più semplici, compatti e in genere meno onerosi dal punto di vista computazionale. Poiché i modelli surrogati approssimano il comportamento di sistemi più complessi, consentono di esplorare lo spazio di progettazione di un sistema complesso, di comprenderlo meglio, di ottimizzarlo e di eseguire simulazioni di validazione in tempi molto più brevi.
Caratteristiche principali
I progetti che riempiono lo spazio offrono caratteristiche chiave per quanto riguarda la ripartizione dei punti e il loro utilizzo previsto:
- Distribuzione uniforme dei punti nello spazio di progettazione.
- Nessuna ipotesi sulla forma del modello sottostante.
- Particolarmente adatto a scopi predittivi in esperimenti a basso rumore e in simulazioni al computer.
- Ideale per risposte complesse e non lineari.
Perché scegliere progetti che riempiono lo spazio rispetto ai classici progetti DOE?
Figura 1: Approcci alla progettazione degli esperimenti
Limitazioni tradizionali del Dipartimento dell'Energia
- Presuppone l'utilizzo di termini specifici del modello (effetti principali, interazioni, effetti quadratici, ecc.).
- Potrebbe lasciare inesplorate ampie zone dello spazio di progettazione.
- Ottimizzato per specifici obiettivi statistici (screening e analisi quantitativa tramite stima degli effetti, previsione del modello di superficie di risposta polinomiale).
Vantaggi del riempimento dello spazio
- Esplorazione indipendente dal modello.
- Migliore comprensione globale e previsione dei comportamenti di risposta complessi.
- Ideale per simulazioni al computer, metamodellazione e modellazione predittiva (apprendimento automatico).
Tuttavia, i progetti di riempimento dello spazio spesso richiedono un numero maggiore di punti rispetto alla progettazione di esperimenti basata su modelli per ottenere un modello rilevante e predittivo.
Panoramica delle tipologie più comuni di progetti di riempimento dello spazio
La piattaforma Space Filling Design offre diverse tipologie di design per situazioni differenti con vari tipi di fattori. Per i fattori continui, i design di riempimento dello spazio hanno due obiettivi:
- Massimizzare la distanza tra due punti qualsiasi del progetto.
- Distribuire i punti in modo uniforme.
I progetti di riempimento degli spazi possono essere trovati in JMP in DOE>Special Purpose>Space Filling Design (Figura 2).
Figura 2: Menu di progettazione per riempire lo spazio
Le opzioni di progettazione per il riempimento dello spazio includono Sphere Packing, Latin Hypercube, Uniform, Minimum Potential, Maximum Entropy, Gaussian Process IMSE Optimal e Fast Flexible Filling.
| Programmi |
Uniforme |
Impacchettamento di sfere (Maximin) |
Ipercubo latino |
Riempimento rapido e flessibile |
| Punti di forza |
Eccellente copertura dello spazio, uniformità matematicamente ottimale |
separazione ottimale dei punti |
Buone proiezioni unidimensionali, facili da generare |
Equilibrio tra copertura spaziale e proprietà di proiezione. |
| Punti deboli |
Tempo di calcolo |
Scarse proprietà di proiezione |
Gestione senza vincoli |
Compromesso tra copertura dello spazio e proprietà di proiezione |
| Ideale per |
esplorazione spaziale di precisione |
Spazi fattoriali continui con risposte rumorose |
Screening iniziale, esperimenti al computer |
Tipologie di fattori misti, esplorazione bilanciata, gestione dei vincoli |
| Tipo di fattori |
Solo fattori numerici continui |
Solo fattori numerici continui |
Solo fattori numerici continui |
Fattori numerici, categoriali e misti, continui e discreti. |
Per valutare quanto bene i punti di progettazione raggiungano una copertura omogenea dello spazio dei parametri, la metrica di discrepanza confronta la loro distribuzione con una distribuzione uniforme teorica.
Che cos'è una distribuzione uniforme?
Una distribuzione uniforme significa che la probabilità è uguale per tutti i valori possibili all'interno di un dato intervallo.
In una distribuzione uniforme tra 0 e 1, ogni valore ha esattamente la stessa probabilità di verificarsi: non ci sono regioni o cluster preferenziali. Graficamente, ciò appare come una forma piatta e rettangolare in cui la densità di probabilità rimane costante (Figura 3).
Figura 3: Distribuzione uniforme casuale generata con 1000 punti
Maggiore è il numero di punti, più facile è approssimare una distribuzione uniforme.
Nei progetti che riempiono lo spazio, la distribuzione uniforme garantisce che i punti siano posizionati con uguale spaziatura in tutto lo spazio dei parametri. Ciò impedisce la formazione di cluster in determinate regioni lasciandone altre inesplorate, massimizzando la copertura delle informazioni con un numero minimo di calcoli. L'utilizzo di questa distribuzione assicura un campionamento imparziale: ogni posizione nello spazio di progettazione ha la stessa probabilità di essere selezionata, consentendo un'esplorazione sistematica ed efficiente del dominio del problema.
Tipi comuni di design che riempiono lo spazio
-
Progettazione dei programmi di studio
PrincipioIl principio fondamentale è quello di creare un progetto in cui la distribuzione dei punti di ciascun fattore segua, per quanto possibile, una distribuzione uniforme. Si crea così un progetto che minimizza la differenza tra i punti del progetto (che hanno una distribuzione uniforme empirica) e una distribuzione uniforme teorica. Questa differenza tra la distribuzione uniforme del progetto e quella teorica è detta discrepanza.
- Punti di forzaEccellente copertura dello spazio, uniformità matematicamente ottimale.
- DebolezzaTempo di calcolo.
- Ideale per: Esplorazione spaziale di precisione.
Figura 4: Rappresentazione di un disegno sperimentale uniforme per due fattori con 20 prove.
Si noti come la ripartizione dei punti crei una distribuzione uniforme dei punti per ciascun fattore.
Figura 5: Diagnostica di progettazione di un progetto uniforme.
La distanza minima tra due punti adiacenti è eterogenea. Con questo progetto, la discrepanza è bassa e la metrica MaxPro (proiezione massima) è elevata.
-
Disegni di impacchettamento di sfere (detti anche disegni maximin)
PrincipioCrea un progetto che massimizza la distanza minima tra coppie di punti di progetto. L'effetto di questa massimizzazione è quello di distribuire i punti il più possibile all'interno della regione di progetto. In termini visivi, questo rappresenta il problema di impilare sfere con lo stesso volume all'interno di un volume specificato, ottimizzando l'efficienza.
- Forza: Separazione ottimale dei punti.
- DebolezzaScarse proprietà di proiezione.
- Ideale per : Spazi fattoriali continui con risposta rumorosa.
Figura 6: Rappresentazione del progetto di impacchettamento delle sfere per due fattori con 20 prove.
Si noti come la ripartizione dei punti distribuisca i punti di progetto mantenendo una distanza costante tra quelli adiacenti.
Figura 7: Diagnostica di progettazione del design di impacchettamento delle sfere.
La distanza minima tra due punti adiacenti è massimizzata e simile. Con questa configurazione non è disponibile alcuna valutazione metrica MaxPro, poiché i punti possono avere valori identici per una dimensione.
-
Disegni ipercubici latini (LHD)
PrincipioIl principio di base consiste nel creare un numero di intervalli pari al numero di prove e garantire che ogni punto di progetto appartenga a un solo intervallo per ciascun fattore. Poiché molte combinazioni potrebbero generare questo risultato, viene imposto un ulteriore criterio (MaxPro) per garantire che la ripartizione dei punti non crei correlazioni tra i fattori e per assicurare buone proprietà di proiezione. Il metodo crea un progetto che massimizza la distanza minima tra i punti di progetto, ma richiede una spaziatura uniforme dei livelli di ciascun fattore. Ogni fattore ha tanti livelli quanti sono le prove nel progetto. Questo metodo produce progetti che imitano la distribuzione uniforme. Il metodo LHD rappresenta un compromesso tra il metodo di impacchettamento delle sfere e il metodo di progettazione uniforme.
- Punti di forzaProiezioni unidimensionali di buona qualità, facili da generare.
- Debolezza: Nessuno.
- Ideale per: Screening iniziale, esperimenti al computer.
Figura 8: Rappresentazione del disegno ipercubico latino per due fattori con 20 prove.
Si noti come la ripartizione dei punti crei 20 intervalli equidistanti, approssimando una distribuzione uniforme dei punti per ciascun fattore.
Figura 9: Diagnostica di progettazione del disegno ipercubico latino.
La distanza minima tra due punti adiacenti è simile. Con questo progetto, la discrepanza è bassa e la metrica MaxPro è elevata.
-
Design di riempimento rapidi e flessibili
Principio : Crea un progetto utilizzando l'algoritmo di riempimento flessibile veloce (FFF). L'algoritmo inizia generando un gran numero di punti casuali all'interno della regione di progetto specificata. Questi punti vengono quindi raggruppati, utilizzando un algoritmo di Ward veloce, in un numero di cluster pari al numero di iterazioni specificate. I punti di progetto finali possono essere ottenuti utilizzando il criterio di ottimalità predefinito di MaxPro o selezionando il criterio del baricentro.
- Forza: Equilibrio tra copertura spaziale e proprietà di proiezione.
- Debolezza : Compromesso tra copertura spaziale e proprietà di proiezione.
- Ideale per: Tipologie di fattori miste, esplorazione bilanciata, gestione dei vincoli.
Vi sembra complicato? Non temete, più avanti vi presenteremo una spiegazione dettagliata dell'algoritmo FFF!
Figura 10: Rappresentazione del progetto di riempimento rapido e flessibile per due fattori con 20 prove.
Figura 11: Diagnostica di progettazione del sistema di riempimento rapido e flessibile.
La distanza minima tra due punti adiacenti è eterogenea. Con questo design, la valutazione metrica di MaxPro risulta piuttosto elevata.
BONUS: Guida rapida all'algoritmo di riempimento flessibile
In questa sezione, riproduciamo i passaggi dell'algoritmo di riempimento flessibile veloce per comprenderne meglio i meccanismi.
- Creazione di colonne per i fattori: In questo esempio, creiamo due colonne per i due fattori continui, ciascuna con 100.000 righe e una distribuzione uniforme casuale (Figura 12).
Figura 12: Creazione delle colonne dei fattori.
Lo spazio di progettazione dovrebbe essere interamente coperto dai punti uniformi casuali creati con la formula (Figura 13).
Figura 13: Spazio di progettazione coperto da 100.000 punti uniformi casuali.
- Raggruppamento: In Analizza > Clustering , scegliamo la piattaforma Clustering gerarchico , specifichiamo i due fattori X1 e X2 in Y e selezioniamo Reparto di pronto soccorso come metodo (Figura 14).
Figura 14: Finestra di avvio del cluster gerarchico
Nel triangolo rosso accanto a Clustering gerarchico, fare clic su Numero di cluster e specificare 20 (20 è il numero di punti raccomandato da JMP per qualsiasi disegno di riempimento dello spazio con due fattori numerici continui). Quindi, nello stesso triangolo rosso, dopo aver scelto Salva medie dei cluster (Figura 15) , appare una nuova tabella con le medie dei 20 cluster.
Figura 15: Opzione di clustering gerarchico per il salvataggio delle medie dei cluster.
Possiamo anche salvare i cluster nella nostra tabella originale e aggiungere le righe delle medie dei cluster dalla tabella delle medie dei cluster. Possiamo quindi visualizzare il nostro spazio di progettazione diviso per cluster (Figura 16).
Figura 16: Spazio di progettazione suddiviso in 20 cluster.
- Filtraggio:Successivamente, filtriamo i punti casuali e conserviamo solo i punti medi del cluster. Il nostro progetto di riempimento rapido e flessibile (con criterio del centroide) è terminato!
Possiamo quindi confrontare la generazione del progetto seguendo questi passaggi con il risultato che otterremmo generando direttamente un progetto di riempimento flessibile veloce a 20 run con criterio del centroide (Figura 17).
Figura 17: Confronto tra i progetti di riempimento flessibile rapido creati manualmente con il flusso di lavoro (a sinistra) e quello creato da JMP con il criterio del centroide (a destra).
I due modelli sono molto simili!
Utilizzando lo stesso flusso di lavoro, è possibile creare un progetto di riempimento rapido e flessibile con criterio MaxPro predefinito, ma la selezione dei punti rappresentativi del cluster non sarà la media dei cluster, bensì i punti appartenenti a ciascun cluster che massimizzano il criterio MaxPro:Dettagli di progettazione per un riempimento rapido e flessibile
Criteri di selezione del progetto
Quando si sceglie tra design che riempiono lo spazio, è importante considerare:
- Obiettivo:A seconda dell'obiettivo (screening, esplorazione, modellazione predittiva precisa, ecc.) e dell'enfasi sulla generazione geometrica/distributiva, alcuni modelli potrebbero essere preferibili.
- Dimensionalità dello spazio di progettazione:La generazione di alcuni disegni che riempiono lo spazio (come i disegni uniformi) può richiedere tempi di calcolo elevati per dimensioni elevate.
- Tipologie di fattori:Se si dispone solo di fattori continui, è possibile scegliere un disegno appropriato in base all'obiettivo e alla dimensionalità. Quando si utilizzano altri tipi di fattori (numerici discreti, categorici, misti, ecc.), l'unica opzione sarà quella di utilizzare un disegno di riempimento rapido e flessibile.
- Caratteristiche di rispostae integrazione con approcci di modellazione : a seconda del rumore previsto nella risposta, nonché degli approcci di modellazione utilizzati (processo gaussiano, SVM, modelli basati su alberi, ecc.), è possibile adattare diverse configurazioni di progettazione.
- Numero di corse disponibili:A seconda dell'obiettivo, delle risposte da analizzare e del budget sperimentale disponibile, si potrebbe scegliere un disegno sperimentale che si allinei ai vincoli. Ad esempio, se si desidera esplorare in modo omogeneo uno spazio sperimentale ad alta dimensionalità utilizzando solo fattori continui e con una possibile risposta rumorosa, un disegno di impacchettamento di sfere (maximin) potrebbe essere una buona opzione.
- Complessità computazionale della generazione del progetto:A seconda del numero di iterazioni e della dimensionalità, si potrebbe optare per un design con una minore complessità di generazione. I design di riempimento uniforme e sferico sono generalmente più complessi da generare rispetto ai design di riempimento flessibile veloce e ipercubi latini.
- Strategie di potenziamentoper la sperimentazione sequenziale: Qualsiasiampliamento del designL'utilizzo di un approccio di riempimento dello spazio verrà effettuato utilizzando la metodologia di riempimento flessibile e veloce.
Prossimamente
Nel nostro prossimo articolo, definiremo il quadro di riferimento per confrontare questi progetti di riempimento dello spazio. Definiremo risposte specifiche, fattori e metriche di valutazione per valutare sistematicamente le prestazioni dei diversi approcci di riempimento dello spazio in vari scenari.
Questa è la prima parte di una serie di tre articoli sulla progettazione di esperimenti che riempiono lo spazio:
- Introduzione alle tipologie più comuni di progetti di riempimento dello spazio(questo post)
- Quadro comparativo e parametri di valutazione
- Risultati, analisi e linee guida per la selezione del progetto
