Introduzione
Bentornati alla nostra serie DOE sul riempimento dello spazio! Nella prima parte abbiamo esplorato i fondamenti e le tipologie più comuni di progetti di riempimento dello spazio. Ora ci addentriamo nel cuore del nostro studio comparativo: stabilire un quadro di riferimento solido per valutare e confrontare questi progetti in diversi scenari.
Il quadro di riferimento dello studio comparativo
Per valutare in modo equo i progetti che sfruttano gli spazi, abbiamo bisogno di condizioni standardizzate e metriche significative. Il nostro approccio valuta i progetti in base a molteplici dimensioni prestazionali.
- Risposte
Risposta sulla metrica/uniformità della copertura spaziale
- Discrepanza: per misurare la deviazione dalla distribuzione uniforme teorica. L'obiettivo è minimizzare la differenza tra la distribuzione generata dal progetto e una distribuzione uniforme per ciascun fattore. La risposta di discrepanza consente di valutare la copertura dello spazio e l'uniformità della ripartizione dei punti del progetto: minore è la discrepanza, più uniforme è la ripartizione dei punti del progetto (e migliore è la copertura dello spazio sperimentale).
Una volta inseriti i fattori nella piattaforma di riempimento dello spazio e scelto il tipo di progetto, il valore di discrepanza può essere trovato nel pannello Diagnostica del progetto (Figura 1).
Figura 1: Pannello di progettazione per il riempimento dello spazio. Diagnostica di progettazione di un progetto di riempimento flessibile veloce per due fattori con 20 iterazioni. I valori di discrepanza (rosso) e MaxPro (blu) vengono visualizzati dopo la generazione del progetto nel pannello Diagnostica di progettazione .
Per comprendere meglio il valore della discrepanza e la sua relazione con le distanze tra i punti di progettazione, confrontiamo due modelli di riempimento dello spazio - ipercubo latino e riempimento flessibile veloce - creati per sei fattori con 60 esecuzioni ciascuno (Figura 2).
Figura 2: Visualizzazione della distanza minima tra i punti per un riempimento flessibile veloce e un disegno a ipercubo latino.
Se confrontiamo la distanza minima tra i punti per i due modelli, possiamo vedere chiaramente che il modello a ipercubo latino fornisce una distribuzione molto ristretta di valori per la distanza minima tra i punti del modello. Questo comportamento mostra la migliore discrepanza del modello a ipercubo latino rispetto al modello a riempimento flessibile veloce per questa specifica dimensionalità e numero di punti, dove i punti del modello sono distribuiti uniformemente, risultando in una distanza minima stabile tra i punti.
Risposta della proprietà di proiezione
- MaxPro: Valuta le proprietà di riempimento dello spazio sulle proiezioni a tutti i possibili sottoinsiemi di fattori. L'obiettivo è minimizzare il criterio MaxPro per garantire che le distanze tra i punti siano massime in tutte le dimensioni, assicurando buone proiezioni dei punti di progettazione in spazi a dimensioni inferiori. Pertanto, l'unico modo per minimizzare con successo questo criterio è garantire che nessun punto condivida valori di coordinate simili in una qualsiasi dimensione.
Una volta inseriti i fattori nella piattaforma di riempimento dello spazio e scelto il tipo di progetto, il valore MaxPro può essere trovato nel pannello Diagnostica del progetto (Figura 1).
La statistica MaxPro non è definita per la progettazione di impacchettamenti di sfere perché i punti possono avere valori identici per una dimensione.
Per comprendere meglio il valore MaxPro e la sua relazione con la proprietà di proiezione dei disegni, confrontiamo due disegni di riempimento dello spazio - ipercubo latino e riempimento flessibile veloce - creati per sei fattori con 60 esecuzioni ciascuno.
Se proiettiamo i punti di progettazione di questi due modelli di riempimento dello spazio in due dimensioni, possiamo confrontare le differenze di proiezione (Figura 3).
Figura 3: Visualizzazione della proprietà di proiezione di due modelli di riempimento dello spazio con sei fattori e 60 iterazioni. Si noti come i collegamenti di Waern connettano tutti i punti del modello nello scenario dell'ipercubo latino in base alla loro prossimità effettiva, ma non per il modello di riempimento flessibile veloce.
Per il disegno a ipercubo latino a sinistra, le distanze tra i punti di disegno sono omogenee e ridotte. Questa distanza bassa e omogenea tra i punti di disegno riduce la dispersione dei punti su tutte le proiezioni, aumentando il valore del criterio MaxPro. Per il disegno a riempimento flessibile veloce a destra, le distanze tra i punti di disegno sono eterogenee e maggiori, il che corrisponde a un minor rischio di collasso di questi punti quando proiettati in un numero inferiore di dimensioni.
Considerando diverse dimensioni del campione, i valori di discrepanza e MaxPro sono fortemente correlati negativamente. Un progetto con una discrepanza molto bassa può presentare un valore MaxPro elevato: a causa dell'elevata dimensione del campione, le distanze tra i punti del progetto sono piccole, il che aumenta il rischio che questi punti siano vicini tra loro in uno spazio a dimensionalità inferiore. Pertanto, i criteri di discrepanza e MaxPro vengono utilizzati principalmente per confrontare progetti diversi con la stessa dimensione del campione.
complessità della generazione del design
- Tempo HP():La funzione HP Time() restituisce un valore temporale ad alta precisione in microsecondi. Poiché questa funzione è utile solo se utilizzata in relazione a un altro valore HP Time(), è inclusa nello script di generazione del progetto. L'esempio qui riportato crea un progetto di impacchettamento di sfere con 60 iterazioni per tre fattori, e la registrazione e la visualizzazione del tempo di generazione sono il risultato delle due funzioni HP Time():
t1 = HP Time();
DOE(
Space Filling Design,
{Add Response( Maximize, "Y", ., ., . ),
Add Factor( Continuous, -1, 1, "X1", 0 ),
Add Factor( Continuous, -1, 1, "X2", 0 ),
Add Factor( Continuous, -1, 1, "X3", 0 ),
Set Random Seed( 138892707 ),
Space Filling Design Type( Sphere Packing, 60 ), Simulate Responses( 0 ),
Set Run Order( Randomize ), Make Table}
);
t2 = HP Time();
Show( t2 - t1 ); The generation time (t2-t1) can be seen in the log (Figure 4).
Figura 4: Risultato del log dello script con visualizzazione del tempo di generazione.
A transformed response column Time (s) is used for the response, as the units (seconds) are much more understandable and comparable between designs and enable the design generation time to be assessed more easily. The column Time (s) is created with the following formula:
Time (s) = HP Time (µs) / 1000000
- fattori
Poiché vogliamo analizzare le principali differenze tra le generazioni di progetti di riempimento dello spazio, dobbiamo specificare i diversi fattori che contribuiscono a creare progetti diversi in termini di metodi di generazione del progetto, dimensionalità e densità dei punti.
- Tipo di design:Come già visto nel primo articolo di questa serie , esistono diversi metodi di generazione di progetti per il riempimento dello spazio, con diverse enfasi distributive o geometriche a seconda dei casi d'uso e dei benefici. Nel contesto di questo studio, esploriamo i metodi più comuni per generare progetti di riempimento dello spazio, utilizzando il riempimento uniforme , l'impacchettamento di sfere , l'ipercubo latino e il riempimento flessibile veloce .
- Dimensionalità (numero di fattori):All'aumentare della dimensionalità (numero di fattori), le prestazioni dei progetti di riempimento dello spazio possono diminuire, poiché diventa più complesso e dispendioso in termini di tempo mantenere una distribuzione uniforme per ciascun fattore e buone proprietà di proiezione. Per studiare l'impatto della dimensionalità sulle diverse risposte elencate, analizziamo l'aspetto della dimensionalità attraverso tre livelli:
- Bassa dimensionalità: Tre fattori
- di medie dimensioni: Sei fattori
- Altamente dimensionale: Nove fattori
- Variazioni della dimensione del campione (numero di prove/fattori):Per impostazione predefinita, JMP fornisce un rapporto predefinito tra il numero di prove per fattore pari a 10, consentendo buone prestazioni di progettazione e garantendo una facile modellazione. Tuttavia, a seconda del budget sperimentale consentito, le prestazioni dei progetti di riempimento dello spazio possono variare notevolmente, poiché può diventare complesso mantenere una distribuzione uniforme per ciascun fattore o buone proprietà di proiezione per un numero ridotto di punti di progettazione. Per tenere conto di questo fattore, testiamo diverse dimensioni del campione:
- Piccolo: Tre punti di progettazione per fattore, una situazione simile a quella che si può ottenere con i classici disegni compositi centrali (CCD), in cui la ripartizione dei punti viene effettuata in modo che ogni fattore venga testato ai suoi valori minimo, medio e massimo.
- Mezzo: Venti punti di progettazione per fattore, vicino al rapporto predefinito di JMP di 10 punti di progettazione per fattore.
- Grande: Cento punti di progettazione per fattore, corrispondenti all'esigenza di costruire modelli altamente predittivi, grazie all'elevata densità di punti nello spazio di progettazione.
- Procedura sperimentale: scelta del progetto
Vogliamo utilizzare un modello molto semplice che faciliti il confronto tra i diversi livelli dei fattori. Inoltre, poiché il seme di generazione del modello non è fisso, desideriamo stimare la variabilità dell'algoritmo e separare questa variabilità aleatoria da eventuali effetti dei fattori. Alcune combinazioni potrebbero inoltre risultare difficili da realizzare per determinate configurazioni del modello, pertanto desideriamo un modello che consenta un'analisi robusta anche in presenza di possibili valori anomali o mancanti.
Per tutti questi motivi, si opta per un disegno fattoriale completo. Per creare un disegno fattoriale completo in JMP, il procedimento è semplice e diretto: nel menu DOE, selezionare Classico e quindi Disegno fattoriale completo (Figura 5).
Figura 5: Menu DOE per la creazione di un progetto fattoriale completo.
Seguendo le definizioni delle risposte e dei fattori elencate in precedenza, possiamo quindi creare il nostro progetto per valutare e confrontare diverse configurazioni di riempimento dello spazio (Figura 6).
Figura 6: Creazione di un progetto fattoriale completo per valutare e confrontare diversi scenari di riempimento dello spazio.
Poiché un disegno fattoriale completo può eseguire tutte le possibili combinazioni di livelli dei fattori, sono necessarie 36 prove (4x3x3).Lo script per generare il disegno fattoriale completo è:
DOE(
Full Factorial Design,
{Add Response( Minimize, "Discrepancy", ., ., . ),
Add Response( Minimize, "MaxPro", ., ., . ),
Add Response( Minimize, "Time", ., ., ., ., ., "s" ),
Add Factor(
Categorical,
{"Fast Flexible", "Uniform", "Sphere Packing", "Latin Hypercube"},
"Type",
0
), Add Factor( Continuous, {3, 6, 9}, "Factors", 0 ),
Add Factor( Continuous, {3, 20, 100}, "Ratio exp/factors", 0 ),
Set Random Seed( 31068506 ), Make Design, Simulate Responses( 0 ),
Set Run Order( Randomize ), Make Table}
);
La tabella di dati ottenuta con questo script è visibile nella Figura 7.
Figura 7: Tabella completa del progetto fattoriale
Valutazione della risposta
Per ogni riga del disegno, viene creato un disegno di riempimento dello spazio con i corrispondenti valori dei parametri specificati: numero di fattori continui, numero di punti per fattore e tipo di disegno. I valori di discrepanza e della metrica MaxPro vengono registrati per tutte le configurazioni del disegno.
Quadro di analisi
Per analizzare i risultati di questo studio esaustivo sulle soluzioni progettuali per l'occupazione dello spazio, vengono presi in considerazione due approcci:
-
Approccio di analisi del rankingPer semplificare il confronto delle prestazioni del tipo di progettazione a riempimento spaziale in diverse configurazioni (dimensionalità e dimensione del campione) per le tre risposte, viene effettuata una classificazione da 1 (miglior progetto) a 4 (peggior progetto).
Per le risposte in cui l'obiettivo è minimizzare il valore, come la discrepanza e il tempo, lo script utilizzato coinvolge la funzione Col Rank, che restituisce il rango che va da 1 come più basso. Il <
- Formula per la classificazione delle discrepanze:
Col Rank( :Discrepancy, :Factors, :"Ratio exp/factors"n, <
<TIE></TIE> <CODE class=" language-jsl">
<SPAN>Formula per la classifica temporale:<BR /></SPAN> <CODE class=" language-jsl">Col Rank( :Time, :Factors, :"Ratio exp/factors"n, <
<TIE></TIE> <SPAN><BR /></SPAN><SPAN>Formula per la classifica MaxPro:</SPAN><SPAN><BR /></SPAN> <CODE class=" language-jsl">Col Rank( :MaxPro, :Factors, :"Ratio exp/factors"n, <
<TIE></TIE>
<CODE class=" language-jsl"><CODE class=" language-jsl">
<CODE class=" language-jsl"><CODE class=" language-jsl">
<CODE class=" language-jsl"><CODE class=" language-jsl">
<UL>
<LI><STRONG><SPAN>Approccio di modellazione</SPAN></STRONG><SPAN><SPAN>: Un approccio di modellazione viene effettuato tramite l'utilizzo dello script del modello allegato nella tabella dei dati dopo la generazione del progetto. Poiché il progetto di studio è un progetto fattoriale completo, il modello a priori predefinito specificato in questo script include tutti gli effetti principali (tipo di progetto, numero di fattori e rapporto di esperimenti per fattore) e tutte le interazioni a due fattori (Figura 8).<BR /><BR /></SPAN></SPAN><SPAN class="lia-inline-image-display-wrapper lia-image-align-inline" image-alt="FitModel1.svg" style="width: 888px;"><SPAN class="lia-inline-image-display-wrapper" image-alt="FitModel1.svg" style="width: 888px;"><SPAN class="lia-inline-image-display-wrapper" image-alt="FitModel1.svg" style="width: 888px;"><span class="lia-inline-image-display-wrapper" image-alt="FitModel1.svg" style="width: 888px;"><img src="https://us.v-cdn.net/6038925/uploads/images/86065i17D7A66B8EE3BEA4/FitModel1.svg" width="888" height="499" role="button" title="FitModel1.svg" alt="FitModel1.svg" /></span></SPAN></SPAN></SPAN><BR /><EM style="font-size: 1em;">Figura 8: Avvio del modello di adattamento predefinito.</EM><EM style="font-size: 1em;">L'opzione <STRONG>"Adatta separatamente"</STRONG> è selezionata per adattare modelli separati per ciascuna variabile di risposta.</EM><BR /><EM style="font-size: 1em;"><EM style="font-size: 1em;"><BR /></EM></EM> <P><SPAN>Poiché per i fattori continui vengono utilizzati tre livelli, lo script di modellazione viene modificato per tenere conto degli effetti di curvatura dovuti agli effetti quadratici dei fattori continui (Figura 9).<BR /></SPAN></P> <SPAN class="lia-inline-image-display-wrapper lia-image-align-inline" image-alt="FitModel2.svg" style="width: 889px;"><SPAN class="lia-inline-image-display-wrapper" image-alt="FitModel2.svg" style="width: 889px;"><SPAN class="lia-inline-image-display-wrapper" image-alt="FitModel2.svg" style="width: 889px;"><span class="lia-inline-image-display-wrapper" image-alt="FitModel2.svg" style="width: 889px;"><img src="https://us.v-cdn.net/6038925/uploads/images/86066i67BC3913B034FFA6/FitModel2.svg" width="889" height="500" role="button" title="FitModel2.svg" alt="FitModel2.svg" /></span></SPAN></SPAN></SPAN><EM style="font-size: 1em;"><EM style="font-size: 1em;">Figura 9: Avvio del modello di adattamento modificato. Lo script del modello viene modificato aggiungendo effetti quadratici per i fattori continui. Selezionare i due fattori continui e quindi fare clic su <STRONG>Macro</STRONG> > <STRONG>Polinomio a Grado</STRONG> per aggiungere i due effetti quadratici.<BR /><BR /></EM></EM> <P><SPAN>Il modello utilizzato per analizzare le risposte prestazionali dei progetti di riempimento dello spazio include effetti principali, interazioni a due fattori ed effetti quadratici per i fattori continui.</SPAN></P> </LI>
</UL> <BR /> <H2 style="font-weight: 400;" id="toc-hId-227218614" id="toc-hId-227305842" id="toc-hId-227305842" id="toc-hId-227305842"><STRONG>Prossimamente</STRONG></H2> <P><SPAN>Nel nostro ultimo post, sveliamo i risultati di questo confronto esaustivo! Mostriamo quali design di riempimento dello spazio eccellono in diversi scenari e forniamo linee guida pratiche per la selezione del design in base agli obiettivi e ai vincoli sperimentali.</SPAN></P> <P><EM><SPAN>Questa è la seconda parte di una serie di tre articoli sulla progettazione di esperimenti che riempiono lo spazio:</SPAN></EM></P>
<OL>
<LI><SPAN><A href="https://community.jmp.com/t5/JMP-Blog/Part1-Introduction-to-common-types-of-space-filling-designs/ba-p/906541" target="_blank">Introduzione alle tipologie più comuni di progetti di riempimento dello spazio</A>. </SPAN></LI>
<LI><STRONG><SPAN>Quadro comparativo e parametri di valutazione</SPAN></STRONG><SPAN>(questo post).</SPAN></LI>
<LI><A href="https://community.jmp.com/t5/JMP-Blog/Exploring-space-filling-designs-part-3-Results-analysis-and/ba-p/915402" target="_self"><EM><SPAN>Risultati, analisi e linee guida per la selezione del progetto</SPAN></EM></A><SPAN>.</SPAN></LI>
</OL>
Ciao Victor, grazie mille per l'interessante post! È possibile per JMP calcolare le diagnosi di progettazione di riempimento dello spazio, ad esempio i criteri di discrepanza e MaxPro, per progetti di riempimento dello spazio non generati da JMP? Non sembra che Evaluate Design offra queste statistiche come opzione, sono solo curioso di sapere se esiste un altro modo semplice per questa valutazione.
Ciao @ktbrickey22 ,
Grazie mille per il feedback positivo!
Al momento no, non è possibile calcolare alcuna diagnostica di progettazione di riempimento dello spazio (discrepanza e MaxPro) per progetti generati al di fuori di JMP. Era anche una domanda che mi ponevo quando facevo i miei esperimenti per questo blog: ottenere il valore MaxPro per qualsiasi progettazione di riempimento dello spazio. Poiché al momento sembra impossibile calcolare facilmente questi valori, ho creato una lista dei desideri per questo argomento: piattaforma di confronto dei progetti per progetti di riempimento dello spazio.
Per il momento, se devo confrontare le discrepanze tra due progetti che riempiono lo spazio, utilizzo la funzione di discrepanza di SciPy , che non fornisce gli stessi valori di JMP, ma mi permette di confrontare qualsiasi progetto. SciPy offre altre metriche e visualizzazioni utili, come l'albero di copertura minimo, per visualizzare la distanza minima tra i punti.
Per MaxPro, l'argomento è più complesso e non ho ancora trovato una soluzione soddisfacente.
Spero che questa risposta ti possa essere utile 
@Victor_G , avrei una domanda veloce. Per l'approccio MaxPro di cui parli sopra, menzioni: " L'obiettivo è massimizzare il criterio MaxPro per garantire buone proiezioni dei punti di progettazione in spazi a dimensionalità inferiore". Tuttavia, dalla guida sembra che l'idea sia quella di minimizzare il criterio MaxPro. Potresti chiarire, per favore?
Ciao @charlie_whitman ,
Grazie mille per l'attenta lettura e il commento, e per aver individuato questo potenziale errore. Mi scuso profondamente, credo di essermi confuso leggendo la descrizione del criterio MaxPro. Questo criterio serve a valutare le proprietà di proiezione del progetto, quindi maggiore è la proprietà di proiezione, meglio è, poiché aiuta a massimizzare le informazioni e ad avere un progetto con spaziatura efficiente anche in presenza di fattori inattivi/di bassa importanza. Influisce su questa spaziatura massimizzando il prodotto delle distanze tra i potenziali punti di progetto. Tuttavia, nella formula del criterio MaxPro nella Guida di JMP, questa distanza tra i punti di progetto si trova al denominatore, quindi sembra che questo criterio debba essere minimizzato. Questo concetto è ribadito anche nella sezione Diagnostica di progettazione della Guida di JMP: " Valori più piccoli sono migliori" .
Anche se è scritto nella Guida di JMP, sono ancora confuso, soprattutto considerando l'opzione "Massimizza il criterio MaxPro" nella piattaforma di ottimizzazione bayesiana. Qual è il vantaggio di massimizzare il criterio MaxPro (avere run che possono essere raggruppate o "impilate" quando si esaminano sottospazi più piccoli dello spazio sperimentale)? La Guida in questa sezione afferma: " Questa opzione è un'esplorazione senza modello dello spazio dei fattori che evita la replicazione di qualsiasi impostazione dei fattori sia nei dati di training che nel batch corrente. Utilizzare questa opzione per qualsiasi dimensione del batch quando uno o più modelli non si adattano bene. " Se l'obiettivo è esplorare ulteriormente perché il modello non si adatta bene, questa opzione dovrebbe cercare di minimizzare i nuovi valori dei punti di progettazione MaxPro (per aumentare la distanza tra i punti di progettazione ed esplorare lo spazio sperimentale) invece di massimizzarli, per garantire una buona copertura delle run appena aggiunte?
Se qualcuno del team JMP DoE potesse aiutarmi a chiarire questo equivoco, gliene sarei molto grato!
Provvederò a correggere al più presto le parti 2 e 3 di questa serie di articoli del blog.
