Come progettare esperimenti con input continui ben distribuiti?Ciao a tutti! Ho una domanda sui disegni sperimentali facili . Sto lavorando su disegni sperimentali con 4 input e 4 output. Tutti gli input sono valori continui: i primi due vanno da 0 a 5, e gli altri due da 0 a 10.
Quando creo progetti sperimentali, noto che gli unici valori suggeriti dal progetto sono 0, metà del massimo e il massimo. Tuttavia, l'influenza di questi input non è realmente lineare, quindi il mio progetto non è molto accurato a causa della scarsa diversità di questi valori di input.
Sai come creare un progetto con punti meglio distribuiti per migliorare la precisione delle previsioni?
Grazie in anticipo !
Xena:)
Progettazione degli esperimentiRe: Come progettare esperimenti con input continui ben distribuiti?Non ho familiarità con il termine facile in relazione alla progettazione sperimentale. Una ricerca indica che è
progetti semplici e diretti, facili da implementare con risorse minime
Tali progetti sono utili per la ricerca esplorativa, gli studi pilota o quando una vera randomizzazione non è fattibile. Tuttavia, questa semplicità spesso va a discapito della validità interna, rendendo più difficile stabilire una vera relazione causa-effetto.
La tua domanda mi ha fatto intuire l'obiettivo del tuo esperimento. Sei interessato a comprendere la struttura causale o a "scegliere un vincitore"? È il primo esperimento che esegui in questa indagine o hai già eseguito progetti di screening? Qual è il modello che vuoi studiare? Se, ad esempio, hai dei sospetti su un polinomio non lineare, ma stai ancora cercando di determinare lo spazio di progettazione appropriato, potresti eseguire dei test con punti centrali.
Sembra che tu sia interessato a testare i fattori a 3 livelli a causa dei tuoi sospetti sulle relazioni non lineari. In genere, per stimare gli effetti quadratici, sono necessari solo 3 livelli, che saranno distribuiti uniformemente nello spazio fattoriale. Questo semplifica l'analisi. Questo sarebbe un punto ragionevole per la tua prossima iterazione. Potrai quindi ampliare lo spazio con esperimenti futuri. L'"accuratezza" del tuo modello (forse "precisione" è un termine più appropriato) è meglio compresa analizzando i residui (e studiando gli effetti del rumore).
Re: Come progettare esperimenti con input continui ben distribuiti?Ciao @Xena ,
Benvenuti nella Community!
La situazione che descrivi sembra indicare che potresti essere interessato ai progetti che riempiono lo spazio .
I progetti Space-Filling sono progetti di esperimenti indipendenti dal modello, con un'enfasi sulle prestazioni predittive, specificamente progettati per fattori continui (per lo più), per risposte a basso rumore (tipicamente esperimenti e simulazioni al computer), dove sono previste superfici di risposta altamente non lineari e complesse.
Se puoi fornire maggiori informazioni sull'obiettivo (modellazione predittiva, metamodellazione, ...?), eventuali vincoli sui fattori, tipi di risposte (misurazione? simulazioni? variabilità/riproducibilità? ...), numero massimo di esecuzioni accettabili, potremmo aiutarti a scegliere un tipo di progettazione Space-Filling appropriato (se questa opzione ti sembra valida per il tuo argomento).
La mia prima ipotesi, basata sulle tue informazioni e sul tuo obiettivo, è che non hai vincoli sui fattori e utilizzi solo 4 fattori continui per scopi predittivi (con una possibile dimensione del campione medio/bassa inferiore a 100 esperimenti), quindi un design Uniform o Latin Hypercube potrebbe essere una scelta appropriata.
Spero che questa risposta ti sia d'aiuto,
Re: Come progettare esperimenti con input continui ben distribuiti?Ciao Victor, grazie per la tua rapida risposta!
Non ho familiarità con i progetti che riempiono lo spazio... ma da quello che hai detto, sembra che potrebbero essere appropriati. Il mio obiettivo è effettivamente fare previsioni. I miei risultati provengono da simulazioni al computer, che sono quindi completamente ripetibili. Ciò che cerco è un output che mi permetta di analizzare i miei dati in un modo che mi aiuti a identificare la combinazione giusta, a volte cercando di massimizzare alcuni output e minimizzarne altri.
Un numero accettabile di campioni sarebbe circa 50 (o un po' di più se ne vale la pena), poiché non dispongo di un'API che mi consenta di recuperare automaticamente i dati della simulazione e di inserirli in JMP.
Grazie per l'aiuto
Re: Come progettare esperimenti con input continui ben distribuiti?Ciao Statman,
Grazie anche per la tua rapida risposta!
In realtà, in JMP esiste una categoria chiamata "Easy DOE", in cui JMP usa il linguaggio naturale per chiedere cosa si ha e cosa si sta cercando di fare. In effetti, il mio obiettivo è identificare una combinazione che possa soddisfare le mie esigenze (con alcuni output da minimizzare, altri da massimizzare o per raggiungere un obiettivo specifico).
Non ho capito appieno il tuo punto di vista sui fattori con livelli, perché nel mio caso le variabili sono continue e vorrei esplorarne l'intero intervallo.
Re: Come progettare esperimenti con input continui ben distribuiti?Ciao @Xena ,
Ok, se si tratta di esperimenti al computer, i progetti Space-Filling sono davvero un buon modo per distribuire i punti in modo omogeneo nello spazio sperimentale e approssimare le risposte della simulazione con un modello utile, senza alcuna ipotesi sulla forma dell'equazione/modello.
Per impostazione predefinita, se si avvia la piattaforma di progettazione Space-Filling (nel menu DoE, Scopo speciale, Progettazione Space-Filling) con i 4 fattori continui, il numero di esecuzioni consigliato da JMP sarà 40 (vicino al numero accettabile di esecuzioni) e si avrà accesso a tutti i tipi di progettazione. Poiché il numero di fattori e di esecuzioni è piuttosto basso e si potrebbe essere interessati ad avere prestazioni predittive, una progettazione uniforme (o un ipercubo latino) potrebbe essere la scelta appropriata:
Per quanto riguarda il modello per adattare le risposte, per impostazione predefinita quando si crea la tabella dati, è presente uno script per avviare un modello di processo gaussiano sulla risposta:
Questo è un buon modello di benchmark predefinito, ma è possibile provare anche altri modelli di Machine Learning utilizzando la piattaforma di Model Screening con una strategia di validazione appropriata (per evitare l'overfitting). In questo tipo di situazioni, spesso si sceglie la validazione incrociata casuale o stratificata k-fold, poiché non si desidera escludere alcuni punti dall'addestramento.
Una volta trovato un modello con buone prestazioni, è possibile utilizzare i modelli addestrati su ogni piega e fare la media delle loro previsioni, come menzionato qui: convalida incrociata utilizzando la qualità di adattamento k-fold
Se puoi permetterti 50 esecuzioni in totale, potresti lanciare un DoE con 40 esecuzioni e addestrare/validare il modello migliore, quindi utilizzare la piattaforma Progetti di aumento (con una strategia Space-Filling) per aggiungere 10 nuove esecuzioni al tuo set di dati, queste esecuzioni verranno utilizzate come set di test (validazione finale) per il tuo modello predittivo.
Spero che i suggerimenti siano sensati,
Re: Come progettare esperimenti con input continui ben distribuiti?Non capisco abbastanza bene la tua situazione per poterti fornire consigli specifici. Esiste effettivamente una piattaforma chiamata "Easy DOE". A mio modesto parere, questa piattaforma è pensata per chi ha poca o nessuna esperienza di sperimentazione. Il suo scopo è incoraggiare l'uso della metodologia (e forse commercializzare il software). Tuttavia, ci sono molte sfumature che la piattaforma non copre.
In ogni caso, diagnosticare la situazione è importante per selezionare il design appropriato. Stai svolgendo un lavoro esplicativo o di scoperta? Hai sviluppato ipotesi (ad esempio, perché un fattore dovrebbe avere o non avere un effetto sulle risposte?)? Come sei arrivato ai 4 fattori? Quali sono le tue strategie per gestire tutti gli altri fattori? I sistemi di misurazione sono stati studiati?...
Non esiste un "modo giusto" per progettare gli esperimenti, ma in genere si inizia la sperimentazione esaminando i numerosi fattori possibili per sviluppare uno spazio di progettazione appropriato. Questo è più efficiente se si analizza una frazione di spazio n-dimensionale. Poiché gli studi sono di natura a breve termine (ovvero, non si dispone di serie temporali per esporre la variazione intrinseca degli effetti dei fattori), è necessario esagerare gli effetti. Questo si ottiene impostando i livelli dei fattori in grassetto (estremi di ragionevolezza) e sperimentando su un gran numero di fattori. Allo stesso tempo, si cerca di creare uno spazio di inferenza il più ampio possibile, quindi si esagera in modo analogo l'effetto del rumore (fattori che non si è disposti a gestire in futuro), spesso con blocchi completi o incompleti. Una volta ottenuto uno spazio di progettazione ragionevole e giustificabile, si amplia tale spazio per stimare un modello utile.
In genere costruiamo modelli seguendo le serie di Taylor. Vale a dire, partiamo dal primo ordine (ottenuto con impostazioni fattoriali a 2 livelli) e aumentiamo con ordini superiori (sia fattorialmente (interazioni) che polinomialmente (non lineari). L'obiettivo non è trovare il modello più complesso che descriva tutto, ma trovare un modello utile che aiuti a prevedere le prestazioni future. I modelli con interazioni del terzo ordine o termini cubici+non lineari sono estremamente difficili da gestire e spesso non sono utili.
Ecco alcuni riferimenti suggeriti per la progettazione sperimentale introduttiva:
Box, George EP e Bisgaard, S. (1987) “Il contesto scientifico del miglioramento della qualità”. Progresso di qualità giugno
Czitrom, Veronica, (1999) “ Un fattore alla volta contro esperimenti progettati ”, Lo statistico americano , maggio, vol. 53, n. 2
Box, GEP, Patrick Liu (1999) “ La statistica come catalizzatore per l'apprendimento mediante metodo scientifico Parte I – Un esempio ”, Rivista di tecnologia della qualità , Vol. 31, No. 1, gennaio
Hahn, Gerald (1977) “Alcune cose che gli ingegneri dovrebbero sapere sulla progettazione sperimentale”, Rivista di tecnologia della qualità, January, Vol. 9, No. 1
Cochran, William “ La filosofia alla base della progettazione degli esperimenti ”, John Hopkins University
Montgomery, Douglas, Coleman, D., (1993). " Un approccio sistematico alla pianificazione di un esperimento industriale progettato ", Tecnometria , febbraio 1993, vol. 35, n. 1
Re: Come progettare esperimenti con input continui ben distribuiti?Ciao Victor,
Proverò la tua soluzione.
Grazie mille !
Re: Come progettare esperimenti con input continui ben distribuiti?@statman @Victor_G - Ogni volta capisco un po' di più, grazie!
Re: Come progettare esperimenti con input continui ben distribuiti?Sembra che tu stia utilizzando un design fattoriale di base, che tende a rimanere su livelli bassi/medi/alti. Se il tuo sistema è non lineare, potresti prendere in considerazione design compositi centrali o il campionamento di ipercubi latini per ottenere una migliore copertura dello spazio di input. Ho riscontrato un problema simile in precedenza e ho dovuto andare oltre i semplici design a 3 livelli. In realtà, ho ripassato i metodi DoE strutturati tramite Excedify, che mi ha aiutato a capire quando passare ai metodi di superficie di risposta per una migliore accuratezza di previsione.
