Ottimizzazione bayesiana GP vs GP autonomoCIAO,
Sto cercando di capire il comportamento dei modelli di processo gaussiano nelle piattaforme "processo gaussiano" e "ottimizzazione bayesiana" (JMP Pro 19.0.1)
Adattamento di questi semplici dati simulati (deterministici):
Con processo gaussiano:
con ottimizzazione bayesiana
Perché la regione di confidenza per il modello BO non si riduce a 0 nei punti dati, come vedo nel modello GP?
Grazie
Matteo
ps.
Questa è la formula per Y:
4.3 + -2 * (:X - 1) ^ 2 + Exp( -3 * (:X + 3) ^ 2 ) + 3 * Sin( :X + 2 )
Modellazione statistica avanzataRe: Ottimizzazione bayesiana GP vs GP autonomoHi @matteo_patelmo,
Al momento, la documentazione tecnica per l'ottimizzazione bayesiana è piuttosto limitata e alcuni dettagli tecnici non sono disponibili riguardo al calcolo degli intervalli di confidenza/intervalli di errore. Potrebbero esserci diversi aspetti che determinano le differenze riscontrate tra le due piattaforme:
Input dell'utente:
- L'uso adeguato del tipo di correlazione continua per il tuo set di dati (sono disponibili più tipi di correlazione nell'ottimizzazione bayesiana rispetto a GP (solo gaussiana e cubica)),
- L'uso di "Stima del parametro Nugget" in GP, che consente al modello di predizione di attenuare il rumore anziché interpolare perfettamente. Questa opzione non è predefinita nella GP classica, ma il parametro nugget sembra essere stimato di default in OB, il che può aumentare le differenze (ma non nel tuo esempio con una formula perfettamente nota).
Funzionamento interno delle piattaforme JMP:
- Adattamento (e procedura di convalida) della GP classica rispetto alla GP di OB.
- Nella GP classica, la procedura di adattamento e convalida si basa sul metodo Jackknife, in cui si utilizza una procedura Leave-One-Out in cui si calcolano le metriche sui campioni conservati (campioni di addestramento) e quindi si calcola la media dei risultati per ciascun campione LOO.
- In GP da OB, la procedura di adattamento e validazione sembra leggermente diversa e si basa su una procedura LOO classica (non sicura al 100%), in cui le metriche vengono calcolate sui campioni esclusi (campioni di prova). Ciò potrebbe comportare un aumento dell'incertezza mostrata nel Profiler e valori previsti diversi.
Come puoi vedere, l'adattamento è diverso tra le due piattaforme, perché se stai lanciando il tuo set di dati con gli stessi tipi di correlazione e stai stimando il parametro nugget in entrambe le piattaforme, i valori per theta, parametro nugget e varianza GP sono diversi.
- Il calcolo degli intervalli di confidenza:
Nella GP classica, la visualizzazione degli intervalli di confidenza in GP viene effettuata utilizzando la formula della varianza di GP e i quantili. Come salvare gli intervalli di previsione/confidenza dal modello del processo gaussiano? La formula della varianza utilizza il valore theta e una distanza tra ciascun punto nell'intervallo dal punto più vicino misurato. Da qui l'"incertezza zero" nella posizione dei punti già misurati.
Il GP di OB fornisce un "Errore di Misura": "L'errore di Misura è calcolato come il prodotto del parametro del nugget, τ , e della varianza del processo gaussiano, σ 2" . Sembra che l'errore di Misura venga utilizzato anche per evitare una situazione di "incertezza zero" nell'area in cui è già stato effettuato il campionamento, al fine di riflettere l'errore sperimentale.
Naturalmente queste interpretazioni dovranno essere confermate dallo staff tecnico di JMP, queste sono solo le mie impressioni osservando il funzionamento delle due piattaforme e i risultati del momento.
Spero di ricevere suggerimenti dallo staff tecnico di JMP per rispondere meglio alla tua interessante domanda!
Re: Ottimizzazione bayesiana GP vs GP autonomoForse qualcuno di JMP può rispondere qui?
Gli intervalli di confidenza vengono utilizzati per prevedere la posizione migliore per la misurazione successiva.
Fiducia diversa -> previsione diversa, giusto?
Re: Ottimizzazione bayesiana GP vs GP autonomoNon è così semplice, poiché il comportamento delle due piattaforme basate su GP è diverso per quanto riguarda il calcolo degli intervalli di confidenza.
Nei calcoli degli intervalli di confidenza OB si verifica sempre un certo errore, mentre nella piattaforma GP classica l'errore è impostato su 0 per le posizioni in cui vengono misurati i punti (da qui la mia risposta iniziale in merito alla differenza nel calcolo e nella visualizzazione dell'errore/intervallo).
A seconda della funzione di acquisizione utilizzata e del calcolo degli intervalli di confidenza, è possibile avere diverse raccomandazioni "ottimali" per il prossimo punto di campionamento:
Massimizzare la desiderabilità bayesiana:
Massimizzare la desiderabilità del miglioramento atteso (ottimizzare la risposta prevista rispetto all'obiettivo):
Massimizzare la desiderabilità della deviazione standard bayesiana (concentrandosi su dove l'incertezza è maggiore):
Re: Ottimizzazione bayesiana GP vs GP autonomoAh, giusto!
È importante iniziare con CI diversi da 0 anche per le posizioni di misurazione.
Enorme differenza nell'adattamento dei risultati della simulazione.
Difficile, senza un modello e con un solo punto dati in questo punto.
Re: Ottimizzazione bayesiana GP vs GP autonomoGrazie @Victor_G per i tuoi spunti. Aspettiamo qualche chiarimento dallo staff di JMP.
Matteo
Re: Ottimizzazione bayesiana GP vs GP autonomoProcesso gaussiano + parametro nugget:
Come salvare gli intervalli di previsione/confidenza dal modello del processo gaussiano?
Re: Ottimizzazione bayesiana GP vs GP autonomo@hogi , per favore leggi la conversazione, questo è esattamente lo stesso link fornito nella mia prima risposta.
Aspettiamo una spiegazione ufficiale da parte dello staff tecnico di JMP che lavora sull'ottimizzazione bayesiana ( @chris_gotwalt1 ?)
Re: Ottimizzazione bayesiana GP vs GP autonomoAh, scusa, non avevo seguito il link iniziale, perché era elencato sotto GP classico.
Hai ragione, stesso link. Copre anche la parte con il parametro Nugget.
Re: Ottimizzazione bayesiana GP vs GP autonomocerco di rilanciare questa discussione, sperando che qualcuno possa aiutarmi.
Matteo
