Ottimizzazione bayesiana: esportazione del modello sottostanteCiao,
Mi sono divertito a sperimentare la nuova piattaforma di ottimizzazione bayesiana. Tuttavia, vorrei confrontare i risultati con quelli di alcuni modelli di apprendimento automatico. Vedo nell'output che si ottiene un R2 "leave-on-out", ma si basa davvero su una singola riga casuale? Oppure è in corso una suddivisione "dietro le quinte" del set di dati in porzioni di training e validazione? Posso sapere quale/i riga/e è/sono stata/e scelta/e come holdback?
Inoltre, è possibile vedere il modello effettivo? Ho usato le opzioni "Salva tutti i modelli" e "Salva script per la prossima iterazione", ma non sono sicuro che si tratti dei modelli completi. Vorrei vedere quanto bene il modello predice i nuovi dati, anche se mi rendo conto che questo potrebbe non essere esattamente lo scopo per cui questa piattaforma è stata concepita.
In alternativa, potrei "caricare" il modello GP ottimale nel processo gaussiano? Non vedo un modo semplice per farlo, soprattutto perché ho più theta, ma se potessi eseguire il GP ottimale generato nella piattaforma GP, questo potrebbe effettivamente risolvere tutti questi problemi/domande!
Modellazione statistica avanzataRe: Ottimizzazione bayesiana: esportazione del modello sottostanteCiao @abmayfield ,
Poiché la documentazione sull'ottimizzazione bayesiana è al momento piuttosto limitata, potrebbe essere difficile rispondere alle tue domande.
Sembra che le strategie di adattamento/validazione siano diverse tra GP classico e GP da OB: GP di ottimizzazione bayesiana vs GP autonomo . La strategia Leave-One-Out viene utilizzata in entrambe le piattaforme, ma l'aggregazione dei risultati potrebbe essere diversa: Jackknife per GP classico vs. LOO classico per GP-OB.
Trovo anche frustrante non poter salvare la formula di previsione dal modello OB. Ho trovato una soluzione alternativa per approssimare il modello utilizzato nella piattaforma OB: poiché si ha accesso ai valori dei parametri dalla piattaforma OB (nel report del modello del processo gaussiano), ho riavviato la piattaforma del processo gaussiano classico, ma applicando il valore theta trovato nel modello OB. Questa soluzione non è perfetta, poiché l'intercetta non sarà la stessa tra i due modelli, ma almeno sono in grado di approssimare il modello di previsione trovato nella piattaforma OB:
Spero che questa prima risposta possa aiutarti,
Re: Ottimizzazione bayesiana: esportazione del modello sottostanteGrazie per i tuoi pensieri. Sebbene sarebbe comunque utile avere/vedere il modello sottostante, suppongo che, a patto di aggiungere dati aggiuntivi (come forma di convalida), rieseguire il modello (o generarne uno nuovo) e che né l'adattamento né la soluzione ottimale siano cambiati di molto, concluderei che il modello è valido. Se invece aggiungessi nuovi dati e la nuova soluzione fosse completamente diversa, concluderei che il vecchio modello presentava dei problemi e accetterei quello nuovo (che verrebbe generato comunque). Vorrei però poter tenere più di un campione da parte, anche se forse, se facessi un numero sufficiente di iterazioni, avrei una percezione migliore dell'R2 di convalida effettivo(?).
