914225_fr-FR

liliconcom

Optimisation bayésienne GP vs GP autonome

Salut,

J'essaie de comprendre le comportement des modèles de processus gaussiens dans les plateformes « processus gaussien » et « optimisation bayésienne » (JMP Pro 19.0.1).

Ajustement de ces données simulées simples (déterministes) :

Avec un processus gaussien :

avec l'optimisation bayésienne

Pourquoi la région de confiance du modèle BO ne se réduit-elle pas à 0 aux points de données, comme je le constate dans le modèle GP ?

merci

Matthieu

ps.

Voici la formule pour Y :

4.3 + -2 * (:X - 1) ^ 2 + Exp( -3 * (:X + 3) ^ 2 ) + 3 * Sin( :X + 2 )

Modélisation statistique avancéeRe: Optimisation bayésienne GP vs GP autonome

Salut @matteo_patelmo ,

Pour le moment, la documentation technique relative à l'optimisation bayésienne est assez limitée, et certains détails techniques concernant le calcul des intervalles de confiance/d'erreur ne sont pas disponibles. Plusieurs facteurs peuvent expliquer les différences observées entre les deux plateformes :

Saisie utilisateur :

• L'utilisation adéquate du type de corrélation continue pour votre ensemble de données (plus de types de corrélation sont disponibles dans l'optimisation bayésienne que dans GP (seulement gaussienne et cubique)),
• L'utilisation de l'option « Estimer le paramètre de pépite » en programmation génétique (GP) permet au modèle de prédiction de lisser le bruit au lieu d'effectuer une interpolation parfaite. Cette option n'est pas activée par défaut en GP classique, mais le paramètre de pépite semble être estimé par défaut en programmation orientée objet (OB), ce qui peut accroître les écarts (sauf dans votre exemple où la formule est parfaitement connue).

Fonctionnement interne des plateformes JMP :

• L'ajustement (et la procédure de validation) du GP classique par rapport au GP issu de l'OB.
  • En programmation génétique classique, la procédure d'ajustement et de validation repose sur la méthode Jackknife, où l'on utilise une procédure Leave-One-Out pour calculer les métriques sur les échantillons conservés (échantillons d'entraînement), puis pour faire la moyenne des résultats pour chaque échantillon LOO.
  • Dans le modèle GP issu du modèle OB, la procédure d'ajustement et de validation semble légèrement différente et repose apparemment sur une procédure LOO classique (sans certitude absolue), où les métriques sont calculées sur les échantillons exclus (échantillons de test). Ceci pourrait entraîner une augmentation de l'incertitude affichée dans le Profiler et des valeurs prédites différentes.
    Vous pouvez constater que l'ajustement est différent entre les deux plateformes : si vous lancez votre ensemble de données avec les mêmes types de corrélation et que vous estimez le paramètre de pépite sur les deux plateformes, les valeurs de thêta, du paramètre de pépite et de la variance GP sont différentes.
• Le calcul des intervalles de confiance :
  En processus gaussien classique, l'affichage des intervalles de confiance se fait à l'aide de la formule de variance et des quantiles . Comment enregistrer les intervalles de prédiction/confiance d'un modèle de processus gaussien ? La formule de variance utilise la valeur de θ et la distance entre chaque point de l'intervalle et le point mesuré le plus proche. D'où l'« incertitude nulle » à l'emplacement des points déjà mesurés.
  Le processus gaussien d'OB fournit une « erreur de mesure » : « L'erreur de mesure est calculée comme le produit du paramètre d'effet de pépite, τ , et de la variance du processus gaussien, σ² » . Il semble que l'erreur de mesure soit également utilisée afin d'éviter une situation d'« incertitude nulle » dans la zone déjà échantillonnée, et ainsi refléter l'erreur expérimentale.

Bien entendu, ces interprétations doivent être confirmées par le personnel technique de JMP ; il ne s'agit là que de mes impressions suite à l'observation du fonctionnement des deux plateformes et des résultats obtenus actuellement.

J'espère obtenir des réponses de l'équipe technique de JMP pour mieux répondre à votre question intéressante !

Re: Optimisation bayésienne GP vs GP autonome

Peut-être que quelqu'un de JMP pourrait répondre ici ?

Les intervalles de confiance servent à prédire le meilleur emplacement pour la mesure suivante.
Un niveau de confiance différent implique une prédiction différente, n'est-ce pas ?

Re: Optimisation bayésienne GP vs GP autonome

Ce n'est pas si simple, car le comportement des deux plateformes basées sur les GP diffère en ce qui concerne le calcul des intervalles de confiance.
Il y a toujours une certaine marge d'erreur dans les calculs des intervalles de confiance OB, alors que sur la plateforme GP classique, l'erreur est fixée à 0 pour les emplacements où les points sont mesurés (d'où ma réponse initiale concernant la différence dans le calcul et l'affichage de l'erreur/intervalle).

En fonction de la fonction d'acquisition utilisée et du calcul des intervalles de confiance, vous pouvez obtenir différentes recommandations de point d'échantillonnage « optimal » suivant :

Maximiser la désirabilité bayésienne :

Maximiser l'amélioration attendue (Optimiser la réponse prévue par rapport à la cible) :

Maximiser la désirabilité de l'écart type bayésien (se concentrer sur les zones où l'incertitude est la plus élevée) :

Re: Optimisation bayésienne GP vs GP autonome

Ah, oui !
Il est important de commencer par des intervalles de confiance non nuls, même pour les positions de mesure.
Différence énorme avec les résultats de simulation.

Délicat – sans modèle – et avec un seul point de données à cet endroit précis.

Re: Optimisation bayésienne GP vs GP autonome

Merci @Victor_G pour votre contribution. Attendons des précisions de la part de l'équipe JMP.

Matthieu

Re: Optimisation bayésienne GP vs GP autonome

Processus gaussien + paramètre de pépite :
Comment enregistrer les intervalles de prédiction/de confiance d'un modèle de processus gaussien ?

Re: Optimisation bayésienne GP vs GP autonome

@hogi , veuillez lire la conversation, il s'agit exactement du même lien que celui fourni dans ma première réponse.

Attendons une explication officielle de la part de l'équipe technique de JMP qui travaille sur l'optimisation bayésienne ( @chris_gotwalt1 ? )

Re: Optimisation bayésienne GP vs GP autonome

Ah, désolé, je n'avais pas cliqué sur le lien au premier abord, car il était classé dans la catégorie « médecine générale classique ».
Vous avez raison, c'est le même lien. Il couvre également la partie concernant le paramètre Nugget.

Re: Optimisation bayésienne GP vs GP autonome

J'essaie de relancer cette discussion, en espérant que quelqu'un puisse m'aider.

Matthieu