ChatGPT, et les grands modèles de langage (LLM) en général, sont devenus une source d'information croissante. Toutefois, il est nécessaire d'évaluer leurs réponses avant de les utiliser, afin de passer d'une démarche axée sur la génération d'informations à une démarche axée sur l'évaluation de leur qualité.
Dans cette présentation, nous nous intéressons une fois de plus à la conception des invites utilisées pour l'apprentissage sur les plateformes LLM. Nous utilisons JMP pour mettre en œuvre des méthodes d'expériences statistiquement conçues afin de créer une séquence d'invites et d'analyser les réponses grâce à des méthodes d'analyse textuelle telles que l'analyse sémantique latente. Nous appliquons ensuite une régression généralisée pour modéliser l'effet des facteurs utilisés dans l'invite sur les scores thématiques obtenus avec Text Explorer.
Il est remarquable de constater comment JMP permet de combiner harmonieusement la conception d'expériences avec l'analyse de texte et la régression pénalisée afin d'améliorer l'apprentissage issu des modèles linéaires. Cette approche est applicable à tous les domaines et, de ce fait, est largement généralisable.
