Date de la session originale : 3 mars 2022
Sujets abordés : DOE, remplissage d'espace, Python, machine learning
Conférencier : Nick Shelton, responsable de l'ingénieur système
L'optimisation des hyperparamètres d'apprentissage automatique est un processus important et parfois difficile. La variation d'un seul hyperparamètre peut considérablement modifier l'efficacité d'un modèle et lorsque vous disposez de plus de 40 hyperparamètres, comment pouvez-vous connaître les paramètres idéaux ? Historiquement, la procédure permettant d'identifier les paramètres optimaux utilisait soit une grille, soit un cadre aléatoire pour les identifier. Ici, Nick Shelton nous explique les pièges des deux méthodologies et nous propose une nouvelle solution : la conception d'expériences qui remplit l'espace. Il utilise JMP Scripting Language (JSL) pour appeler directement Python afin de tester plusieurs hyperparamètres à la fois au cours de 30 itérations du même modèle afin d'identifier rapidement les hyperparamètres idéaux pour Python. Vraiment un gain de temps et, oserais-je dire, un outil qui évite les maux de tête que tout programmeur d'apprentissage automatique devrait utiliser.
Figure 1. La précision d'un algorithme d'apprentissage automatique donné lors de la modification d'un seul paramètre met en évidence la nécessité d'optimiser la sélection des hyperparamètres.
Figure 2.Le Surface Profiler de JMP permet une représentation 3D des paramètres d'hyperparamètres optimaux
L'optimisation des hyperparamètres d'apprentissage automatique est un processus important et parfois difficile. La variation d'un seul hyperparamètre peut considérablement modifier l'efficacité d'un modèle et lorsque vous disposez de plus de 40 hyperparamètres, comment pouvez-vous connaître les paramètres idéaux ? Historiquement, la procédure permettant d'identifier les paramètres optimaux utilisait soit une grille, soit un cadre aléatoire pour les identifier. Ici, Nick Shelton nous explique les pièges des deux méthodologies et nous propose une nouvelle solution : la conception d'expériences qui remplit l'espace. Il utilise JMP Scripting Language (JSL) pour appeler directement Python afin de tester plusieurs hyperparamètres à la fois au cours de 30 itérations du même modèle afin d'identifier rapidement les hyperparamètres idéaux pour Python. Vraiment un gain de temps et, oserais-je dire, un outil qui évite les maux de tête que tout programmeur d'apprentissage automatique devrait utiliser.
