L’apprentissage automatique joue un rôle important à une époque où l’IA devient de plus en plus populaire. La plupart des gens voient des produits ou des concepts terminés. La méthode qui les sous-tend est en fait la clé. Le machine learning distingue également deux catégories différentes en termes d’algorithmes, à savoir enseignement supervisé et apprentissage non supervisé . Les méthodes courantes d'apprentissage automatique sont classées comme suit :
enseignement supervisé
|
apprentissage non supervisé
|
arbre de décision
|
regroupement
|
réseau neuronal
|
carte auto-organisée
|
forêt aléatoire
|
Analyse de corrélation
|
analyse de régression
|
décomposition en valeurs singulières
|
K voisin le plus proche
|
|
Bayes naïf
|
|
exister enseignement supervisé Usage moyen, général Marqué Ensembles de données pour la formation, l'apprentissage supervisé est principalement utilisé pour Classification et établissement de relations de régression ; plutôt que enseignement supervisé utiliser Données non étiquetées Le but de la formation est de découvrir certaines structures ou modèles à partir des données. La plupart d'entre eux sont utilisés dans regroupement et Réduction de dimensionnalité supérieur.
Comprendre l'apprentissage automatique : l'approche des réseaux de neurones
Aujourd'hui, je vais vous présenter le réseau neuronal qui est souvent entendu dans l'apprentissage supervisé et qui a une longue histoire de développement. Le réseau neuronal utilisé dans JMP est ANN (réseau de neurones artificiels) méthode de réseau neuronal artificiel , par rapport au corps humain, c'est le concept de neurones. Les neurones comprennent les corps cellulaires, les dendrites et les axones. La fonction principale des dendrites est de recevoir des signaux d'autres neurones. Ces signaux seront transmis aux dendrites via les synapses, et les dendrites seront Les signaux reçus sont intégrés et transmis au corps cellulaire du neurone pour un traitement ultérieur. L'axone est principalement responsable de la transmission du signal de sortie du neurone. Lorsqu'un neurone est activé, il transmet des signaux à d'autres neurones via son axone. La synapse est le point de contact entre deux neurones. Grâce à elle, des signaux peuvent être transmis entre les neurones via des neurotransmetteurs, et chaque neurone transmet des signaux via son axone. Chaque synapse a une force spécifique équivalente au poids du réseau neuronal. (Figure 1)
Figure 1
Dans le réseau neuronal (Figure 1-2), le perceptron est un composant important, qui comprend l'entrée, la somme pondérée, la fonction d'activation (fonctions d'activation) et la sortie, où sortie = fonction d'activation. ( ∑ je ( w je × X je ) + b ) , Wi est le poids, xi est la valeur d'entrée et b est le biais. Ce qui suit est un diagramme schématique d'un réseau neuronal monocouche et une simple expression de régression linéaire multiple lorsque la fonction d'activation est une fonction linéaire (Figure 2).
Figure 2 : Expression de régression linéaire multiple simple lorsque la fonction d'activation est une fonction linéaire
3 gentil JMP La fonction d'activation utilisée dans
- TanH :
: La fonction tangente hyperbolique est une fonction en forme de S, comprise entre -1 et 1. C'est la version centralisée et mise à l'échelle de la fonction logistique, où x est une combinaison linéaire de variables d'entrée (Figure 3), et sa sortie est centralisée, Lorsque Y est une variable catégorielle ou une relation non linéaire, elle peut être utilisée comme fonction d'activation, qui est également une fonction d'activation couramment utilisée. Le gradient des valeurs extrêmes -1 et 1 aux deux extrémités est proche de 0 , ce qui peut ralentir la vitesse d'apprentissage.
Figure 3 : Combinaison linéaire
- Linéaire : Aussi appelée fonction identité, elle ne passe pas par le processus de conversion des variables (Figure 4), c'est-à-dire : Les variables montrent une relation linéaire et le scénario d'utilisation habituel consiste à réduire la dimension des variables d'entrée. .
Figure 4 :
- Gaussienne : Fonction gaussienne :
, il appartient à la fonction de base radiale, qui est une fonction non linéaire et est applicable lorsque le plan de réaction est un plan gaussien (Figure 5). L'inconvénient est que la vitesse de mise à jour du poids est lente, ce qui affecte l'efficacité et l'effet de l'entraînement. Par rapport à Tanh, la fréquence est inférieure.
Figure 5-1 :
Figure 5-2 :
Ensuite, nous expliquerons comment configurer le réseau neuronal dans JMP : (Figure 6)
Figure 6
La méthode de validation initiale est utilisée pour évaluer la capacité d'explication du modèle de l'ensemble de formation et de l'ensemble de validation. Deux méthodes de validation croisée, KFold et Holdback, sont fournies, car KFold utilise toutes les données pour la vérification et fournit plusieurs estimations, ce qui contribue à la stabilité. de l'évaluation du modèle. , les résultats biaisés peuvent être évités pour les petits échantillons, le temps d'exécution est plus long et le temps d'exécution du Holdback est court, mais la vérification des données aura une variabilité relativement élevée.
Le nombre de tours ci-dessous représente le nombre de fois qu'il faut redémarrer le processus de formation du modèle pour éviter que le modèle ne tombe dans la valeur optimale locale au lieu de la valeur optimale globale. En termes de paramètres de couche cachée, JMP Standard Edition fournit une couche cachée à une seule couche. paramètres. JMP Pro fournit un paramètre de couche masquée à double couche. L'utilisation de couches masquées supplémentaires consiste généralement à explorer des relations non linéaires complexes lorsque la structure des données est complexe ou que les données sont hiérarchiques et séquentielles, telles que des variables de différents types et de nombreuses sources de données. ; Le but de la définition de plusieurs nœuds est d'apprendre plus de modèles. Lorsqu'il y a plus de variables d'entrée, les nœuds qui doivent être définis doivent être améliorés.
En cas de surajustement, JMP propose la méthode de pénalité suivante :
(Carré) : utilisé lorsqu'il est supposé que la plupart des variables d'entrée ont un impact sur le modèle.
(Absolu) ou
(Dégradation du poids) : utilisé lorsqu'il existe de nombreuses variables d'entrée, mais que seules certaines d'entre elles sont censées affecter le modèle.
JMP propose également des options de conversion de variables, telles que Transform Covariates, qui convertit les variables d'entrée en distributions approximativement normales. Les avantages de la conversion peuvent accélérer la convergence de l'entraînement et éviter la disparition du gradient. 1 problèmes, etc. De même, pour les situations où la variable de sortie a une distribution asymétrique, une queue épaisse, etc., vous pouvez utiliser l'option Robust Fit pour éviter l'influence des valeurs aberrantes.
Le processus d'ajustement du modèle
Sur la base de la description ci-dessus, décrivez brièvement le processus d'ajustement du modèle :
Utilisez la fonction de vraisemblance plus la fonction de pénalité et utilisez la méthode d'itération quasi-Newton, également connue sous le nom de BFGS. 2 Méthode, trouvez le point où la fonction de perte plus la fonction de pénalité (si considérée) atteint le minimum (Figure 7) pour ajuster les poids des paramètres. De manière générale, le point minimum peut être trouvé en utilisant la validation croisée environ 20 à 50 fois.
Figure 7
Lorsque JMP ajuste le modèle, vous avez également le choix entre une méthode Boosting. Les taux d'apprentissage sont compris entre 0 et 1 et le nombre de modèles à ajuster peut être ajusté. Il est additionné par une série de petits modèles. Dans le modèle final, chaque petit modèle est ajusté en fonction de l'erreur du modèle précédent, en tenant compte du nombre de modèles ajustés et si l'interprétabilité globale du modèle ne peut plus être améliorée après validation croisée. Pour les petits modèles, généralement, seul un une seule couche cachée et un ou deux nœuds sont définis, ce qui présente l'avantage d'améliorer la précision du modèle. (Figure 8)
Le réglage du taux d'apprentissage et du nombre de modèles est généralement tel que plus le taux d'apprentissage est proche de 1, plus le nombre de modèles doit être petit. Plus le petit modèle est complexe à l'aide de la méthode Boosting, la signification du bonus sera perdu. JMP ne permet pas la configuration de deux calques. Couche cachée combinée avec la méthode Boosting.
Figure 8
Lithographie / Partage de cas de gravure
Exemples cités ci-dessous issus du JMP Discovery Summit 2022 3 , Des défauts de paroi latérale se produisent parfois pendant l'étape de lithographie/gravure (Figure 9). Il est nécessaire d'utiliser un microscope électronique à balayage SEM (Microscope électronique à balayage) pour voir si la largeur de ligne est conforme aux spécifications. Il est généralement difficile de détecter l'anomalie. car il est difficile de le mesurer exactement.La localisation du défaut détecté. Par conséquent, un logiciel open source est d'abord utilisé pour convertir les images en indicateurs de données d'image, puis JMP est utilisé pour l'analyse et la modélisation. À ce stade, le Y correspondant est une variable catégorielle de bonne ou de mauvaise, et X correspond à chaque donnée d'image. indicateur (Figure 10) (Pour la description de l'indicateur, veuillez vous référer au dernier lien),
Figure 9
Figure 10
La première étape consiste à sélectionner les variables Y et X (Figure 11)
Figure 11
Dans la deuxième étape, KFold est sélectionné pour éviter le biais d'estimation des petits échantillons, une seule couche cachée et une fonction d'activation TanH sont sélectionnées pour convertir les variables d'entrée pertinentes en variables (Figure 12).
Figure 12
La troisième étape consiste à déterminer des indicateurs tels que la résolution des erreurs, la précision des défauts de prédiction et Rsquare (Figure 13).
La quatrième étape consiste à trouver les paramètres qui ont un impact significatif sur le poids en fonction du profileur de prédiction (Figure 14).
(Figure 14)
La cinquième étape consiste à stocker la formule de prédiction et à visualiser les poids (Figure 15).
(Figure 15)
Enfin, nous résumons quelques règles empiriques pour configurer JMP sur des réseaux de neurones, comme suit :
- Les fonctions d'activation linéaires sont généralement associées à des variables d'entrée, tandis que les variables de sortie sont généralement associées à des fonctions d'activation non linéaires, en particulier lorsqu'il y a trop de variables et que vous souhaitez réduire la dimension.
- Lorsque davantage de nœuds peuvent conduire à un surajustement, le fait de maintenir le nombre de nœuds dans la couche cachée inférieur ou égal au nombre de variables d'entrée peut être utilisé comme point de consigne de départ.
- Les petits modèles de réseaux neuronaux ont une meilleure vitesse de calcul et une meilleure stabilité. Si la précision de la prédiction est similaire à celle des grands modèles, les petits modèles devraient être les principaux.
- Lorsque le nombre de nœuds ou de couches cachées dans la couche cachée de la variable d'entrée est trop grand, une complexité inutile peut être introduite, conduisant à un surajustement du modèle. Des méthodes de validation croisée peuvent être utilisées pour confirmer et ajuster les paramètres.
- Éliminer autant que possible les valeurs aberrantes peut éviter les biais d’estimation et rendre les prédictions plus efficaces.
- Les performances d'équilibrage des données améliorent la précision des prévisions. Par exemple, lorsque Y est une variable catégorielle, le nombre de chaque catégorie doit être aussi cohérent que possible.
Le réseau neuronal, en tant que méthode d'apprentissage supervisé courante, dans cet article, nous résumons les principaux composants et processus de formation du réseau neuronal, y compris le perceptron, la fonction d'activation et la configuration du modèle. accueillir Essayez JMP gratuitement pendant 30 jours , développez différents modèles d'apprentissage de l'IA pour votre entreprise.
Lecture recommandée:
Les références
- Cas d'utilisation : JMP dans la création d'un pipeline d'analyse d'images (2022-US-30MP-1096)
