El aprendizaje automático juega un papel importante en una era en la que la IA se está volviendo cada vez más popular. La mayoría de la gente ve productos o conceptos completos y el método detrás de ellos es en realidad la clave. El aprendizaje automático también distingue dos categorías diferentes en términos de algoritmos, a saber aprendizaje supervisado y aprendizaje sin supervisión . Los métodos comunes de aprendizaje automático se clasifican de la siguiente manera:
aprendizaje supervisado
|
aprendizaje sin supervisión
|
árbol de decisión
|
agrupamiento
|
red neuronal
|
mapa autoorganizado
|
bosque aleatorio
|
Análisis de correlación
|
análisis de regresión
|
valor singular de descomposición
|
K vecino más cercano
|
|
Bayes ingenuo
|
|
existir aprendizaje supervisado Medio, uso general Marcado Conjuntos de datos para capacitación, el aprendizaje supervisado se utiliza principalmente para Clasificar y establecer relaciones de regresión. ; en vez de aprendizaje supervisado usar Datos sin etiquetar El propósito del entrenamiento es descubrir algunas estructuras o patrones a partir de los datos. La mayoría de ellos se utilizan en agrupamiento y Reducción de dimensionalidad superior.
Comprender el aprendizaje automático: el enfoque de las redes neuronales
Hoy presentaré la red neuronal que a menudo se escucha en el aprendizaje supervisado y que tiene una larga historia de desarrollo. La red neuronal utilizada en JMP es RNA (red neuronal artificial) método de red neuronal artificial , en comparación con el cuerpo humano, es el concepto de neuronas. Las neuronas incluyen cuerpos celulares, dendritas y axones. La función principal de las dendritas es recibir señales de otras neuronas. Estas señales se transmitirán a las dendritas a través de sinapsis, y las dendritas Las señales recibidas se integran y pasan al cuerpo celular de la neurona para su posterior procesamiento. El axón es el principal responsable de transmitir la señal de salida de la neurona. Cuando una neurona se activa transmite señales a otras neuronas a través del axón. La sinapsis es el punto de contacto entre dos neuronas. A través de ella se pueden transmitir señales entre neuronas a través de neurotransmisores, y cada sinapsis tiene una fuerza específica equivalente a la Peso de la red neuronal. (Figura 1)
Figura 1
En la red neuronal (Figura 1-2), el perceptrón es un componente importante, que incluye entrada, suma ponderada, función de activación (funciones de activación) y salida, donde salida = función de activación. ( ∑ i ( w i × X i ) + b ) , Wisconsin es el peso, xi es el valor de entrada y b es el sesgo. El siguiente es un diagrama esquemático de una red neuronal de una sola capa y la expresión de regresión lineal múltiple simple cuando la función de activación es una función lineal (Figura 2).
Figura 2: Expresión de regresión lineal múltiple simple cuando la función de activación es una función lineal
3 amable JMP La función de activación utilizada dentro
- TanH:
: La función tangente hiperbólica es una función en forma de S, entre -1 y 1. Es la versión centralizada y escalada de la función logística, donde x es una combinación lineal de variables de entrada (Figura 3), y su salida está centralizada. Cuando Y es una variable categórica o una relación no lineal, se puede utilizar como función de activación, que también es una función de activación de uso común. El gradiente de los valores extremos -1 y 1 en ambos extremos es cercano a 0, lo que puede disminuir la velocidad de aprendizaje.
Figura 3: combinación lineal
- Lineal: También conocida como función identidad, no pasa por el proceso de conversión de variables (Figura 4), es decir: Las variables muestran una relación lineal y el escenario de uso habitual es reducir la dimensión de las variables de entrada. .
Figura 4:
- Gaussiano: Función gaussiana:
, pertenece a la Función de Base Radial, que es una función no lineal y es aplicable cuando el plano de reacción es un plano gaussiano (Figura 5), la desventaja es que la velocidad de actualización del peso es lenta, lo que afecta la eficiencia y el efecto del entrenamiento. En comparación con Tanh, la frecuencia es menor.
Figura 5-1:
Figura 5-2:
A continuación, explicaremos cómo configurar la red neuronal en JMP: (Figura 6)
Figura 6
El método de validación inicial se utiliza para evaluar la capacidad de explicación del modelo del conjunto de entrenamiento y del conjunto de validación. Se proporcionan dos métodos de validación cruzada, KFold y Holdback, porque KFold utiliza todos los datos para la verificación y proporciona múltiples estimaciones, lo que ayuda a la estabilidad. de la evaluación del modelo., Se pueden evitar resultados sesgados para muestras pequeñas, el tiempo de ejecución es más largo y el tiempo de ejecución de retención es corto, pero la verificación de datos tendrá una variabilidad relativamente alta.
El número de recorridos a continuación representa el número de veces que se reinicia el proceso de entrenamiento del modelo para evitar que el modelo caiga en el valor óptimo local en lugar del valor óptimo global. En términos de configuración de capa oculta, JMP Standard Edition proporciona una capa oculta de una sola capa. configuración. JMP Pro proporciona una configuración de capa oculta de doble capa. El uso de más capas ocultas suele ser para explorar relaciones complejas no lineales cuando la estructura de datos es compleja o los datos son jerárquicos y secuenciales, como variables de diferentes tipos y numerosas fuentes de datos. El propósito de configurar varios nodos es aprender más patrones. Cuando hay más variables de entrada, es necesario mejorar los nodos que deben configurarse.
Para el sobreajuste, JMP proporciona el método de penalización de la siguiente manera:
(Cuadrado): Se utiliza cuando se supone que la mayoría de las variables de entrada tienen un impacto en el modelo.
(Absoluto) o
(Decaimiento de peso): Se utiliza cuando hay muchas variables de entrada, pero se espera que solo algunas de ellas afecten al modelo.
JMP también proporciona opciones para la conversión de variables, como Transform Covariates, que convierte las variables de entrada en distribuciones aproximadamente normales. Los beneficios de la conversión pueden hacer que el entrenamiento converja más rápido y evitar la desaparición del gradiente. 1 problemas, etc. De manera similar, para situaciones en las que la variable de salida tiene una distribución sesgada, cola gruesa, etc., puede usar la opción Ajuste robusto para evitar la influencia de valores atípicos.
El proceso de ajuste del modelo.
Con base en la descripción anterior, describa brevemente el proceso de ajuste del modelo:
Utilice la función de probabilidad más la función de penalización y utilice el método de iteración cuasi-Newton, también conocido como BFGS. 2 Método, encuentre el punto donde la función de pérdida más la función de penalización (si se considera) alcanza el mínimo (Figura 7) para ajustar los pesos de los parámetros. En términos generales, el punto mínimo se puede encontrar mediante el uso de validación cruzada entre 20 y 50 veces.
Figura 7
Cuando JMP está ajustando el modelo, también hay un método de refuerzo para elegir. Las tasas de aprendizaje están entre 0 y 1 y se puede ajustar el número de modelos a instalar. Se suma mediante una serie de modelos pequeños. En el modelo final, cada modelo pequeño se ajusta en función del error del modelo anterior, teniendo en cuenta el número de modelos ajustados y si la interpretabilidad general del modelo ya no se puede mejorar después de la validación cruzada. Para los modelos pequeños, generalmente, solo un Se establece una sola capa oculta y uno o dos nodos, lo que tiene la ventaja de mejorar la precisión del modelo. (Figura 8)
La configuración de la tasa de aprendizaje y el número de modelos generalmente es que cuanto más cerca esté la tasa de aprendizaje de 1, menor debe ser el número de modelos. Cuanto más complejo se configure el modelo pequeño utilizando el método Boosting, el significado de la bonificación se perderá. JMP no permite la configuración de dos capas. Capa oculta combinada con el método Boosting.
Figura 8
Litografía / Compartir casos de grabado
Ejemplos citados a continuación de la JMP Discovery Summit de 2022 3 , Los defectos de las paredes laterales a veces ocurren durante la etapa de litografía/grabado (Figura 9). Es necesario utilizar un microscopio electrónico de barrido SEM (microscopio electrónico de barrido) para ver si el ancho de la línea está dentro de las especificaciones. Generalmente es difícil detectar la anomalía. porque es difícil medir con exactitud la ubicación del defecto detectado. Por lo tanto, primero se utiliza software de código abierto para convertir las imágenes en indicadores de datos de imágenes, y luego se utiliza JMP para el análisis y modelado. En este momento, la Y correspondiente es una variable categórica de bueno o malo, y X corresponde a los datos de cada imagen. indicador (Figura 10) (Para obtener una descripción del indicador, consulte el último enlace),
Figura 9
Figura 10
El primer paso es seleccionar las variables Y y X (Figura 11)
Figura 11
En el segundo paso, se selecciona KFold para evitar un sesgo de estimación de muestra pequeña, se selecciona una única capa oculta y la función de activación TanH para convertir las variables de entrada relevantes en variables (Figura 12)
Figura 12
El tercer paso es determinar indicadores como la resolución de errores, la precisión de los defectos de predicción y Rsquare (Figura 13).
El cuarto paso es encontrar los parámetros que tienen un impacto significativo en el peso según el perfilador de predicción (Figura 14).
(Figura 14)
El quinto paso es almacenar la fórmula de predicción y ver los pesos (Figura 15).
(Figura 15)
Finalmente, resumimos algunas reglas generales para configurar JMP en redes neuronales, de la siguiente manera:
- Las funciones de activación lineal generalmente se combinan con variables de entrada, mientras que las variables de salida generalmente se combinan con funciones de activación no lineales, especialmente cuando hay demasiadas variables y desea reducir la dimensión.
- Cuando más nodos pueden provocar un sobreajuste, se puede utilizar como punto de ajuste inicial mantener el número de nodos en la capa oculta menor o igual al número de variables de entrada.
- Los modelos de redes neuronales pequeñas tienen mejor velocidad de cálculo y mayor estabilidad. Si la precisión de la predicción es similar a la de los modelos grandes, los modelos pequeños deberían ser los principales.
- Cuando el número de nodos o capas ocultas en la capa oculta de la variable de entrada es demasiado grande, se puede introducir una complejidad innecesaria, lo que lleva a un sobreajuste del modelo. Se pueden utilizar métodos de validación cruzada para confirmar y ajustar la configuración.
- Eliminar los valores atípicos tanto como sea posible puede evitar el sesgo de estimación y hacer que las predicciones sean más eficientes.
- El rendimiento de equilibrio de los datos mejora la precisión de la predicción. Por ejemplo, cuando Y es una variable categórica, el número de cada categoría debe ser lo más consistente posible.
La red neuronal, como método de aprendizaje supervisado común, en este artículo resumimos los componentes principales y el proceso de entrenamiento de la red neuronal, incluido el perceptrón, la función de activación y la configuración del modelo. bienvenido Pruebe JMP gratis durante 30 días , desarrolle diferentes modelos de aprendizaje de IA para su negocio.
Lectura recomendada:
Referencias
- Caso de uso: JMP en la creación de una canalización de análisis de imágenes (2022-US-30MP-1096)
