Cuando analiza los datos, ¿cuál es el primer paso?
¿Utiliza el potente generador interactivo de gráficos JMP para el análisis visual?
¿O utilizar la plataforma de distribución de JMP para realizar análisis de estadísticas narrativas?
¿O utilizar las diversas herramientas de modelado predictivo de JMP para encontrar el modelo predictivo más apropiado?
Aunque todas estas son funciones populares de JMP, como primer paso para usar el análisis JMP, además de las plataformas anteriores, es posible que desee considerar el uso de Explorar valores atípicos y Explorar valores perdidos. Plataforma, limpie y organice su información.
Tal vez piense que es comprensible explorar el valor perdido; después de todo, es más razonable que el análisis posterior corte primero el valor nulo. Pero, ¿por qué tenemos que excluir los valores atípicos? Si tales valores atípicos representan el estado de la matriz de datos, ¿afectarán nuestro análisis? Además, los valores atípicos son difíciles de detectar, ¿no podemos ignorar este efecto primero?
Para aclarar estos problemas, necesitamos saber qué son los valores atípicos.
¿Qué es un valor atípico?
Analicemos primero la situación unidimensional y generemos aleatoriamente 1000 valores de distribución normal estándar Nor (0, 1), como se muestra en la Figura 1. Los puntos rojos están marcados como valores atípicos más allá del rango de [-4,4]. de ocurrencia es 0.0063%, que es una probabilidad muy pequeña, por lo que el punto que ocurre en un área de probabilidad tan pequeña se considera un valor atípico.
Figura 1 Un mapa de puntos de distribución normal generado aleatoriamente
Luego observamos la situación de dos variables, utilizando el generador de gráficos para analizar, independientemente de si los puntos de datos tienen la misma media y varianza entre las dos variables (X2 vs. X1) o tienen una media y varianza diferentes (X3 vs. X1), como se muestra en la Figura 2 a continuación, podemos ver a simple vista que estos valores atípicos (puntos rojos) parecen tener una tendencia diferente de otros puntos y están lejos del punto central de los datos.
Figura 2 (izquierda) Diagrama de dispersión de 2 variables con la misma media y varianza (derecha) Diagrama de dispersión de 2 variables con diferente media y varianza
Cuando existe una fuerte correlación entre las dos variables, también se puede encontrar que la distancia entre algunos valores atípicos y otros puntos muestrales es mayor (punto rojo en la Figura 3). Además, utilizando la función de límite de histograma de la plataforma Fit Y by X para observar la distribución de las dos variables (Figura 3), encontramos que si solo nos enfocamos en una sola variable, no podremos detectar algunos valores atípicos. Como se muestra en la figura siguiente, este también es un Un buen ejemplo muestra que cuando consideramos los valores atípicos de múltiples variables, detectaremos algunos valores atípicos potenciales para evitar el error de juicio de solo observar y controlar una sola variable. Afortunadamente, JMP proporciona una plataforma de observación de valores atípicos multivariable.
Figura 3 Diagrama de dispersión con fuerte correlación entre dos variables
En este punto, podemos entender el concepto de valores atípicos, que consiste en encontrar puntos que están más lejos del centro de la muestra que otros puntos de muestra, o donde la ubicación del punto no coincide con la "tendencia" general de la muestra. . Curiosamente, los valores atípicos no representan puntos problemáticos, sino que representan brechas con otras muestras sin la misma "tendencia". Por lo tanto, los valores atípicos pueden representar personas problemáticas en una buena sociedad, o pueden representar una corriente clara en la ciudad malvada, dependiendo de dónde provenga su muestra.
Haga un buen uso de JMP para analizar datos WAT y resolver problemas de procesos de semiconductores
Habiendo dicho eso, usamos datos de pruebas eléctricas de fabricación de semiconductores como ilustración.
Los parámetros de los componentes de la fabricación de obleas semiconductoras tienen sus correspondientes características electrónicas, por lo que la calidad del proceso correspondiente se puede inferir a través de los resultados de las pruebas eléctricas de estos parámetros. Las fundiciones de obleas generalmente llaman a las pruebas de parámetros eléctricos llamadas WAT (Prueba de aceptación de obleas), y sus clientes deben revisar los datos de las pruebas de WAT para confirmar la calidad de fabricación. En la etapa de desarrollo del nuevo proceso, es necesario recopilar una gran cantidad de datos WAT para resolver problemas de proceso o encontrar la configuración de factor óptima.
Usamos un conjunto de datos WAT simples como demostración, que contiene 10 datos de parámetros de observación. Cuando analizamos directamente los datos de la línea de producción 3, usando la función Analizar> Distribución, podemos hacer el histograma correspondiente y el diagrama de caja de valores atípicos para observar si Hay una desviación El valor del grupo, como se muestra en la Figura 4 (izquierda), la línea roja en el Cuadro de valores atípicos marca el área más concentrada que cubre el 50%, de aquí podemos encontrar que los datos se concentran en la sección central. De manera similar, también puede usar la función de histograma de Graph Builder para completar el dibujo del histograma, como se muestra en la Figura 4 (derecha).
Figura 4 (izquierda) Histograma de la plataforma de distribución; Diagrama de caja de valores atípicos (derecha) Diagrama de caja del generador de gráficos
De acuerdo con la prueba de valores atípicos de Quantile Range, encontramos que hay un valor atípico (punto rojo) en el parámetro 1. Los valores atípicos se pueden encontrar utilizando la función de valores atípicos de Quantile Range en la plataforma Analizar> Detección> Explorar valores atípicos de JMP (Figura 5) y Puede marcar, excluir y tratar los datos como valores perdidos.
Al mismo tiempo, también puede ajustar las reglas para determinar valores atípicos, puede ajustar el valor del cuantil de cola (Cuantil de cola) y su múltiplo (Q), con la prueba de valores atípicos de IQR común, el límite superior es Q3 + 1.5 * IQR, el límite superior Tome Q1-1.5 * IQR como ejemplo, el cuantil de cola es 0.25 y Q es 1.5. Y cuando sus datos estén menos alineados con la distribución normal, puede considerar el uso de valores atípicos de ajuste robusto como una plataforma de detección de valores atípicos.
Figura 5 Valores atípicos de rango de cuantiles en la plataforma Explore Outliers
Pero cuando consideramos de manera más completa e incluimos los datos de todas las líneas de producción, encontrará que la línea de producción 3 tiene un resultado de prueba del parámetro 1 más alto, como se muestra en la Figura 6. El valor atípico original de 8.01 en la línea de producción 3 es más consistente con La mayoría de los datos. Los valores atípicos reales se convierten a los tres valores más altos de la línea de producción tres (puntos rojos en la Figura 6). Este resultado también refleja la importancia de la fuente de las muestras antes mencionadas y el amplio acceso a Los datos maternos representativos son correctos para la detección. Los valores atípicos desempeñan un papel fundamental.
Figura 6 Diagrama de caja de todas las líneas de producción
Al considerar la influencia de todos los parámetros y encontrar valores atípicos bajo la influencia de todos los parámetros, JMP también proporciona funciones de valores atípicos de PCA robustos o valores atípicos de K vecinos más cercanos para su uso. Puede encontrar estas dos plataformas funcionales en Analizar> Detección> Explorar valores atípicos.Aquí, use la plataforma K Atípicos vecinos más cercanos para encontrar valores atípicos y use el compuesto para seleccionar puntos de muestra con distancias más altas y marcarlos como valores atípicos (Figura 7).
Figura 7: Mapa de distancia en la plataforma K de valores atípicos de vecinos más cercanos
Al usar el generador de gráficos para confirmar la posición de distribución de los puntos de datos seleccionados como valores atípicos en cada parámetro, se puede encontrar que no todos los puntos pertenecen a los valores atípicos de un solo parámetro (como los puntos de datos 290, 295, 296, 297, 298) ., 299), este resultado también es el mismo que se mencionó anteriormente.Con la plataforma de cribado de valores atípicos multivariados de JMP, se pueden detectar muchos problemas potenciales que se ignoran bajo la observación de univariante (Figura 8).
Figura 8 Use Boxplot para comparar la distribución de valores atípicos en las variables
Elimine valores atípicos y cree un modelo de predicción más preciso
Sabemos que JMP tiene una buena plataforma para ayudarnos a filtrar los valores atípicos, pero ¿qué impacto causará si no filtramos los valores atípicos? Para simplificar la complejidad, veamos primero la influencia de los valores atípicos entre los dos parámetros.
Observamos el valor de R cuadrado estimado por la regresión del efecto de segundo orden entre el parámetro de primer nivel y el segundo parámetro de los datos WAT. Antes de eliminar los valores atípicos filtrados, el valor de R cuadrado es 0,602, como se muestra en la Figura 9 ( a), y después de eliminar los valores atípicos, el valor de R cuadrado aumenta a 0,740, como se muestra en la Figura 9 (b), que muestra que eliminar los valores atípicos puede construir un modelo más preciso con un valor estimado más pequeño.
Cuando usamos estos parámetros para construir resultados de predicción, como la estimación del rendimiento o la estimación de la prueba CP / FT, podemos detectar defectos de manera más efectiva, reducir costos y aumentar los beneficios.
Figura 9 (a) Estimación de regresión cuadrática sin eliminar valores atípicos (b) Estimación de regresión cuadrática con eliminación de valores atípicos
Luego amplíe y considere todos los parámetros, y use estos parámetros para estimar los resultados del valor de Bin subsiguientes para encontrar los factores clave. Y encuentre el valor de configuración de factor óptimo en la configuración de minimizar el valor de Bin. De manera similar, primero consideramos no eliminar los valores atípicos y encontramos el modelo de regresión más adecuado. Usando la plataforma del modelo de ajuste, obtenemos un modelo de regresión R-cuadrado de aproximadamente 0.971, que contiene muchos términos de efecto factorial, y muchos de ellos se pueden ver La interacción El efecto del término es más fuerte que el efecto principal, lo que parece más confuso, y al observar el gráfico de residuos por filas, podemos encontrar que las brechas en las muestras seleccionadas como valores atípicos son relativamente grandes (Figura 10).
La Figura 10 no elimina la fórmula de regresión de valores atípicos R-cuadrado, Residual por gráfico de filas y términos de efecto de factor de influencia
El siguiente paso es eliminar los valores atípicos y hacer una estimación de regresión nuevamente. Descubrimos que no solo el R-cuadrado aumentó a 0.999, sino que el factor clave también se redujo a cuatro términos de efecto de factor. Al observar el residuo por gráfico de filas, no hubo Diferencia significativa Muestra (Figura 11). El resultado predicho basado en esta fórmula de regresión será más preciso y evitará hacer juicios erróneos.
La Figura 11 no elimina la fórmula de regresión de valores atípicos R-cuadrado, Residual por gráfico de filas y el término del efecto del factor de influencia
Recopile un poco más de datos para las pruebas posteriores de la precisión de la regresión. Podemos comparar el valor estimado de la regresión con el valor de Bin real en la plataforma de Analizar> Ajustar Y por X. Los nuevos datos aún pueden tener un buen estándar. R-cuadrado tiene una precisión de 0,999 y no hay puntos especiales con diferencias excesivas.
Figura 12 Comparación del valor estimado de la fórmula de regresión y el valor de Bin real
Con la plataforma Explore Outliers de JMP, podemos eliminar de manera fácil y rápida los valores atípicos y evitar ser afectados por valores atípicos y evitar la correlación entre factores de juicio erróneo o realizar predicciones de modelos incorrectas, lo que lleva a estimaciones y decisiones incorrectas. Como puesto de avanzada para el análisis, La plataforma Explore Outliers de JMP puede proporcionar una plataforma adecuada para ayudar a los usuarios a encontrar valores atípicos y lograr rápidamente el propósito de la limpieza de datos para diferentes escenarios, independientemente de si los datos son normales o no para variables únicas o múltiples. .
Yan Shen leyendo:
Cómo hacer un mapa de obleas en JMP en 30 segundos (inglés)
Análisis de imágenes y obleas mediante análisis de datos funcionales
Regístrese para el seminario de semiconductores del 26/11
>> Mediante ¿Qué tal JMP? ¿Permitir a los usuarios obtener combinaciones de parámetros optimizadas de manera rápida y efectiva, aumentando así el rendimiento de la línea de producción y aumentando la producción? Regístrese para el seminario de semiconductores del 26/11, Entiende cómo ser amable Utilice JMP para realizar análisis WAT para mejorar el rendimiento del proceso y descubrir factores clave.
>> Regístrate ahora
