Cuando analiza datos, ¿cuál es el primer paso?
¿Desea utilizar el potente generador de gráficos JMP interactivo (Graph Builder) para el análisis visual?
¿O usar la plataforma de Distribución (distribución) de JMP para hacer análisis de estadísticas narrativas?
¿O usar las diversas herramientas de modelado predictivo de JMP para encontrar el modelo predictivo más apropiado?
Si bien estas son funciones JMP bien conocidas, como primer paso para usar el análisis JMP, además de las plataformas mencionadas anteriormente, es posible que desee considerar el uso de Explorar valores atípicos (explorar valores atípicos) y Explorar valores perdidos (explorar valores perdidos) Plataforma, limpia y organiza tu información.
Tal vez piense que es comprensible explorar los valores perdidos, después de todo, es razonable eliminar primero los valores nulos para el análisis posterior. Pero, ¿por qué necesita excluir también los valores atípicos? Si tales valores atípicos son representativos de la población de datos, ¿afectará nuestro análisis? Además, los valores atípicos son difíciles de capturar ¿No podemos ignorar este efecto primero?
Para aclarar estas cuestiones, necesitamos saber qué es un valor atípico.
¿Qué son los valores atípicos?
Analicemos primero la situación unidimensional y generemos aleatoriamente 1000 valores de la distribución normal estándar Nor (0, 1), como se muestra en la Figura 1, donde los puntos marcados en rojo son valores atípicos más allá del rango de [- 4,4], tal La probabilidad de ocurrencia es 0.0063%, que es una probabilidad muy pequeña, por lo que consideramos los puntos que ocurren en un área de probabilidad tan pequeña como valores atípicos.
Figura 1 Mapa de puntos de distribución normal generado aleatoriamente
Luego observamos la situación de dos variables, utilizando el análisis del generador de gráficos, independientemente de si los puntos de datos tienen la misma media y varianza entre las dos variables (X2 vs. X1) o con diferentes medias y varianzas (X3 vs. X1), como se muestra en la Figura 2 a continuación, podemos ver a simple vista que estos puntos atípicos (puntos rojos) parecen tener una tendencia diferente a la de otros puntos y están lejos del punto del centro de datos.
Figura 2 (izquierda) 2 variables tienen el mismo gráfico de dispersión de media y varianza (derecha) 2 variables tienen diferente gráfico de dispersión de media y varianza
Y cuando existe una fuerte correlación entre las dos variables, también se puede encontrar que algunos valores atípicos están lejos de otros puntos de muestra (puntos rojos en la Figura 3). Además, usando la función de borde de histograma de la plataforma Fit Y by X para observar la distribución de las dos variables (Figura 3), encontramos que si solo nos enfocamos en una sola variable, no podremos detectar algunos valores atípicos, como se muestra en la figura a continuación, que también es un Un buen ejemplo muestra que cuando consideramos los valores atípicos multivariados de manera integral, detectaremos algunos valores atípicos potenciales y evitaremos el error de juicio de solo observar y controlar una sola variable. Afortunadamente, JMP proporciona una plataforma de observación de valores atípicos multivariados.
Figura 3 Diagrama de dispersión con fuerte correlación entre dos variables
En este punto, podemos entender el concepto de valores atípicos, que consiste en encontrar puntos que están más alejados del centro de la muestra que otros puntos de la muestra, o donde la ubicación del punto no coincide con la "tendencia" general de la muestra. Curiosamente, los valores atípicos no representan puntos problemáticos, sino que representan una brecha con respecto a otras muestras sin la misma "tendencia". Por lo tanto, los valores atípicos pueden representar personajes problemáticos en una buena sociedad, o pueden representar una corriente limpia en una ciudad malvada, dependiendo de dónde provengan las muestras.
Haga un buen uso de JMP para analizar datos WAT y resolver problemas de procesos de semiconductores
Habiendo dicho eso, usamos datos de prueba eléctrica de fabricación de semiconductores como ilustración.
Los parámetros de los componentes de la fabricación de obleas de semiconductores tienen sus características electrónicas correspondientes, por lo que la calidad del proceso correspondiente se puede deducir a través de los resultados de las pruebas eléctricas de estos parámetros. Las fundiciones de obleas generalmente llaman a la prueba de parámetros eléctricos WAT (Prueba de aceptación de obleas), y sus clientes deben verificar los datos de la prueba WAT para confirmar la calidad de fabricación. En la nueva etapa de I+D de procesos, es necesario recopilar una gran cantidad de datos WAT para resolver problemas de procesos o encontrar la configuración de factores óptima.
Usamos un conjunto de datos WAT simples como demostración, que contiene datos de parámetros de observación 10. Cuando analizamos directamente los datos de la línea de producción 3, podemos usar la función Analizar> Distribución para hacer el histograma correspondiente y el diagrama de caja de valores atípicos para ver si hay alguna desviación Valores de grupo, como se muestra en la Figura 4 (izquierda), la línea roja en el cuadro de valores atípicos marca el área más concentrada que cubre el 50%, desde donde podemos encontrar que los datos se concentran en la sección central. De manera similar, también puede usar la función de histograma de Graph Builder para completar el dibujo del histograma, como se muestra en la Figura 4 (derecha).
Figura 4 (izquierda) Histograma de la plataforma de distribución; diagrama de caja de valores atípicos (derecha) Diagrama de caja del generador de gráficos
De acuerdo con la prueba de valores atípicos de rango de cuantiles, encontramos que hay un valor atípico (punto rojo) en el parámetro 1. Utilice la función de valores atípicos de rango de cuantiles en la plataforma Analizar> Detección> Explorar valores atípicos de JMP para encontrar su valor atípico (Figura 5), y Acciones tales como marcar, excluir y tratar los datos como valores perdidos se puede realizar.
Al mismo tiempo, también puede ajustar las reglas para juzgar como valores atípicos. Puede ajustar el valor del percentil de cola (Cuantil de cola) y su múltiplo (Q), y usar la prueba común de valores atípicos IQR. El límite superior es Q3+1.5* IQR, el límite superior Tomando Q1-1.5*IQR como ejemplo, Tail Quantile es 0.25 y Q es 1.5. Y cuando sus datos no estén en línea con la distribución normal, puede considerar usar Robust Fit Outliers como una plataforma de detección de valores atípicos.
Figura 5 Valores atípicos de rango de cuantiles en la plataforma Explorar valores atípicos
Pero cuando lo consideramos de manera más completa e incluimos los datos de todas las líneas de producción, encontrará que la línea de producción 3 tiene un resultado de prueba de parámetro 1 más alto, como se muestra en la Figura 6. El valor atípico original de 8.01 en la línea de producción 3 es más en línea con la mayoría de los datos Sin embargo, los valores atípicos reales se convierten en los tres valores más altos de la línea de producción 3 (puntos rojos en la Figura 6). Este resultado también refleja la importancia de la fuente de las muestras antes mencionadas. Amplia adquisición de datos que pueden Representar a la población materna es esencial para la detección correcta. Los valores atípicos juegan un papel fundamental.
Figura 6 Diagrama de caja de todas las líneas de producción
Al considerar la influencia de todos los parámetros y encontrar valores atípicos bajo la influencia de todos los parámetros, JMP también proporciona las funciones Robust PCA Outliers o K Nearest Neighbor Outliers para su uso. Puede encontrar estas dos plataformas funcionales en Analizar> Cribado> Explorar valores atípicos.Aquí, use la plataforma K Nearest Neighbor Outliers para encontrar valores atípicos y use composite para seleccionar puntos de muestra con distancias más altas y márquelos como valores atípicos (Figura 7).
Figura 7 K Mapa de distancia de valores atípicos del vecino más cercano debajo de la plataforma
Al confirmar la posición de distribución de estos puntos de datos seleccionados como valores atípicos en cada parámetro por Graph builder, se puede encontrar que no todos los puntos pertenecen a valores atípicos de un solo parámetro (como los puntos de datos 290, 295, 296, 297, 298, 299 ), este resultado también es consistente con la plataforma de detección de valores atípicos multivariados de JMP mencionada anteriormente, que puede capturar muchos puntos problemáticos potenciales que se ignoran en la observación de variables individuales (Figura 8).
La Figura 8 usa Boxplot para comparar la distribución de valores atípicos en las variables
Elimine valores atípicos y cree modelos predictivos más precisos
Sabemos que JMP tiene una buena plataforma que puede ayudarnos a filtrar los valores atípicos, pero ¿cuál será el impacto de no filtrar los valores atípicos? Para simplificar las cosas, primero veamos el impacto de los valores atípicos entre los dos parámetros.
Observamos el valor de R-cuadrado estimado por la fórmula de regresión del efecto secundario entre el parámetro de primer nivel y el segundo parámetro de los datos WAT. Antes de eliminar los valores atípicos filtrados, el valor de R-cuadrado es 0,602, como se muestra en la Figura 9 ( a), y después de eliminar los valores atípicos, el valor de R-cuadrado aumentó a 0,740, como se muestra en la Figura 9(b), lo que demuestra que eliminar los valores atípicos puede construir un modelo más preciso con una brecha menor en los valores estimados.
Cuando usamos estos parámetros para construir resultados de pronóstico, como pronóstico de tasa de rendimiento o pronóstico de prueba CP/FT, podemos detectar defectos de manera más efectiva, reducir costos y aumentar los beneficios.
Figura 9 (a) Estimación de regresión cuadrática sin valores atípicos eliminados (b) Estimación de regresión cuadrática sin valores atípicos eliminados
Luego amplíe y considere todos los parámetros, y utilícelos para predecir los resultados posteriores del valor Bin para encontrar los factores clave. Y encuentre el mejor valor de configuración del factor en la configuración de minimizar el valor de Bin. De la misma manera, primero consideramos no eliminar los valores atípicos para encontrar el modelo de regresión más adecuado.Utilizando la plataforma del modelo Fit, obtenemos un modelo de regresión con un R-cuadrado de alrededor de 0.971, que incluye muchos elementos de efecto de factor, entre los que podemos ver muchos El efecto del término de interacción es más fuerte que el efecto principal, que parece ser más caótico, y al observar el Gráfico de Residual por Fila, se puede encontrar que la brecha entre las muestras seleccionadas como valores atípicos es relativamente grande (Figura 10).
Figura 10 R-cuadrado de regresión, gráfico de residuos por fila y elementos de efecto de factor afectados sin eliminar los valores atípicos
El siguiente paso es eliminar los valores atípicos y hacer una estimación de regresión nuevamente. Descubrimos que no solo el R-cuadrado aumentó a 0.999, sino que los factores clave también se redujeron a cuatro elementos de efecto factorial. Observando el gráfico de residuos por fila, no Se encontró diferencia significativa Muestra (Figura 11). Los resultados predichos según esta fórmula de regresión también serán más precisos, evitando juicios erróneos.
Figura 11. No se eliminan la fórmula de regresión de valores atípicos R-cuadrado, Residual por gráfico de filas y los elementos del efecto del factor afectado
Recopile un poco más de datos para realizar pruebas de seguimiento de la precisión de la fórmula de regresión. Podemos comparar el valor estimado de la fórmula de regresión con el valor real de Bin en la plataforma de Analizar>Ajustar Y por X. Los nuevos datos aún pueden tener un muy buen nivel. R-square tiene una precisión de 0,999 y ningún punto en particular tiene una variación excesiva.
Figura 12 Comparación del valor estimado de la fórmula de regresión y el valor real de Bin
Con la plataforma Explore Outliers de JMP, podemos eliminar los valores atípicos fácil y rápidamente, evitando la influencia de los valores atípicos para juzgar mal la correlación entre los factores o hacer predicciones de modelo incorrectas, lo que lleva a estimaciones y decisiones incorrectas. Como un puesto avanzado para el análisis, La plataforma Explore Outliers de JMP puede abordar diferentes escenarios, ya sean univariados o multivariados, ya sea que los datos sean normales, y puede proponer una plataforma adecuada para ayudar a los usuarios a encontrar valores atípicos y lograr rápidamente el propósito de la limpieza de datos. .
Lectura extendida:
Cómo hacer un mapa de obleas en JMP en 30 segundos (inglés)
Análisis de imágenes y obleas mediante análisis de datos funcionales
Regístrese para el Simposio de Semiconductores del 26/11
>> a través de ¿Qué tal JMP? ¿Permitir a los usuarios obtener de forma rápida y eficaz combinaciones de parámetros optimizados, mejorando así el rendimiento de la línea de producción y aumentando la producción? Regístrese para el Simposio de Semiconductores del 26/11, aprende a ser amable Utilice JMP para análisis WAT para mejorar el rendimiento del proceso y extraer factores clave.
>> Regístrate ahora
