Nivel: Intermedio
Peter Hersh, ingeniero de sistemas de JMP, SAS
¿Qué son los "datos funcionales" y cómo los "exploramos" exactamente? Los datos funcionales están en todas partes. Toma la forma de datos de sensores, datos transaccionales, espectros químicos y la lista continúa. El hilo común es que puede ser difícil de analizar. Además, generalmente no queremos analizar los datos funcionales directamente; queremos trabajar con la información subyacente: las funciones que producen los datos observados. El Explorador de datos funcionales (FDE) nos ayuda a hacer esto. Sirve como herramienta tanto para el análisis exploratorio como para la reducción de dimensiones para ayudarnos a utilizar la información funcional en otras técnicas de modelado. En esta presentación, Hersh mostrará los nuevos problemas analíticos que JMP puede responder usando FDE a través de varios estudios de casos del campo industrial, quimiométrico y agrícola. En el camino, demostrará FDE y algunos de los consejos y trucos que aprendió mientras ayudaba a los clientes a comprender esta nueva y poderosa plataforma.
El explorador de datos funcionales se introdujo en la versión 14 de JMP Pro y se mejoró en la versión 14.1.
Este documento describe cómo realizar análisis de datos funcionales en JMP Pro 14.1 utilizando Functional Data Explorer.
Figura 1. Una instantánea del Explorador de datos funcionales que ajusta un modelo B-Spline a los datos de absorbancia
Historia
El término Análisis Funcional de Datos fue acuñado por primera vez en 1982 por Ramsay, pero tiene una historia que se remonta a Grenander en 1950. La idea es tratar los datos como un continuo en lugar de medidas discretas. Esto se logra mediante la creación de una función para describir los datos.
Cómo usarlo
Lanzamiento del Explorador de datos funcionales
Para utilizar el explorador de datos funcionales, debe tener JMP 14 Pro o una versión más reciente de JMP Pro. El explorador de datos funcionales se encuentra en el modelado especializado del menú de análisis. Hay 3 opciones para el formato de datos apilados en filas o en columnas. El formato de datos apilados es cuando los datos funcionales están contenidos en una sola columna y tienen una columna de ID separada. El formato de filas es cuando los datos funcionales están contenidos en muchas columnas diferentes, cada fila representando una ID separada. El formato de columnas es el inverso del formato de filas donde cada columna contiene datos funcionales en muchas filas. Se recomienda utilizar el formato apilado para poder tener más flexibilidad en el procesamiento y modelado de datos.
Figura 2. Ventana de inicio del explorador de datos funcionales
Procesamiento de datos en el explorador de datos funcionales
Después de iniciar el explorador de datos funcionales, aparece la ventana de procesamiento de datos que le permite realizar muchos procesos diferentes para limpiar los datos. Hay 3 tipos de procesamiento de datos que se encuentran en el explorador de datos funcionales; limpiar, transformar y alinear. La limpieza le permite eliminar puntos que no ayudan a definir el continuo de puntos, que pueden ser ceros, valores específicos o valores atípicos. Transform le permite transformar rápidamente la variable y de su respuesta para centrarla (establecer la media en 0), estandarizar (establecer la desviación estándar en 1) o estabilizar la varianza. Align le permite alinear la variable x, ya sea alineando el mínimo, la fila, el máximo o alinear con una función de referencia mediante la deformación dinámica del tiempo. La deformación dinámica del tiempo utiliza un espectro de referencia y reduce el residuo y de los espectros originales a los espectros de referencia. Lo logra alineando los valores de x en los datos originales con los espectros de referencia que tienen el valor de y más similar. Todos los pasos de procesamiento de datos se registran en los pasos de procesamiento de datos y se pueden eliminar.
Figura 3. Ventana de procesamiento de datos
Una vez que se completa el procesamiento, los datos se pueden guardar yendo al triángulo rojo y seleccionando guardar datos. Esto le permitirá crear una nueva tabla de datos limpia.
Ajuste del modelo
Una vez que se han limpiado los datos, ahora puede ajustar un modelo a los datos. El ajuste del modelo se puede encontrar debajo del triángulo rojo y los modelos. En JMP Pro 14.1 hay 3 opciones para el ajuste del modelo, B-splines, P-splines y base de Fourier. Los B-splines son un modelo polinómico por partes en el que se puede definir el número de piezas (nudos) y el grado del polinomio (grado = 0, 1, 2 o 3). Los P-splines son una versión penalizada de los B-splines. Los modelos de base de Fourier se construyen utilizando funciones de seno y coseno de periodicidad creciente. Los modelos de base de Fourier funcionan bien con datos periódicos. Cuando ejecute el modelo, JMP ejecutará automáticamente un grupo de modelos y seleccionará el modelo que mejor se ajuste a sus datos utilizando un criterio de información específico (BIC, AICc o GCV). Puede ajustar el número y la ubicación de los nudos, así como el polinomio de grado del ajuste.
Figura 4. Selección de modelo de FDE que muestra un ajuste cúbico de 4 nudos como el mejor modelo seleccionado por el criterio BIC
En este ejemplo, tenemos 4 nudos, lo que significa que tenemos 5 modelos polinómicos separados (cúbicos en este caso) que se ajustan a los datos entre cada nudo. Una vez que finalice su modelo polinomial por partes, se generarán componentes de principio funcional (FPC) para definir la función. JMP generará todos los FPC que definen al menos el 1% de la varianza total. Estos FPC definen la variación de forma de la media. A cada lote se le asigna un valor para cada FPC. Si sus datos rastrean la función media exactamente, todos los FPC serían 0. Si tiene un valor FPC positivo, la forma de la función varía de la media en una forma similar a la función propia correspondiente (FPC negativo indica el efecto inverso).
Figura 5. Ejemplo de la Función Media y las variaciones a esa función media llamadas funciones propias.
Guardar los componentes de su principio funcional
Una vez que el modelo se ha completado y ajustado a sus datos, se crea una tabla de resúmenes funcionales. Esto proporciona componentes de principios funcionales para cada lote de sus datos. Puede personalizar qué resúmenes le gustaría y cuánto dinero FPC le gustaría haber generado. Luego, esta tabla se puede guardar y usar para el análisis de datos.
Ejemplo 1 Respuesta DoE para el proceso de fresado
Uso del explorador de datos funcionales para una respuesta DoE. En este ejemplo, estamos intentando que un proceso de fresado cumpla con las especificaciones rápidamente y que el proceso se mantenga dentro de las especificaciones sin tener que ajustarlo.
Figura 6. Vista rápida del perfil y proceso de fresado
Ejemplo 2 Uso de datos espectrales para identificar el contenido de grasa
Uso del explorador de datos funcionales para examinar datos espectrales. En este ejemplo, estamos usando radiación IR cercana para observar el contenido de grasa en la carne de res. Esto es en lugar de una técnica destructiva para determinar el contenido de grasa.
Figura 7. Información espectral del contenido de grasa en un estudio de carne de res
Ejemplo 3 Rendimiento enzimático del proceso de fermentación
Observar la forma de un grupo de variables de entrada para hacer un modelo predictivo de rendimiento. Identificar cuál será la forma ideal de cada variable de entrada para maximizar el rendimiento.
Figura 8. Panel de rendimiento
Resumen
Los datos funcionales se pueden encontrar en muchos lugares diferentes en diferentes campos y aplicaciones. A menudo, no aprovechamos al máximo los datos funcionales al resumir los datos. Esto descarta una parte sustancial de los datos recopilados y no nos permite capturar toda la información potencial. El explorador de datos funcionales en JMP 14 Pro nos ayuda a capturar toda la información mediante el uso de componentes de principios funcionales para capturar la forma de los datos funcionales.
Referencias
“Ramsay JO. mil novecientos ochenta y dos. Cuando los datos son funciones. Psicometría 47:379–396”
Granada U. 1950. Procesos estocásticos e inferencia estadística. Arkiv f¨or Matematik 1:195–277
