Este complemento ayuda a crear columnas de validación para datos que podrían incluir correlación entre filas, ya sea debido a la autocorrelación u otros factores, incluido el ruido que afecta las filas secuenciales. Los datos se agrupan por fila, luego los grupos se asignan a entrenamiento o validación. También hay una opción para usar la agrupación y la validación de punto de corte juntos, de modo que los grupos de validación se distribuyan a lo largo del tiempo mientras las últimas filas están en el conjunto de prueba. Al usuario se le presenta una recomendación predeterminada que probablemente sea más útil al analizar datos de procesos continuos que al usar la plataforma de validación estándar. Si se seleccionan variables objetivo, se presentan gráficos para ayudar al usuario a visualizar la división de entrenamiento/validación.
Esto fue creado con JMP Pro versión 16.Todavía no se probó en versiones estándar o anteriores de JMP.
Encuentra este proyecto en GitHub , siéntase libre de enviar problemas o solicitudes de extracción allí.
Motivación
Por defecto, la plataforma de validación asigna filas para entrenamiento y validación de forma aleatoria e individual. Cuando las filas son independientes, esto es ideal; sin embargo, si una fila depende de la fila anterior, esta división dará lugar a expectativas poco realistas del poder predictivo de un modelo, ya que la información en el conjunto de entrenamiento se usa esencialmente para validar y probar el modelo.En las series de tiempo, esto generalmente se resuelve mediante la validación del punto de corte, de hecho @ian_jmp y @Julian desarrolló un gran complemento para esto: Crear columna de validación de serie temporal .Sin embargo, para muchos modelos exploratorios, usar las últimas filas no es el mejor enfoque, especialmente cuando los cambios recientes impulsaron el análisis.Seleccionar grupos de filas dentro del conjunto de entrenamiento aumenta la probabilidad de que los datos recientes aún estén disponibles para el modelo, al tiempo que minimiza la posibilidad de que haya fuentes individuales de ruido presentes en los grupos de entrenamiento y validación.
Alternativas
Otras dos formas de analizar datos con correlación entre filas son mejores en algunas situaciones, pero no siempre son factibles:
- Reduzca la tabla de datos para tener filas verdaderamente independientes, eliminando la posibilidad de que una fila se correlacione con la fila anterior.A veces es complicado o lleva mucho tiempo resumir de manera efectiva cada columna en filas que son independientes.Por ejemplo, si un usuario aún no sabe que un evento de 15 minutos en una variable al comienzo de un proceso de 2 días de tiempo de residencia afecta su objetivo, es posible que el usuario no sepa cómo resumir esa variable durante 2 o más días en para obtener filas independientes.
- Modele o prediga la autocorrelación. La plataforma de series de tiempo es un excelente lugar para comenzar, y la inclusión de series de variables rezagadas en modelos multivariados puede proporcionar mucha información adicional sobre el proceso.Para procesos complejos con cientos de variables, esto requiere mucho tiempo y es complejo, y tienden a estar más allá del conjunto de habilidades de los nuevos usuarios.
La interfaz de usuario
El usuario selecciona las variables objetivo, si corresponde. De forma predeterminada, el primero de estos se usa para la estratificación, aunque esto no siempre afecta la división según el grupo y el tamaño de la tabla.El tipo de validación predeterminado es Agrupación y se presenta un tamaño de grupo recomendado.
Se muestra cierta información sobre las variables de destino para ayudar al usuario a identificar un tamaño de grupo adecuado.
Detalles de 'Bajo el capó'
El tamaño de grupo recomendado se basa en un análisis de series temporales de cada variable objetivo.La plataforma elige un tiempo de retraso en el que las siguientes filas tienen una autocorrelación inferior a 0,1 y luego garantiza un número mínimo de grupos en tablas pequeñas y aumenta el tamaño del grupo en tablas grandes.
Retroalimentación
Estamos buscando sugerencias e ideas, tanto relacionadas con esta interfaz de usuario como con otras formas de resolver este problema. Para discusiones filosóficas, siéntase libre de hacer una nueva publicación en el Discusión foro y etiqueta @ih y @DrewLuebe para llamar nuestra atención, eso dará mucho espacio para la discusión.
