Generalmente hay un deseo de tener la medición más precisa de cualquier medición. En teoría, eso es bueno, pero a los efectos del análisis de datos, más precisión no siempre es mejor.
Por lo general, es mejor examinar cualquier variable continua y determinar una precisión razonable para los valores registrados. Por ejemplo, supongamos que tengo una variable X y X tiene los valores que se muestran en la siguiente tabla:
Los datos se registran con 10 decimales. Pero si estamos analizando estos datos, ¿realmente necesitamos tantos dígitos a la derecha del decimal? Una forma de examinar esto es observar la gráfica de las estimaciones de la media y la desviación estándar de estos datos, en función del nivel de redondeo utilizado. Una buena pregunta es "¿Qué tan sensibles son las estadísticas de resumen al nivel de precisión?"
Una regla de oro
La tabla y la tabla muestran que no perdemos mucha información en la estimación de la media, incluso si redondeamos todo el camino hasta un lugar decimal. Una buena regla general sobre la precisión necesaria para una variable es dividir la desviación estándar de los datos sin redondear entre 3, y usar el primer decimal de los dígitos significativos como nivel de redondeo. En el ejemplo que se muestra aquí, la desviación estándar de los datos sin redondear es 0.3612, por lo que 1/3 de eso es 0.12, lo que indica que un lugar decimal es suficiente.
¿Importa esto al construir modelos?
Recientemente, me encontré con un problema de modelado predictivo en el que el tiempo necesario para ajustar un modelo de árbol de decisiones fue más largo de lo deseado (muchas horas de tiempo computacional). El conjunto de datos utilizado fue bastante grande (varios millones de filas). Al investigar el problema, descubrí que muchas de las variables predictoras continuas (las X o los factores) se registraron en muchos lugares decimales. Usando la regla general de redondeo, el tiempo de cálculo para ajustar un modelo de árbol de decisión disminuyó a varios minutos. ¿Por qué pasó esto? los algoritmo de partición recursiva que construye árboles de decisión utiliza los niveles únicos de cada predictor continuo y construye divisiones binarias basadas en cada nivel único para encontrar la división óptima. Si los factores en el modelo son demasiado precisos, esto agrega una gran cantidad de sobrecarga computacional con un beneficio a menudo muy pequeño en la precisión del modelo mejorado. El redondeo de los factores redujo el número de niveles únicos e hizo que el algoritmo de ajuste del modelo funcionara mucho más rápido.
Datos de binning
En la práctica, también se sabe que incluso los indicadores menos precisos de los niveles de las variables continuas pueden ser útiles y conducir a mejores modelos. Un enfoque para reducir la precisión de una variable predictiva es emplear binning . Binning simplemente asigna cada variable continua a un nivel categórico. El redondeo es un ejemplo de binning. Otro ejemplo de binning es construir un histograma de los datos y usar los bins en el histograma como predictor. UNA La publicación anterior del blog describía una herramienta de agrupación interactiva que puedes usar para hacer este tipo de binning manualmente. UNA tercer ejemplo de binning es utilizar un enfoque supervisado , donde los intervalos en el predictor se eligen de una manera que maximice la capacidad predictiva de la variable agrupada.
Para el problema de análisis de datos que enfrenté, con datos demasiado precisos que condujeron a un largo tiempo de cómputo, tuve 100 variables de predicción que necesitaban algún nivel de agrupamiento aplicado. El enfoque de agrupación interactiva habría tardado demasiado, y la aproximación de agrupación supervisada es, en sí misma, computacionalmente intensa, por lo que estaba tomando bastante tiempo. Decidí emplear un enfoque de agrupación no supervisada que simplemente busca agrupaciones o agrupaciones en las variables predictoras, una variable a la vez.
Cómo agrupar datos usando distribuciones normales de mezclas
Considere la variable ligeramente "grumosa" que se muestra en el histograma a continuación. Una distribución de Mezcla normal que usa 3 distribuciones normales se ajusta a los datos (Zona activa> Ajuste continuo> Mezclas normales> Mezcla normal 3). Las estimaciones de los parámetros de la distribución de la mezcla se registran y se crea una fórmula de agrupación que asigna una fila a un grupo según la distribución en la mezcla en la que la fila tenga la mayor probabilidad asociada.
La variable agrupada es un número entero que conserva el orden en los datos, por lo que puede utilizarse como una variable continua, ordinal o nominal.
Haga clic en la imagen para ver la versión animada.
Para automatizar el proceso de uso de distribuciones de mezcla normales para agrupaciones no supervisadas, creé un complemento JMP ( disponible para descarga en el intercambio de archivos JMP - requiere un perfil SAS libre).
Como parte de su preparación de datos para el modelado, tenga en cuenta la precisión de los datos de sus variables predictoras, y vea si una precisión más baja puede ser útil al realizar su análisis. Espero que las ideas compartidas en esta publicación te sean útiles a medida que trabajas para construir mejores modelos.
Arati Mejdal escribió:
Gracias sam Voy a actualizar el enlace en el post.
Sam Gardner escribió:
Una referencia que menciona la utilidad del binning es Berry & Linhoff, Data Mining Techniques, 2nd Ed, p 237 y p351. En particular, dicen: "Quizás de manera inesperada, los valores de agrupación pueden mejorar el rendimiento de los algoritmos de minería de datos".
Chris Dorger escribió:
Sam,
Interesante regla de pulgar y fácil de recordar. ¿Tienes una referencia por su fuente? ¿Por qué funciona?
