Muchas personas sienten que han participado en tantas capacitaciones y han acumulado mucha experiencia en el trabajo real, pero ¿por qué los resultados de mi modelado no son ideales? Hoy hablaremos sobre los métodos e ideas del modelado predictivo en el análisis de datos y utilizaremos pequeños casos para ayudarlo a comprender posibles malentendidos y sesgos en la metodología, para que pueda realizar el modelado y el análisis más fácilmente.
¿Qué es el modelado predictivo?
Cuando se trata de modelos predictivos, los amigos que no saben mucho al respecto pueden encontrarlos inescrutables. De hecho, los modelos de predicción están en todas partes en la vida. Por ejemplo, cuando nos levantamos por la mañana y vemos que el tiempo está nublado, predecimos que hoy puede llover. Esta es una predicción simple. En otras palabras, cuando un médico atiende a un paciente con diversos síntomas, predice qué porcentaje del paciente es probable que tenga un resfriado y qué porcentaje de la enfermedad es el paciente, lo cual también es una predicción.
¿Cuáles son los núcleos y métodos del modelado predictivo?
Existen muchos métodos de modelado predictivo. Los métodos tradicionales incluyen análisis de regresión, como regresión lineal, regresión polinómica, regresión logística, etc., modelos de penalización, como regresión de cresta, regresión de Lasso, etc. Los métodos de modelado basados en el aprendizaje automático, como redes neuronales, máquinas de vectores de soporte (SVM), árboles de decisión, bosques aleatorios, árboles impulsados y otros métodos, sin excepción, brindan muchas opciones para los analistas de datos.
Pero no importa qué tipo de modelo predictivo se realice, esencialmente se trata de encontrar el mejor modelo que realmente pueda restaurar la situación real y descubrir una ley real. Pero en la mayoría de los casos, quizás el problema más importante al que nos enfrentamos es: ¿Cómo juzgar si el modelo es bueno o no? ¿Hay sobreajuste? Es decir, la cuestión central más crítica del modelo de predicción es si puede lograr el equilibrio óptimo entre variación y desviación.
¿Cuál es el equilibrio de variación y desviación? En términos simples, el modelo no solo debe funcionar bien en los datos del conjunto de entrenamiento utilizados para el modelado, sino que también debe funcionar mejor si se cambian los datos recopilados por un grupo diferente de personas. Por ejemplo, si el primer grupo de personas toma el mismo medicamento, la efectividad puede alcanzar el 80%, lo que parece muy bueno, pero si otro grupo de personas toma el medicamento, la efectividad del medicamento puede ser solo del 30%. . Esto demuestra que el efecto no es tan bueno. El efecto real debería ser así: si (teóricamente) hacemos innumerables muestreos y tomamos muestras de cien personas cada vez, el efecto debería ser muy estable en estos innumerables muestreos y el efecto de cada muestreo será muy bueno. El llamado efecto bueno significa que el efecto de predicción del modelo es bueno, el llamado efecto estable significa que el número de variaciones es pequeño y el llamado efecto de inestabilidad significa que el número de variaciones es grande.
Suena fácil de entender, pero en la práctica no podemos lograr innumerables muestreos. En la mayoría de los casos, solo hay un muestreo. Entonces, ¿cómo utilizar un muestreo para evaluar la estabilidad del modelo? Esto requiere el uso de métodos de validación cruzada.
¿Qué es la validación cruzada? Por ejemplo, digamos que dividimos la multitud en varias partes, mantenemos algunas de ellas como datos de entrenamiento, luego mantenemos una parte como datos de verificación y luego extraemos algunas de las otras para usarlas como datos de entrenamiento. En resumen, cada dato se extrae para verificación, lo que se denomina validación cruzada. Todos los datos para verificación no son datos utilizados para modelar, por lo que los resultados son más convincentes.
Por ejemplo, si hay dos puntos, es muy fácil construir un modelo óptimo, esta línea recta es un modelo óptimo (la desviación es pequeña, de hecho, su desviación aquí es 0).
Como puede verse en la figura, en estos datos, la línea verde obviamente no funciona tan bien como la línea roja (gran desviación). Sin embargo, al agregar datos de verificación, si el azul son los datos de verificación, encontrará que el rojo no necesariamente es tan bueno como el verde. Entonces, en este caso, la línea roja tiene una pequeña desviación pero una gran variación. Porque parece que solo tiene el mejor efecto de ajuste en los datos de entrenamiento, pero si cambia a otro lote de datos (datos de validación), encontrará que el efecto de ajuste empeora inmediatamente. Parece que la desviación es muy pequeña, pero la variación es demasiado grande, entonces esto no es lo que perseguimos, lo que realmente perseguimos es una variación que debe ser pequeña y la desviación debe ser pequeña, o al menos encontrarla entre los dos Un compromiso, que es de lo que se trata el modelado predictivo. Para encontrar dicho compromiso, generalmente se utiliza validación cruzada. Por lo tanto, para construir un buen modelo de predicción, ya sea una red neuronal, un árbol de decisión, SVM, etc., en realidad estamos buscando ese punto de compromiso.
Desde un punto de vista práctico, el modelado predictivo consiste principalmente en determinar dos puntos.
- Determinar qué variables influyen en los resultados. . Porque la predicción debe encontrar variables para predecir. Por ejemplo, si hay cien variables, ¿contribuyen todas esas cien variables a la predicción? Por lo tanto, primero debe determinar qué indicadores contribuyen a ello.
- ¿Cuál es la relación entre estos indicadores contribuyentes y los resultados? ?
De hecho, en la mayoría de los casos, muchos de nosotros nos centramos en la primera, qué variable afecta el resultado, pero de hecho, pocas personas prestan atención a la relación real entre estas variables y el resultado, especialmente en los modelos de predicción tradicionales. No les preste atención, encontrará que muchos modelos construidos en realidad no son válidos. En este sentido, los métodos de aprendizaje automático serán mejores, porque el aprendizaje automático puede ayudarle a encontrar un punto de división óptimo independientemente de si las variables son lineales o no lineales.
Sin embargo, los modelos tradicionales son ligeramente inferiores en este sentido, porque la mayoría de los modelos tradicionales son modelos lineales y no pueden manejar directamente la no linealidad. Los modelos tradicionales, como la regresión lineal, la regresión logística, etc., generalmente solo persiguen pequeñas desviaciones, pero métodos como la regresión Lasso y la red elástica no solo persiguen pequeñas desviaciones, sino que también persiguen pequeñas variaciones, que pueden estar entre los dos. equilibrio, por lo que estos métodos suelen ser muy populares ahora porque tienen en cuenta el equilibrio de la desviación y la variación.
Entonces, ¿están obsoletos los métodos tradicionales de modelado predictivo? la respuesta es negativa.
Las redes neuronales, las máquinas de vectores de soporte, los árboles de decisión, los bosques aleatorios, los árboles potenciados y otros métodos son de hecho métodos de vanguardia que a muchas personas les gusta seguir, pero el modelado tradicional no se eliminará por esto. En realidad, todavía tiene sus propias ventajas.
En primer lugar, siempre que las variables se transformen adecuadamente, los modelos lineales tradicionales también pueden realizar predicciones no lineales. Los métodos de modelado tradicionales utilizan principalmente algunos modelos lineales, la mayoría de los cuales pueden atribuirse a modelos lineales generalizados y hacen principalmente algunas distinciones lineales. Los métodos de aprendizaje automático pueden tener más ventajas en la distinción no lineal. Pero esto no significa que los modelos tradicionales no deban poder hacer estas distinciones no lineales. Por supuesto, para construir un modelo de predicción tradicional, si simplemente coloca las variables directamente en el software, nunca podrá hacer una distinción no lineal, porque el modelo en sí es lineal, como se ha definido. Sin embargo, con cierta exploración y transformación de estas variables, aún se puede lograr una distinción no lineal.
En segundo lugar, el modelo de regresión tradicional es muy intuitivo. En el modelo de regresión tradicional, podemos ver estimaciones de parámetros muy claras, valores P y otros indicadores que preocupan a todos. Si desea enumerar el modelo, es muy simple. Puede enumerar directamente todos los modelos.
Por el contrario, para el aprendizaje automático, especialmente el aprendizaje profundo, etc., es casi imposible enumerar un modelo (por supuesto, esto no significa que estos modelos no tengan fórmulas, es solo que son demasiado complicados para enumerarlos). De hecho, es más bien un proceso de caja negra. La llamada caja negra se puede imaginar como una máquina: aquí pones carne y sale salchicha. Pero no sabes cómo procesarlo en el medio. Tal vez a veces quieras entender el proceso de procesamiento intermedio y encontrarás que solo la máquina puede entender las cosas que hay dentro. La máquina sabe muy bien cómo implementar los pasos intermedios paso a paso, pero no podemos entenderlo porque es demasiado complicado. Por lo tanto, a menudo solo vemos un proceso de caja negra, por lo que no podemos dar una fórmula clara.
A veces no nos importa la fórmula y solo nos importa el efecto de predicción, pero a veces, cuando tienes que enumerar el modelo (por ejemplo, necesitas solicitar una patente), si no puedes describirlo claramente, lo hará. resultar difícil solicitar la patente. En este momento, es posible que necesites una fórmula clara que te ayude.
En resumen, no existe tal cosa como decir si un método está desactualizado, un método no está desactualizado ni está desactualizado, solo si es adecuado o no. Es solo que algunos métodos tienen algunas condiciones aplicables cuando se aplican. En cuanto a cuándo utilizar qué método, depende principalmente de la situación real. Por ejemplo, el aprendizaje automático suele tener mayores ventajas cuando hay muchas variables.
A continuación, utilizamos dos pequeños casos para observar la aplicación comparativa de los métodos tradicionales y el aprendizaje automático.
Logístico devolver contra red neuronal
Caso: Un estudio analizó los factores que influyen en la hipertensión (variable binaria, sí o no), e investigó el género, la edad y 4 indicadores serológicos, representados por A, B, C y D respectivamente. El investigador planea construir un modelo de predicción utilizando las tres variables edad, B y C. Para el mismo conjunto de datos, utilizamos regresión logística y red neuronal para modelar respectivamente, y luego observamos los resultados finales.
Primero, utilizamos la regresión logística para construir un modelo de predicción e incorporamos directamente estas tres variables continuas al modelo. Los resultados muestran que el área bajo la curva ROC es 0.6023, que en realidad es un resultado relativamente bajo, lo que indica que el modelo que puede ser construido no tiene mucha importancia práctica.
Luego, utilizamos tecnología de red neuronal de dos capas para incorporar directamente estas tres variables (según los resultados del conjunto de entrenamiento) y luego también obtuvimos una curva ROC, que finalmente resultó ser de alrededor de 0,86.
A juzgar por los resultados, es posible que sienta que las redes neuronales son mejores que las predicciones de regresión logística. De hecho, esta conclusión no es muy fiable. ¿por qué? Esto tiene mucho que ver con el analista. Si coloca los datos directamente en el software, como el método de regresión tradicional mencionado anteriormente es un modelo lineal, el software, por supuesto, funcionará de manera lineal. Pero el aprendizaje automático puede encontrar al final el mejor efecto de ajuste y el mejor efecto de predicción. De hecho, la mayor parte del aprendizaje automático es un proceso de prueba y error continuo, que compara y ajusta constantemente los resultados. Así como seguimos intentando y cometiendo errores, poco a poco podemos lograr un mejor resultado en el proceso de prueba y error.
Tomando los datos de ahora, si los volvemos a analizar como estadístico, parece que estos tres indicadores en realidad no tienen sentido, por lo que cuando incluimos directamente estos tres datos continuos en el análisis, parece que realmente no hay estadísticas. importancia científica, por lo que la curva ROC es relativamente baja.
Sin embargo, ¿qué encuentras si miras más de cerca? Debido a que las tres variables no están relacionadas linealmente, los resultados naturalmente no tendrán significación estadística. Si usas la clasificación, puedes verlo muy claramente.
Por lo tanto, si coloca estas variables que no están relacionadas linealmente directamente en una regresión logística para construir un modelo lineal, puede imaginar que los resultados de predicción obtenidos definitivamente no son ideales.
Si no ingresamos las variables originales, pero volvemos a ingresar los resultados de la clasificación como variables en el modelo, y aún usamos la regresión logística para volver a operar, verá que la curva ROC inmediatamente se convierte en 0,86, que es mucho más alta que la 0,6 justo ahora.
¿por qué? Debido a que hemos encontrado su ley, la relación entre variables no es lineal, sino no lineal. Después de dicha clasificación no lineal, encontrará que esta es en realidad su relación real. Y una vez que encuentre la relación, encontrará que los resultados del modelo serán mucho más ideales y el efecto de predicción será mucho mejor.
Por lo tanto, al utilizar modelos de regresión tradicionales para construir modelos predictivos, debemos tener más experiencia analítica, de lo contrario se puede concluir que "los modelos tradicionales en realidad no son tan buenos como el aprendizaje automático y otras nuevas tecnologías, y no son tan buenos como las máquinas". Estudiar bien" es una gran ilusión. De hecho, en muchos casos lo más importante a la hora de construir un modelo no es el método, sino el propio analista, muchas veces los problemas que encontramos no son problemas con el modelo en sí, sino que no hemos descubierto sus leyes reales.
Logístico devolver contra árbol de decisión
De manera similar, comparemos la regresión logística y los árboles de decisión.
Sigue siendo el mismo caso anterior. Tomando la variable edad como ejemplo, si se utiliza un árbol de decisión, la edad se incluye directamente en el modelo como una variable continua y el árbol de decisión la dividirá automáticamente en tres categorías.
Después de la exploración, descubrimos que es más razonable dividirlo en tres categorías. Finalmente, encontramos que los resultados de nuestra propia exploración eran similares a los del árbol de decisión.
Por supuesto, este tipo de análisis requiere cierta acumulación de experiencia por parte del analista. Cuando haya realizado suficiente trabajo de análisis de datos, naturalmente tendrá experiencia en dicho modelado y análisis. Por lo tanto, los analistas de datos deben tener la capacidad de distinguir claramente los modelos y determinar si son correctos o incorrectos. De lo contrario, si siguen ciegamente los llamados métodos avanzados y se alejan de la realidad, solo para lograr el efecto adecuado en los datos, será no tener sentido. de. Todos los modelos deben basarse en la situación real de la investigación y, finalmente, deben volver al trabajo de análisis real y servir al trabajo real.
Residencia en JMP modelado predictivo interactivo
¿Qué es la interacción? En general, la interacción en el análisis de datos significa que la computadora puede responder en cualquier momento al contenido que el operador ajusta en cualquier momento. El software tradicional generalmente escribe un comando y luego genera el resultado. Si desea obtener otros resultados, debe escribir otro comando, que es un modelo de comando a resultado.
Pero JMP no solo puede pasar de comandos a resultados, sino también de resultados a comandos, estas dos son interacciones reales. Cualquier operación sobre los datos se reflejará directamente en los resultados interactivos y, a la inversa, cualquier ajuste a los resultados también se reflejará directamente en la tabla de datos. Además, JMP no solo proporciona varias plataformas para el análisis de regresión tradicional, como la regresión logística, sino que también incluye plataformas de aprendizaje automático de uso común actualmente, como redes neuronales, bosques aleatorios, árboles de decisión, árboles de impulso, etc., y puede proporcionar visualización interactiva. Este método, sin programación, puede satisfacer las diversas necesidades de la academia y la industria en cuanto a análisis básico, análisis de datos exploratorios y modelado predictivo.
JMP Starter options for Predictive Modeling.. From JMP Pro VIEW>JMP STARTER.JMP Starter options for Predictive Modeling.. From JMP Pro VIEW>JMP STARTER.JMP Starter options for Predictive Modeling.. From JMP Pro VIEW>JMP STARTER.Opciones de JMP Starter para modelado predictivo. Desde JMP Pro VER>JMP STARTER.
Si desea saber más sobre cómo el modelado predictivo interactivo de JMP puede servir mejor a su trabajo real y cómo establecer mejor el pensamiento de análisis de datos científicos, Bienvenido a descargar Experimente usted mismo con una prueba gratuita de un día de JMP.
