Where should I invest to maximize profits?Where should I invest to maximize profits?Where should I invest to maximize profits?Where should I invest to maximize profits?¿Dónde debo invertir para maximizar las ganancias? Acaba de pasar el último año recopilando datos, reestructurando datos, analizando relaciones y ajustando parámetros. Ha trabajado duro y ha culminado toda esa experiencia en lo que cree que es un modelo de predicción sólido que ahora utilizará para determinar dónde gastará su empresa 10 millones de dólares de sus activos. ¿Qué tan seguro estás de tu decisión? ¿Ha tenido en cuenta todos los escenarios, factores y limitaciones posibles? ¿Es posible que te hayas perdido algo?
Bienvenido al mundo de la incertidumbre, donde lo desconocido mantiene despiertos incluso a los profesionales de datos más experimentados. Es el miedo a no saber lo que no sabemos y a perderse un efecto o resultado imprevisto lo que puede convertir un modelo de predicción simple en la peor pesadilla de una organización.
Ya sea que esté aprovechando los últimos algoritmos de inteligencia artificial o utilizando métodos de regresión tradicionales, siempre habrá cierto nivel de incertidumbre presente en su modelo.
Dado que es inevitable, la pregunta ahora es: ¿Se puede minimizar y mitigar la incertidumbre? Absolutamente, creo que se puede reducir considerablemente incorporando algunas estrategias simples que han demostrado aumentar la precisión de las predicciones y reducir la incertidumbre en los modelos.
Incertidumbre relacionada con la muestra de datos
Para empezar, debemos reconocer y comprender que existen muchas fuentes de incertidumbre en los modelos predictivos. La variación de los datos, la técnica de modelado y la selección de predictores contribuirán al rendimiento del modelo. Para esta discusión, centremos nuestra atención en la incertidumbre relacionada con la muestra de datos. La calidad del conjunto de datos juega un papel vital en la precisión de una predicción. Los datos son el combustible de un modelo de predicción. Y en la mayoría de los escenarios, cuanto más podamos alimentar el modelo, mayor será nuestra capacidad para mejorar la precisión. Pero todo tiene un costo y recopilar grandes conjuntos de datos puede ser un esfuerzo costoso y que requiere mucho tiempo. Dada esa limitación, la mejor estrategia en el Día Cero es elaborar un plan de recopilación de datos utilizando diseño de experimentos (DOE) para recopilar datos críticos por adelantado que capturen las combinaciones de factores y variaciones necesarias para modelar las relaciones con precisión.
Desafortunadamente, la mayoría no toma este camino y posteriormente se encuentra en una desesperada necesidad de datos adicionales después de la fase de recopilación para enriquecer su modelo. ¿Te suena eso? ¿Qué hacer ahora cuando no queda presupuesto para recopilar más datos? No hay necesidad de preocuparse.
3 técnicas para enriquecer tus datos
Le alegrará saber que la ayuda está cerca en forma de tres técnicas rápidas y sencillas que han demostrado enriquecer sus datos y recuperar la precisión de su modelo sin tener que invertir recursos adicionales en la recopilación de nuevos puntos de datos: Bootstrapping, Monte Carlo. Simulación e Imputación.
Arranque: Una técnica simple en la que tomamos muestras repetidas de observaciones aleatorias en nuestros datos para producir un nuevo conjunto de datos "bootstrap", que proporciona una mejor aproximación de las estimaciones del modelo.
Echemos un vistazo a esta técnica en la práctica. En el siguiente ejemplo, me gustaría explorar el parámetro del modelo (permeabilidad) y determinar si sus intervalos de confianza de 0,010 y 0,108 son una representación precisa de los límites teóricos de esta variable. Una vez que haya respondido esa pregunta, comprenderé mejor la relación entre la permeabilidad y la respuesta de mi modelo.
Original confidence limits for permeability are 0.010 and 0.108Original confidence limits for permeability are 0.010 and 0.108Original confidence limits for permeability are 0.010 and 0.108Original confidence limits for permeability are 0.010 and 0.108Los límites de confianza originales para la permeabilidad son 0,010 y 0,108.
New bootsrap limits of 0.019 and 0.119 reflect a more accurate estimate of actual valuesNew bootsrap limits of 0.019 and 0.119 reflect a more accurate estimate of actual valuesNew bootsrap limits of 0.019 and 0.119 reflect a more accurate estimate of actual valuesNew bootsrap limits of 0.019 and 0.119 reflect a more accurate estimate of actual valuesLos nuevos límites de arranque de 0,019 y 0,119 reflejan una estimación más precisa de los valores reales
Usando JMP , genero 2500 muestras de arranque para calcular nuevos intervalos de confianza de 0,019 y 0,119. Los límites de arranque son mayores que los límites originales de 0,010 y 0,108, lo que sugiere que la relación entre la permeabilidad y las respuestas previstas es, de hecho, más fuerte de lo estimado anteriormente. Con esta nueva información, puedo ajustar los coeficientes de mi modelo para reducir la incertidumbre y producir una estimación que esté más en línea con los resultados esperados reales.
Simulación del Monte Carlo: Utiliza distribuciones de variación aleatoria para producir una estimación sólida de los resultados de la predicción para tener en cuenta mejor la incertidumbre en los datos del modelo.
Apliquemos esta segunda técnica a nuestro conjunto de datos de ejemplo. Creé un modelo tradicional donde puedo estimar la respuesta esperada (Ej: REC=847.805) para un conjunto de condiciones. Aunque puedo calcular la respuesta prevista y los intervalos de confianza de esas estimaciones, lo que no puedo calcular es un resultado que incorpore la variación del mundo real que normalmente observaría entre mis factores. Al utilizar la opción de simulador en JMP, ahora puedo modelar factores como distribuciones aleatorias y producir estimaciones más precisas en mis valores de respuesta esperados. En mi ejemplo, la simulación Monte Carlo revela que aproximadamente el 25 % de mis valores de respuesta están fuera de mi límite inferior de 750. Con este nivel de riesgo cuantificado con mayor precisión, puedo tomar una decisión comercial más informada ahora que he simulado múltiples escenarios y sopesado sus respectivos resultados en consecuencia.
Monte Carlo simulation of predictor variables allows for risk analysis under varying conditionsMonte Carlo simulation of predictor variables allows for risk analysis under varying conditionsMonte Carlo simulation of predictor variables allows for risk analysis under varying conditionsMonte Carlo simulation of predictor variables allows for risk analysis under varying conditionsLa simulación Monte Carlo de variables predictivas permite el análisis de riesgos en diferentes condiciones
Imputación: Una técnica de reemplazo de datos utilizada para sustituir datos faltantes por un resultado calculado.
A los datos reales a veces les faltan valores y mi conjunto de datos de ejemplo no es diferente. Contiene algunas entradas donde no se recopilaron datos porque hubo un problema con un sensor. Desafortunadamente, dado que esos valores se omitieron, ahora se descartan de cualquier análisis y pierdo cualquier conocimiento prospectivo que podría haber obtenido si mi conjunto de datos estuviera completo. Al utilizar la imputación en JMP , ahora puedo estimar los valores de esas entradas que faltan y aumentar la confianza de mis proyecciones. La imputación se puede realizar utilizando muchas técnicas; Opté por un método llamado Imputación multivariada de SVD para predecir los valores de las 14 entradas que faltan. Cabe señalar que los datos imputados no son datos reales, pero ofrecen un medio para realizar análisis que de otro modo no podrían realizarse. Al imputar los datos que faltan, aumento la precisión de las estimaciones de las variables predictivas y ahora puedo utilizar plenamente todos los datos recopilados.
Results of 14 imputed values allow for estimation of missing dataResults of 14 imputed values allow for estimation of missing dataResults of 14 imputed values allow for estimation of missing dataResults of 14 imputed values allow for estimation of missing dataLos resultados de 14 valores imputados permiten estimar los datos faltantes
Mejorar las estimaciones y reducir la incertidumbre
Bootstrapping, Simulación Monte Carlo e Imputación. Ahí lo tiene: tres técnicas rápidas y sencillas que se pueden implementar en cualquier conjunto de datos existente para enriquecer la calidad de los resultados y mejorar en gran medida su precisión predictiva. Los modelos de predicción son cosas sorprendentes donde los casos de uso crecen cada vez más en la era del Big Data. A pesar de los avances en las opciones de modelado y los algoritmos para promover una mayor solidez y precisión, el rendimiento sigue estando impulsado por la calidad de los datos que alimentamos al modelo.
En un mundo ideal, la incertidumbre sería inexistente y nuestros datos iluminarían el camino para una predicción perfecta. Pero sabemos que a los datos reales no les importa lo que pensemos. Es complicado, defectuoso y difícil de manejar, así que enfrentemos este desafío agregando algunas herramientas nuevas a la caja de herramientas. No dejemos que lo desconocido nos mantenga despiertos por la noche. Sea proactivo al utilizar estas estrategias para mejorar las estimaciones, reducir la incertidumbre y tener la confianza de que está tomando las mejores decisiones comerciales posibles.
Estas técnicas tratan sobre la calidad de la información. Dados tus datos y tus objetivos, te ayudan a mejorar la calidad de la información que generas.
Para obtener una introducción al bootstrapping, con ejemplos y ejercicios, consulte este enlace:
Para una introducción al arranque
Para obtener una introducción a la calidad de la información, consulte este enlace :
Para una introducción a la calidad de la información (InfoQ)
Para obtener un complemento de JMP para evaluar la calidad de la información (InfoQ), consulte Complemento JMP para evaluar InfoQ
