Tal vez ... pero los datos desordenados son un problema mayor.
Los datos masivos se han generalizado en el último año o así. Lo sé porque la BBC Ha producido varios programas que lo cubren. Lo que he escuchado es que no hay una definición clara de qué es big data y por qué es importante. Cuando le pregunto a la gente si tienen datos importantes, abrumadoramente dicen "sí", si tienen mil o muchos millones de filas de datos u observaciones. Entonces, ¿quién tiene razón? Depende.
Hoy en día, software estadístico , incluyendo aquellas diseñadas para maximizar el poder del escritorio como JMP Pro , puede manejar fácilmente conjuntos de datos con millones de filas. Lo que es más importante es el número de columnas. Muy alto y Los conjuntos de datos muy amplios son realmente grandes. Es posible que requieran métodos estadísticos estándar, como el muestreo para construir modelos útiles, lo que hace que la construcción del modelo esté dentro de la potencia de una computadora de escritorio.
Entonces, si el big data es fácilmente manejable, ¿cuáles son los desafíos reales que enfrentan los analistas, ingenieros y científicos de hoy? Encuestamos a los delegados en los dos seminarios de construcción de modelos celebrados recientemente en Marlow y Edimburgo y descubrimos un hallazgo interesante: todos los delegados tenían datos confusos.
Aprovecha al máximo los datos desordenados.
Tiene datos desordenados si le faltan datos, celdas vacías, valores atípicos o entradas incorrectas. Los métodos estadísticos tradicionales, como la regresión logística y lineal, arrojan filas donde faltan celdas, lo que da como resultado un modelo más deficiente. Los valores atípicos también desechan el modelo, haciéndolo menos útil.
John Sall discutió una nueva forma de lidiar con datos desordenados llamada "falta informativa" en su publicación en el blog . Esto lleva el uso de los datos faltantes más allá de la imputación a un nuevo reino: los datos faltantes pueden realmente informarle de algo que es importante y, por lo tanto, debe incluirse en su modelo. Un ejemplo sería un solicitante de préstamo que deja una parte de su solicitud en blanco para ocultar un historial de crédito deficiente; este sería un hallazgo crítico para que un analista de crédito modele. Si está trabajando en una configuración de fabricación, es posible que falten datos porque el resultado fue literalmente fuera de la escala, lo que podría ser información útil para capturar en el modelo. Si está modelando la actividad de sustancias en función de sus propiedades químicas, es posible que falten datos para, por ejemplo, la temperatura de descomposición si no se vio que el material se descomponía en el rango de temperatura medido; por lo tanto, si incluye esta información en el modelo, obtendrá mejores predicciones de actividad.
Existe una nueva clase de técnicas de modelado llamadas métodos de reducción diseñados para brindarle un modelo que predice bien. y tiene el menor número de variables, incluso cuando tiene fuertes correlaciones entre las variables de entrada. los Regresión generalizada La personalidad le permite utilizar estos métodos desde la plataforma Fit Model. Usado junto con Informative Missing, tiene la ventaja adicional de usar todas las filas de datos al crear el modelo, incluso con datos desordenados.
Métodos basados en árboles de decisión son buenos para tratar los valores atípicos, porque el punto en el que se produce la división no está sesgado. Los usuarios de JMP Pro nos dicen que están construyendo modelos útiles sin tener que limpiar sus datos debido a esto y Falta informativa : Con técnicas de modelado robustas, es posible que pueda omitir la limpieza de datos y Todavía producen un buen modelo. Ahora eso es verdaderamente revolucionario. Los árboles de decisión también tienen la ventaja adicional de ser visuales, lo que le permite explicar sus hallazgos a los ejecutivos.
¿Qué hago si tengo datos desordenados?
JMP Pro es la Software diseñado para hacer frente a sus datos desordenados.
Realizaremos un taller práctico y exclusivo en el Reino Unido para nuevos usuarios de este software en 12 de junio , así que si desea unirse a nosotros en Marlow, Házmelo saber .
Si desea que sus gerentes vean cómo JMP Pro trata estos problemas, puede pedirles que se unan a la webcast en 3 de abril Cuando estemos mostrando dos casos de estudio.
Bernard McKeown escribió:
Tienes razón Phil. La encuesta de los delegados al seminario también confirma esto. Es por eso que estas técnicas son tan útiles.
Phil Kay escribió:
¿Hay alguien por ahí que NUNCA tenga datos desordenados?
Desde mi propia experiencia, los ensayos a pequeña escala y el diseño de experimentos por lo general producirán conjuntos de datos completos sin demasiados problemas. Sin embargo, entrar en el ámbito de la minería de datos y el modelado predictivo ... SIEMPRE hay algún aspecto desordenado en los datos.
Volker Kraft escribió:
Hola Mike, suponiendo que estés en el Reino Unido, tengo una buena noticia: en este momento estamos explorando oportunidades para apoyar clases relacionadas con STEM en escuelas secundarias con paquetes JMP para la enseñanza. Le agradecería que se pusiera en contacto (volker.kraft@jmp.com) para mantenerlo actualizado y obtener más información sobre sus requisitos en la educación secundaria.
Bernard McKeown escribió:
Hola Mike, muchas escuelas ahora están usando JMP Pro porque este es un producto central en la JMP Academic Suite. Puede encontrar más información en: http://www.jmp.com/uk/academic/ . Creo que estás en los Estados Unidos, ¿verdad? Si es así, Curt Hinrichs puede ayudar. Si en Europa, entonces Volker Kraft es la persona adecuada. Los detalles de Volker se pueden encontrar en: http://www.jmp.com/uk/software/buy-jmp-academic.shtml .
Mike Clayton escribió:
Muchas gracias.
Los estudiantes deben aprender estos métodos más avanzados, pero las escuelas no son compatibles con JMP Pro, así que, ¿cuál es la posibilidad de que los webinars gratuitos muestren conceptos más nuevos de manera que las clases de STEM de la escuela secundaria puedan beneficiarse?
