55388_es-ES

liliconcom

10 peligros en tus datos tabulares

Building predictive models from data tables? Watch out for these 10 villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Watch out for these 10 villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Watch out for these 10 villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Watch out for these 10 villains. Image courtesy of prettysleepy on Pixaby.¿Construir modelos predictivos a partir de tablas de datos? Cuidado con estos 10 villanos. Imagen cortesía de Prettysleepy en Pixaby.

Me he estado sumergiendo en el mundo de las competencias de ciencia de datos, en las que el desempeño predictivo en un conjunto ciego te ubica a ti y a tus compañeros de equipo en una tabla de clasificación, con premios y credibilidad callejera en juego. Para triunfar en estos concursos tendrás que ser muy eficiente e inteligente con tu tiempo, ya que hay cientos de pequeñas decisiones y diferentes direcciones que puedes tomar a lo largo del camino.Si te equivocas o pierdes el tiempo, alguien te pasa. A veces, incluso parece que hay peligros que intentan deliberadamente hacerte tropezar. Suena como la vida real, ¿no?

Por cada buena práctica y destreza con los datos que he aprendido, probablemente he cometido diez veces más errores. Con el tiempo, he reunido una lista de 10 peligros a los que debo estar constantemente atento y combatir. Como lo describo en una publicación anterior , los datos nunca nos llegan limpios y estos problemas siempre están al acecho. Si bien la lista se centra en datos tabulares, muchos de los problemas se trasladan a imágenes, texto y otros tipos de datos estructurales.

Estos peligros son tan reales y omnipresentes que pueden adquirir un carácter malvado propio y, de hecho, por diversión los he asociado a cada uno con un supervillano. En la siguiente tabla, vea si puede imaginarse a estos malhechores personificando astutamente sus peligros en sus tablas de datos.  

 

Peligro	supervillano	Preguntas	Respuestas	JMP Plataformas
1. Forma inadecuada	Misterio , el seductor y engañoso cambiaformas de la X Men	a. ¿La mesa es ancha, no alta ni apilada? b. ¿Las filas corresponden a distintas observaciones que se van a entrenar y/o predecir y las columnas a objetivos y características?	1. Inspección visual 2. Realizar manipulación y remodelación de datos según sea necesario.	Transponer, dividir, apilar, unir, actualizar
2. Valores incorrectos	bufón de hombre murciélago , siempre buscando jugarte malas pasadas	a. ¿Son correctos los valores de los datos? b. ¿Qué pudo haber causado los errores?	1. Escaneo visual 2. Gráficos y estadísticas univariados, bivariados y multivariados 3. Verifique y verifique las fuentes de datos originales según sea necesario	Distribución, generador de gráficos, multivariado
3. Valores perdidos	Señor Voldemort de harry potter , El-Que-No-Debe-Ser-Nombrado puede eliminar misteriosamente los Valores-que-deberían-estar-ahí	a. ¿Faltan valores al azar o existen patrones sistemáticos? b. ¿Son predictivos los patrones de valores faltantes?	1. Estudiar detenidamente el grado y los patrones de ausencia; diseñar nuevas funciones según sea necesario 2. Cree indicadores de valores faltantes y verifique si están correlacionados con la respuesta. 3. Nota: La imputación normalmente no es necesaria para árboles potenciados por gradiente.	Analizar > Pantalla > Explorar valores faltantes, columnas > Recodificar, Generador de gráficos
4. Predictores no válidos	Sr. quemaduras de Los Simpsons , maquinando y conspirando egoístamente de maneras que le hacen la vida miserable	a. ¿Alguna columna es inviable o inapropiada para usar en predicciones futuras? b. ¿Todos los posibles predictores tienen sentido científica y éticamente?	1. Explore todas las columnas y comprenda el significado de cada una. 2. Elimine las columnas no válidas o muévalas al principio o al final de la tabla para que no se seleccionen más tarde.	Cols > Eliminar, Cols > Reordenar, Mover columnas con el mouse en el panel lateral izquierdo
5. Alta Cardinalidad	Magneto de Los X-Men, controla cualquier cosa que contenga metal y puede lanzarte muchas piezas a la vez	a. ¿Qué predictores categóricos tienen un gran número de niveles? b. ¿Qué tipo de codificaciones numéricas tienen sentido? C. ¿Deberían colapsarse las categorías de baja frecuencia?	1. Inspeccionar el número y la frecuencia. recuentos de niveles 2. Recodificar los niveles según corresponda 3. Calcular codificaciones numéricas, teniendo especial cuidado si utilizan información de destino para evitar el sobreajuste.	Distribución, Cols > Recodificar
6. Valores internos y atípicos	monos alados de El mago de Oz, volando constantemente por dentro y por fuera, cumpliendo las malvadas órdenes de la Bruja Malvada	a. ¿Están los valores extremos dentro de límites razonables? b. ¿Algún valor se repite inesperadamente con demasiada frecuencia?	1. Inspeccionar histogramas y cuantiles. 2. Verifique que los valores inusuales sean correctos 3. Utilice la transformación logarítmica para evaluar distribuciones continuas realmente sesgadas 4. Distancias de Mahalanobis	Distribución, Multivariante, Analizar > Detección > Explorar valores atípicos
7. Datos duplicados	gatos siameses de la dama y el vagabundo , con dobles intenciones y una canción molestamente pegadiza	a. ¿Hay filas o columnas duplicadas accidentalmente?   b. ¿Alguna columna es isomórfica? C. ¿Los valores de ID son únicos para cada fila?	1. Escaneo visual 2. Matriz de diagrama de dispersión de agrupamiento bidireccional	Resumen, Ordenación, Agrupación (para filas), Multivariante (para columnas)
8. Desequilibrio de respuesta	Jabba el Hutt de Guerra de las Galaxias , feliz de aplastarte y babarte bajo toda su repugnante grasa	a. ¿Qué tipo de respuesta es? b. Para binario o nominal, ¿las proporciones son representativas de la población que desea predecir? C. Para continuo, ¿tiene sentido su distribución?	1. Inspeccionar la distribución de respuestas. 2. Considere ponderar, sobremuestrear y submuestrear; puede depender de las métricas de rendimiento deseadas	Distribución, Cols > Nuevas columnas para crear una variable de peso
9. Inconsistencias entre el entrenamiento y las pruebas	Ojo de Sauron de señor de los Anillos , siempre observándote para encontrar tus contradicciones más internas y explotarlas.	a. ¿Son similares las distribuciones de la respuesta y los predictores entre las divisiones de entrenamiento, validación y prueba? b. ¿Se mantendrán los futuros conjuntos de pruebas dentro del alcance o existe una necesidad real de extrapolación?	1. Cree una nueva variable que indique divisiones; luego úselo para explorar distribuciones dinámicamente 2. Utilice proyecciones de baja dimensión para comparar estructuras de subconjuntos.	Ajustar Y por X, donde Y son todas las variables y X es el indicador dividido, crear gráficos de mosaico para variables nominales y comparaciones empíricas de distribución acumulativa para variables continuas, multivariado
10. Fuga de datos	Úrsula de La Sirenita, Puede cegarte por completo con su tinta negra azabache, filtrándola en lugares indeseables.	a. ¿Alguna característica en las divisiones de capacitación, validación y prueba utiliza de manera inapropiada la información de la respuesta? b. ¿Son predictivas las columnas de ID?	1. Busque relaciones inesperadas y cualquier pista que pueda indicar que una característica tiene fugas. 2. Diseñe nuevas características con funciones simples para verificar más a fondo si hay fugas.	Ajustar Y por X, Generador de gráficos, Multivariante, Agrupación, Seleccionar columnas > Clic derecho > Nueva columna de fórmula

 

¿Cómo podemos lidiar eficientemente con estos causantes de problemas, especialmente cuando conspiran juntos y no tenemos tiempo suficiente para escribir y depurar código personalizado? La última columna contiene la JMP rutinas que uso todos los días para manejarlos: es mi arma secreta e indispensable.Inspirándose en un famoso. pequeño superhéroe desde la década de 1950 y la innovadora interfaz de usuario de Apple MacIntosh, JMP ha ido mejorando constantemente durante 30 años bajo una filosofía principal de integración súper estrecha de estadísticas y gráficos, impulsados por un mouse.  

Building predictive models from data tables? Look out for ten villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Look out for ten villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Look out for ten villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Look out for ten villains. Image courtesy of prettysleepy on Pixaby.¿Construir modelos predictivos a partir de tablas de datos? Cuidado con diez villanos. Imagen cortesía de Prettysleepy en Pixaby.

Consulte la lista de verificación de Russ Wolfinger de 10 peligros a enfrentar al limpiar y preparar datos para el aprendizaje automático.