Mejora tu Numbersense con este nuevo libro.Como mencione en un post anterior , Kaiser Fung ha sacado un nuevo libro: Numbersense: Cómo usar Big Data a tu ventaja . Lo he leído y lo he disfrutado. Me ayudó a convertirme en un consumidor más crítico de información analítica, que es el objetivo del libro de Kaiser.
Aquí hay un extracto del libro:
Al analizar los datos, no hay forma de evitar tener suposiciones teóricas. Cualquier análisis es parte de los datos, y parte de la teoría. Los datos más detallados prestan apoyo a muchas más teorías, algunas de las cuales pueden contradecirse entre sí, como señalamos anteriormente. Pero los datos más ricos no salvan la mala teoría, ni rescatan el mal análisis. El mundo nunca se ha quedado sin teóricos; En la era de Big Data, la barra de evidencia se restablece a un nivel inferior, lo que hace que sea más difícil distinguir lo correcto de lo incorrecto.Las personas en la industria que hablan sobre Big Data dan por sentado que más datos generan más beneficios. ¿Hay que seguir al otro?
Cuando más personas realizan más análisis más rápidamente, hay más teorías, más puntos de vista, más complejidad y más confusión. Hay menos claridad, menos consenso, y menos confianza ...
Más datos inevitablemente dan como resultado más tiempo dedicado a argumentar, validar, reconciliar y replicar. Todas estas actividades crean duda y confusión. Existe un peligro real de que Big Data nos mueva hacia atrás, no hacia adelante. Amenaza con devolver a la ciencia a la Edad Oscura, ya que las malas teorías ganan terreno al reunir evidencia y ahogar las buenas teorías.
Big Data es real, y su impacto será masivo. Como mínimo, todos somos consumidores de análisis de datos. Debemos aprender a ser consumidores más inteligentes. Lo que necesitamos es Sentido de los números .
Aquí está tu oportunidad de mejorar tu propia Sentido de los números por ganar una copia del libro de Kaiser. (Si fuiste a Cumbre del descubrimiento a principios de esta semana, donde Kaiser participó en nuestro panel de discusión de estadísticas, recibió una copia gratuita del libro en la conferencia. Kaiser firmó libros para los asistentes.
los primeros 25 lectores que dejan un comentario contando sobre un desafío que ha enfrentado que involucra la recopilación, procesamiento o análisis de cantidades crecientes de datos calificarán para recibir una copia de tapa dura gratuita del nuevo libro de Kaiser, Sentido de los números . Su contribución a esta discusión debe tener entre 50 y 75 palabras. Asegúrese de ingresar su dirección de correo electrónico cuando escriba su comentario para que podamos contactarlo si es un ganador. Sólo un libro por comentarista. Los comentaristas deben residir en los EE. UU. Para ser elegibles para recibir un libro. Gracias al editor de Kaiser, McGraw-Hill, por proporcionar los libros.
Actualización del 1 de octubre de 2013: Este concurso ya está cerrado. Todos los libros han sido premiados. ¡Gracias por tu interés!
Brett escribió: Uno de los problemas que he encontrado con Big Data es ... Brett escribió:
Uno de los problemas que he encontrado con big data son los datos sucios. Las empresas desean utilizar la información contenida en las bases de datos de CRM y ERP y creen que un poco de programación producirá modelos útiles. Incluso con una gran limpieza de datos, los datos restantes son tan pobres que ya no tienen una población relatable útil para la inferencia.
Dan D escribió: Como alguien que trabaja para el gobierno el ... Dan D escribió:
Como alguien que trabaja para el gobierno, la recopilación de datos rara vez es el problema, pero la capacidad de uso siempre es difícil. ¿Cuántos detalles puede aportar sin afectar la privacidad y qué información es útil para las personas? Como científico de datos, siempre siento que las opiniones de quienes no saben nada sobre los datos han guiado nuestro análisis y nuestras decisiones en la dirección correcta.
Chris S escribió: Este artículo es especialmente apropiado. Yo solo... Chris s escribió:
Este artículo es especialmente apropiado. Acabo de venir de una reunión en la que se discute la espada de doble filo que brinda la democratización de los datos. Darle a más gente acceso a más datos puede ser una cosa muy poderosa que todas las organizaciones quieren aprovechar, pero exactamente como está articulado, el peligro es que esto lleva a la confusión y la agitación. La pregunta, como siempre, es ¿cómo maximizar los beneficios y minimizar los costos?
Murray Meehan escribió: Trabajo para entert de deportes de Microsoft ... Murray Meehan escribió:
Trabajo para la división de entretenimiento deportivo de Microsoft, en un rol de análisis centrado en servicios web basados en la nube y aplicaciones de cliente que dependen de ellos. Genero gigabytes de datos de prueba a la semana sobre la funcionalidad y el rendimiento del servicio web, casi todos los cuales se ignoran en favor de métricas muy simples que son más fáciles de comunicar entre equipos. Cuando hago un análisis más complicado, me cuesta presentarlo de una manera que mis compañeros de trabajo puedan entender. Este es un problema común en mi área.
Glen escribió: parte de mi investigación consiste en comp distribuida ... Cañada escribió:
Algunas de mis investigaciones involucran la computación distribuida para big data. Defino big data como datos demasiado grandes para cargarlos en una sola computadora. La herramienta más común para analizar grandes datos es Hadoop. Sin embargo, Hadoop fue diseñado por científicos informáticos y no funciona bien para problemas estadísticos iterativos / visualización de datos / métodos bayesianos. Es un momento emocionante para que los estadísticos contribuyan en esta área.
Jan Kölling escribió: Recientemente comencé mis estudios de doctorado en ... Jan Kölling escribió:
Recientemente comencé mis estudios de doctorado en bioinformática que involucran el análisis de grandes cantidades de datos biológicos de múltiples fuentes. Intento desarrollar herramientas que ayuden a los biólogos a responder sus preguntas de manera más eficiente y explorar los conjuntos de datos más allá de su incentivo inicial. Una gran parte de mi trabajo consiste en comunicar los beneficios de un mejor análisis y visualización y ser consciente de las dificultades que podrían invalidar los resultados de la investigación.
Dave escribió: Yo trabajo en una empresa minorista de energía, y diariamente 1 ... Dave escribió:
Trabajo en una empresa eléctrica minorista, y los datos de uso de intervalos de 15 minutos diarios, datos del clima, datos de transcripción del centro de llamadas, datos de registro web, además de la necesidad cada vez mayor de analizar estos datos rápidamente en un entorno distribuido, nos obligan a buscar nuevas soluciones. . El intervalo de datos solo es de aproximadamente 2 GB por día. Algunas regresiones ahora llevan semanas en un servidor unix multinúcleo, lo cual es inaceptable.
Dale escribió: El desafío de datos más grande que he tenido en mi vida ... Valle escribió:
El mayor desafío de datos que he enfrentado personalmente involucró el modelado y la toma de decisiones en los mercados de electricidad. El mercado más grande de EE. UU., PJM, tiene unos 10,000 nodos únicos, cada uno de los cuales emite datos a una hora (o mayor). Si a eso le sumamos la temperatura, las cantidades de combustible y los precios, y la disponibilidad del generador, se crea una dificultad significativa para separar una señal útil para las decisiones comerciales de todo el ruido.
Maegen en Boston escribió: En mi empresa, analizamos grandes ... Maegen en boston escribió:
En mi empresa, analizamos grandes cantidades de datos basados en sensores recopilados en entornos corporativos. La naturaleza in situ de los datos significa que debemos ser muy cuidadosos al encontrar patrones en el ruido, y debemos estar constantemente atentos al comportamiento extraño del sensor. Además, la naturaleza de los datos hace que sea difícil aplicar algoritmos típicos de reconocimiento de patrones fuera de la caja: debemos probar exhaustivamente nuestro conjunto de suposiciones. A medida que el software y el hardware mejoran, nos enfrentamos al desafío de garantizar que nuestros análisis sean reproducibles y (cuando sea apropiado) comparables en todos los proyectos.
AP Williams escribió: Nuestro mayor desafío es típicamente ... AP Williams escribió:
Nuestro mayor desafío es evitar la inyección de nuestros prejuicios en nuestras interpretaciones. Analizamos los datos de ventas y marketing para determinar el impacto de nuestras actividades en los resultados, pero rara vez tenemos un verdadero grupo de control. Esto conlleva muchos desafíos tanto para analizar los datos como para socializar nuestros hallazgos debido a la naturaleza a menudo no concluyente. Es difícil matar a los 'dragones' (nociones preconcebidas de nuestros grupos de interés).
Shen Ting Ang escribió: Yo trabajo con datos del habla y ahí están ... Shen Ting Ang escribió:
Trabajo con datos del habla y todavía hay preguntas que aún no se han resuelto por completo. Se han propuesto y usado varios métodos de extracción de características, pero cada uno de ellos tiene su propio conjunto de propiedades útiles y no tan útiles. Dependiendo de la tarea y los métodos utilizados, generalmente es un caso de prueba y error determinar la mejor combinación y, a menudo, no existe la mejor solución universal.
Anand Chandarana escribió: En el análisis de capital humano sp ... Anand chandarana escribió:
En el espacio de análisis de capital humano, mi mayor desafío son los propietarios de programas y otras partes interesadas que desean que los datos se conviertan en algo de la nada. "Basura en, basura fuera" como dicen. Si desea vincular un conjunto de datos (p. Ej., Datos de la encuesta de compromiso) a otro (p. Ej., Calificaciones de desempeño), es necesario que haya un vínculo real entre los dos y un flujo constante de datos. La calificación de desempeño o los datos de la encuesta de participación que se recopilan anualmente o incluso cada dos años (en este último caso) no son muy útiles. Los datos de las encuestas de participación son mucho más valiosos cuando se recopilan a través de encuestas de pulso de forma trimestral / continua. Las calificaciones de desempeño a menudo son tan indiferenciadas e inexactas que rara vez se relacionan con otras métricas de capital humano.
Chris escribió: Con Big Data viene la gran responsabilidad. Mientras ... Chris escribió:
Con Big Data viene la gran responsabilidad. Si bien nos gusta pensar que en el lado del análisis controlamos el flujo de ideas, a medida que surgen más ideas, obtienen una vida propia. Tengo problemas en mi compañía asegurándome de que el caso que estoy haciendo sea leído de la misma manera por usuarios finales que quizás nunca me hablen, solo vea algunas diapositivas o gráficos fuera del contexto de la discusión general.
Anna en Indiana escribió: Mi trabajo actual y anterior tanto r ... Anna en Indiana escribió:
Mi trabajo actual y anterior giraban en torno a cantidades masivas de datos de registros médicos electrónicos. Hay muchos desafíos cuando se trabaja con esta información: si está tratando de mostrar datos de un valor de 10 años en un mapa, qué código postal debe usar (y qué pasa si parece que un área tiene el 300% de la población dada en el censo de Estados Unidos!)? Si un paciente informa una carrera diferente en cada visita, ¿cómo determina cuál usar? ¿Cómo agregamos datos a un nivel que sea significativo y que, a la vez, proteja la privacidad?
Antonio desde su casa escribió: Tratar con el big data tan simple ... Antonio de casa escribió:
Tratar con big data como individuos simples es muy difícil. En algunos casos las herramientas web pueden ayudar. En una ocasión tuve que estudiar información de una fuente web que generaba datos sin parar en el tiempo. Escribir un script de Google y configurar un desencadenante controlado por tiempo me permitió recopilar y almacenar estadísticas parciales en una hoja de cálculo de Google por pocos minutos. Esto simplificó enormemente el análisis final.
Mike Paulonis escribió: Archivos de registro de infraestructura de computadora ... Mike Paulonis escribió:
Los archivos de registro de la infraestructura de la computadora a menudo se han ignorado, ya sea porque los contenidos se consideran de bajo valor, porque los contenidos son demasiado desestructurados, o porque hay demasiados datos registrados (que siguen creciendo). Las técnicas de big data son muy aplicables al desafiante problema del análisis de archivos de registro y están desbloqueando el valor incluso para usuarios poco sofisticados.
Arved Harding escribió: A medida que abordamos grandes conjuntos de datos en un effo ... Arved Harding escribió:
A medida que abordamos grandes conjuntos de datos en un esfuerzo por obtener información útil, podemos encontrarnos frente a barreras como las personas que han estado haciendo esto en el entorno de fabricación durante muchos años. Solo la minería de datos puede ser un esfuerzo inútil. El pensamiento sistemático puede ser útil: determine los datos necesarios, cómo y dónde obtenerlos, luego limpie los datos de la chatarra. Ahora, utilizando la gran computadora y las herramientas estadísticas de hoy, podemos comenzar con la minería.
Scott Drumwright escribió: Creo que Big Data es una evo ... Scott Drumwright escribió:
Creo que Big Data es un paso evolutivo y no la última moda de la tecnología, como algunos piensan. Nunca elegirá analizar menos datos una vez que tenga acceso a más. Está construido dentro de nosotros para querer mapear y explicar el mundo en que vivimos por completo. ¡Esta es la primera vez para mí que la próxima novedad en tecnología viene con una advertencia de moralidad!
Arati Mejdal escribió: Hola, Mark. Gracias por tu comentario. Co... Arati Mejdal escribió:
Hola, Mark. Gracias por tu comentario. Los comentarios deben estar entre 50 y 75 palabras. Tuyo califica!
Mark Ewing escribió: No estaba seguro de si el mensaje se apostaría ... Mark Ewing escribió:
No estaba seguro de si la publicación tenía entre 50 y 75 palabras o si el rango mínimo era de 50 a 75 palabras, así que eliminé mi comentario de 75 palabras para estar seguro. ¡Me encantaría tener una copia del libro!
Mark Ewing escribió: Trabajo para una gran corporación internacional ... Mark Ewing escribió:
Trabajo para una gran corporación internacional y, a menudo, solo los datos que generamos internamente a partir de ventas, precios y otros sistemas son enormes y están almacenados por todas partes. Al analizar estos sistemas, hemos recopilado todos los datos apropiados, únalos correctamente y solo entonces comience a analizarlos. Debido a que estoy implementando mis soluciones para mis clientes, tiene que ser optimizado para la velocidad y el espacio, lo que nunca es un problema fácil de resolver.
Arati Mejdal escribió: Hola, Keith. Gracias por tu comentario. SEGUNDO... Arati Mejdal escribió:
Hola, Keith. Gracias por tu comentario. Pero como se puede ver en las reglas del sorteo en la publicación del blog, esta oferta está abierta solo para los residentes de los EE. No podemos enviar un libro a Australia. Lo siento.
Keith en EAVI escribió: Totalmente de acuerdo con los puntos de vista ... Keith en EAVI escribió:
Totalmente de acuerdo con los puntos de vista planteados aquí.
Uno de los grandes desafíos con el uso creciente de big data es su democratización. Ya estoy viendo la sugerencia de que muchas más personas (que no están necesariamente entrenadas en el uso de números) podrán hacer un análisis porque les será más fácil acceder.
Indique el pico en las consultas internas sobre por qué este número no coincide con ese número (que en realidad no es el mismo, es decir, un período de tiempo diferente, un cálculo diferente).
Realmente no esperaba que un rango de personas tuvieran puntos de vista completamente opuestos del mismo conjunto de datos y aquellos que se estaban difundiendo, y no hubiera un experto analítico que tuviera la primera oportunidad de publicar una historia.
PD. Estoy en Australia, así que conseguir un libro probablemente será difícil ...
James Stiebel escribió: Mientras que Big Data ofrece una gran oportunidad ... James Stiebel escribió:
Si bien Big Data brinda grandes oportunidades para comprender, proporciona una mayor cantidad de problemas, complejidad y confusión (especialmente cuando se consideran interacciones). Cuando entreno a nuevos analistas, evito el Big Data como la plaga. Pequeñas reglas de datos!
Mi experiencia ha encontrado que Little Data es mucho más manejable, amigable y valioso. Con conjuntos de datos más pequeños, encuentro que mi capacidad para probar combinaciones de variables, simular múltiples muestreos de datos y construir múltiples modelos predictivos es mucho más fácil / rápido. Big Data requiere mucho más tiempo para invertir en la preparación y el análisis de los datos para impulsar la comprensión. No estoy seguro de si Big Data vale la pena el gran esfuerzo.
Kehleboe Gongloe escribió: En 2008, me pidieron que organizara ... Kehleboe Gongloe escribió:
En 2008, me pidieron que organizara y realizara una Encuesta sobre la fuerza laboral en Liberia. No hay experiencia previa en la realización de una investigación de este tipo y no se ha realizado una encuesta de fuerza laboral previa en Liberia. Dónde y cómo comenzar fue un reto difícil. Nuestro salvador fue el Departamento de Estadísticas de la Organización Internacional del Trabajo. Recopilamos los datos y los analizamos, pero el gobierno solo otorgó un permiso para publicar los resultados más de un año después. Este desafío me devolvió a la escuela y estoy estudiando estadísticas. Todo el concepto de big data me atrae cada vez más y estoy empezando a inclinarme hacia él de una manera seria.
Sastry Pantula escribió: Big Data proporciona BIG (Busines ... Sastry Pantula escribió:
Big Data brinda oportunidades GRANDES (negocios, industria y gobierno), especialmente durante este Año Internacional de las Estadísticas. Desafortunadamente, algunos están ocultando los datos y no están disponibles para hacer uso, realizar pruebas de forma independiente o capacitar a futuros solucionadores de problemas. También es necesario desarrollar la capacidad de los estadísticos de todo el mundo para satisfacer la demanda.
Wilfredo Salinas escribió: En mi trabajo, tenemos que analizar sal ... Wilfredo Salinas escribió:
En mi trabajo, tenemos que analizar las transacciones de ventas de varios cientos de ubicaciones. En nuestro análisis nos encantaría ver cada transacción que ocurre a cada minuto, pero los datos son tan abrumadores que tenemos que reducirlos a solo un par de horas del día. El segundo desafío es exportar esos datos del servidor SQL a una hoja de cálculo. Nuestro límite actual es de solo 1 millón de filas. Esto nos obliga a crear múltiples conjuntos de archivos por días de la semana, hora del día y conjuntos de ubicaciones. Nuestra única forma de obtener el "panorama general" de este conjunto de grandes datos es crear referencias vinculadas. En múltiples ocasiones, estos enlaces no se actualizan o eventualmente se caen. Puede ser muy frustrante.
Robert Lochel escribió: Los últimos 2 años, me desempeñé como ins ... Robert lochel escribió:
Los últimos 2 años, me desempeñé como entrenador de instrucción en mi distrito escolar. Con la llegada de los exámenes Keystone aquí en Pennsylvania, existe la necesidad de recopilar datos sobre el rendimiento de los estudiantes a lo largo de su curso de álgebra 1. El estado proporciona una prueba de diagnóstico en el aula (CDT) en línea, que adapta preguntas basadas en las respuestas de los estudiantes. La prueba proporciona una puntuación, pero poca correlación predictiva con el examen Keystone real. Ahora que tenemos nuestra primera ronda de datos de rendimiento estudiantil, he estado trabajando para comparar los puntajes de Kesytone de los estudiantes con los resultados de los CDT de los estudiantes para brindar retroalimentación a los estudiantes que toman el CDT y brindar un camino para mejorar.
Glenn Waddell escribió: Soy profesor de matemáticas y té de estadísticas AP ... Glenn Waddell escribió:
Soy profesor de matemáticas y profesor de estadísticas AP en una escuela secundaria pública. La cantidad de datos que generamos es enorme, pero nadie tiene tiempo ni energía para analizar realmente lo que podemos hacer de manera diferente, mejorar, o incluso qué tendencias o patrones se encuentran en los datos. Puedo enseñar, o puedo analizar datos, ¡pero no puedo hacer ambas cosas! Siempre estoy tratando de aprender cómo hacer las dos cosas mejor.
Chris Bodily escribió: A menudo encuentro situaciones en las que Bi ... Chris Bodily escribió:
A menudo me encuentro con situaciones en las que Big Data conduce a grandes problemas. Muchas veces se intentan los análisis mediante la recopilación de datos en una hoja de cálculo para verlos e identificar conjuntos de datos secundarios. Otras veces, big data implica grandes informes con docenas o incluso cientos de gráficos y tablas. Además, los individuos pasan horas en el proceso y terminan con resultados que aún no proporcionan la información y la orientación necesarias. Con las herramientas adecuadas, es posible una validación adecuada de los datos y un análisis eficaz conduce al aprendizaje. Incluso la visualización efectiva de datos puede generar pistas e información antes de cualquier otro análisis.
