Améliorez votre Numbersense avec ce nouveau livreComme je l'ai mentionné dans un post précédent , Kaiser Fung a un nouveau livre sur: Numbersense: Comment utiliser le Big Data à votre avantage . Je l'ai lu et apprécié. Cela m'a aidé à devenir un consommateur plus critique d'informations analytiques, ce qui est l'objectif du livre de Kaiser.
Voici un extrait du livre:
En analysant les données, il n’ya aucun moyen d’éviter les hypothèses théoriques. Toute analyse est à la fois une donnée et une théorie. Des données plus riches appuient de nombreuses autres théories, dont certaines peuvent se contredire, comme nous l'avons noté précédemment. Mais des données plus riches ne sauvent pas la théorie erronée, ni ne sauvent la mauvaise analyse. Le monde n’a jamais manqué de théoriciens; à l'ère du Big Data, la barre des preuves est rétablie plus bas, ce qui rend plus difficile la distinction entre le vrai et le faux.Les gens de l'industrie qui parlent beaucoup du Big Data prennent pour acquis que plus de données engendre plus de bien. Est-ce que l'un doit suivre l'autre?
Lorsque plus de personnes effectuent plus d'analyses plus rapidement, il y a plus de théories, plus de points de vue, plus de complexité et plus de confusion. Il y a moins de clarté, moins de consensus et moins de confiance ...
Plus de données entraînent inévitablement plus de temps passé à argumenter, valider, réconcilier et répliquer. Toutes ces activités créent des doutes et de la confusion. Il y a un réel danger que le Big Data nous ramène en arrière, pas en avant. Cela menace de ramener la science à l'âge des ténèbres, alors que de mauvaises théories gagnent du terrain en rassemblant de mauvaises preuves et en noyant de bonnes théories.
Le Big Data est réel et son impact sera énorme. À tout le moins, nous consommons tous des analyses de données. Nous devons apprendre à être des consommateurs plus intelligents. Ce dont nous avons besoin c'est Le sens du nombre .
Voici votre chance d'améliorer votre propre Le sens du nombre en remportant un exemplaire du livre de Kaiser. (Si vous êtes allé à Sommet découverte plus tôt cette semaine, lorsque Kaiser a participé à notre panel de statistiques, vous avez reçu un exemplaire gratuit du livre lors de la conférence. Kaiser a signé des livres pour les participants.)
le 25 premiers lecteurs qui laisse un commentaire sur un défi que vous avez rencontré et qui implique la collecte, le traitement ou l'analyse de quantités croissantes de données sera éligible pour recevoir un exemplaire relié du nouveau livre de Kaiser, Le sens du nombre . Votre contribution à cette discussion devrait compter entre 50 et 75 mots. Assurez-vous d'entrer votre adresse e-mail lorsque vous écrivez votre commentaire afin que nous puissions vous contacter si vous êtes un gagnant. Un seul livre par intervenant. Les commentateurs doivent résider aux États-Unis pour pouvoir recevoir un livre. Merci à l'éditeur de Kaiser, McGraw-Hill, d'avoir fourni les livres.
Mise à jour le 1er octobre 2013: Ce concours est maintenant fermé. Tous les livres ont été récompensés. Merci de votre intérêt!
brett a écrit: Un problème que j'ai rencontré avec Big Data est ... Brett a écrit:
Un problème que j'ai rencontré avec les mégadonnées est celui des données altérées. Les entreprises souhaitent utiliser les informations contenues dans les bases de données CRM et ERP et estiment qu'un peu de programmation produira des modèles utiles. Même en cas de nettoyage important des données, les données restantes sont si pauvres qu’elles ne permettent plus d’obtenir une population utile pour l’inférence.
Dan D a écrit: En tant que personne travaillant pour le gouvernement, la ... Dan D a écrit:
En tant que personne travaillant pour le gouvernement, la collecte de données est rarement le problème, mais il est toujours difficile de l’utiliser. Combien de détails pouvez-vous entrer sans affecter la vie privée et quelles informations sont utiles aux personnes. En tant que spécialiste des données, j’ai toujours le sentiment que les opinions de ceux qui ne connaissent rien des données ont guidé notre analyse et nos décisions dans la bonne direction.
Chris S a écrit: Cet article est particulièrement à propos. Je viens ... Chris S a écrit:
Cet article est particulièrement à propos. Je viens tout juste de sortir d'une réunion pour discuter de l'épée à double tranchant fournie par la démocratisation des données. Donner à plus de gens l'accès à plus de données peut être une chose très puissante que toutes les organisations veulent exploiter, mais exactement, le danger est de créer confusion et retournement. Comme toujours, la question est de savoir comment maximiser les avantages tout en minimisant les coûts.
Murray Meehan a écrit: Je travaille pour l'entraînement sportif de Microsoft ... Murray Meehan a écrit:
Je travaille pour la division de divertissement sportif de Microsoft, dans un rôle d'analyse axé sur les services Web en nuage et les applications client qui en dépendent. Je génère des giga-octets de données de test par semaine sur les fonctionnalités et les performances des services Web. La plupart d'entre elles sont ignorées au profit de métriques très simples, facilitant la communication entre les équipes. Lorsque je fais une analyse plus compliquée, j'ai du mal à la présenter d'une manière que mes collègues puissent comprendre. C'est un problème courant dans ma région.
Glen a écrit: Certaines de mes recherches concernent des logiciels distribués ... Glen a écrit:
Certaines de mes recherches concernent l'informatique distribuée pour le Big Data. Je définis les données volumineuses comme des données trop volumineuses pour être chargées sur un seul ordinateur. Hadoop est l'outil d'analyse des mégadonnées le plus utilisé. Cependant, Hadoop a été conçu par des informaticiens et ne fonctionne pas bien pour les problèmes statistiques itératifs / la visualisation de données / les méthodes bayésiennes. C'est une période passionnante pour les statisticiens pour contribuer à ce domaine.
Jan Kölling a écrit: J'ai récemment commencé mes études de doctorat à ... Jan Kölling a écrit:
J'ai récemment commencé mes études de doctorat en bioinformatique, qui impliquent l'analyse de grandes quantités de données biologiques provenant de sources multiples. J'essaie de développer des outils qui aident les biologistes à répondre plus efficacement à leurs questions et à explorer les ensembles de données au-delà de leur motivation initiale. Une grande partie de mon travail consiste à communiquer les avantages d'une analyse et d'une visualisation améliorées et à prendre conscience des écueils susceptibles d'invalider les résultats de la recherche.
Dave a écrit: Je travaille dans une entreprise d'électricité au détail, et tous les jours 1 ... Dave a écrit:
Je travaille dans une entreprise de vente au détail. Des données quotidiennes d'utilisation de l'intervalle de 15 minutes, des données météorologiques, des données de transcription de centre d'appels, des données de journal Web, ainsi que le besoin croissant d'analyser ces données rapidement dans un environnement distribué, nous poussent à découvrir de nouvelles solutions. . Les données d'intervalle à elles seules représentent environ 2 Go par jour. Certaines régressions prennent maintenant des semaines sur un serveur multicoeur Unix, ce qui est inacceptable.
Dale a écrit: Le plus grand défi de données que j'ai jamais eu ... Vallée a écrit:
Le plus grand défi de données auquel j'ai personnellement été confronté concernait la modélisation et la prise de décision sur les marchés de l'électricité. Le plus grand marché américain, PJM, compte quelque 10 000 nœuds uniques, chacun d’eux fournissant des données à une fréquence horaire (ou supérieure). Ajoutez à cela la température, la quantité de carburant et son prix, ainsi que la disponibilité du groupe électrogène, ce qui crée une difficulté importante pour séparer un signal utile pour les décisions commerciales de tout bruit.
Maegen à Boston a écrit: Dans mon entreprise, nous analysons une grande ... Maegen à Boston a écrit:
Dans mon entreprise, nous analysons de grandes quantités de données basées sur des capteurs collectées dans des environnements d'entreprise. La nature in situ des données signifie que nous devons faire très attention à la recherche de modèles de bruit et être constamment à l'affût du comportement étrange des capteurs. En outre, la nature des données rend difficile l’utilisation immédiate d’algorithmes de reconnaissance de formes typiques - nous devons tester de manière approfondie notre ensemble d’hypothèses. À mesure que les logiciels et le matériel s'améliorent, nous devons faire en sorte que nos analyses soient reproductibles et (le cas échéant) comparables d'un projet à l'autre.
AP Williams a écrit: Notre plus grand défi est généralement ... AP Williams a écrit:
Notre plus grand défi consiste généralement à éviter d'introduire nos préjugés dans nos interprétations. Nous analysons les données de vente et de marketing pour déterminer l’impact de nos activités sur les résultats, mais nous avons rarement un véritable groupe de contrôle. Cela pose de nombreux problèmes tant pour l'analyse des données que pour la socialisation de nos résultats en raison de la nature souvent peu concluante. Il est difficile de tuer les «dragons» (notions préconçues de nos parties prenantes).
Shen Ting Ang a écrit: Je travaille avec des données de parole et il y a ... Shen Ting Ang a écrit:
Je travaille avec des données de parole et il reste encore des questions à résoudre. Différentes méthodes d’extraction de caractéristiques ont été proposées et utilisées, mais chacune d’elles possède son propre ensemble de propriétés utiles et moins utiles. En fonction de la tâche et des méthodes utilisées, il s'agit généralement d'essais et d'erreurs pour déterminer la meilleure combinaison, et souvent, il n'existe pas de solution universellement optimale.
Anand Chandarana a écrit: Dans l'analyse du capital humain ... Anand Chandarana a écrit:
Dans le domaine de l’analyse du capital humain, mon principal défi est celui des propriétaires de programmes et des autres parties prenantes qui souhaitent que les données génèrent des résultats inexistants. "Garbage in, garbage out" comme on dit. Si vous souhaitez lier un ensemble de données (par exemple, des données d'enquête d'engagement) à un autre (par exemple, des évaluations de performance), il doit exister un lien réel entre les deux et un flux régulier de données. Les données de notation de performance ou d'enquêtes d'engagement collectées sur une base annuelle, voire bi-annuelle (dans ce dernier cas) ne sont pas très utiles. Les données d'enquête d'engagement sont beaucoup plus utiles lorsqu'elles sont collectées au moyen d'enquêtes par impulsions trimestrielles / continues. Les notes de performance sont souvent si peu différenciées et inexactes qu'elles sont rarement corrélées à d'autres mesures de capital humain.
Chris a écrit: Le Big Data s'accompagne d'une grande responsabilité. Tant que ... Chris a écrit:
Avec le Big Data, il y a une grande responsabilité. Bien que nous aimions penser que, du côté de l’analyse, nous contrôlons le flux des idées, plus d’idées en sortent, plus elles ont une vie à elles. Mon entreprise a des difficultés à faire en sorte que le cas que je défends soit lu de la même manière par les utilisateurs finaux, qui risquent de ne jamais me parler, il suffit de voir des diapositives ou des graphiques hors du contexte d'une discussion plus large.
Anna in Indiana a écrit: Mon travail actuel et mon travail précédent ... Anna dans l'Indiana a écrit:
Mon travail actuel et mon travail précédent portaient tous deux sur des quantités énormes de données de dossiers médicaux électroniques. Travailler avec ces données soulève de nombreux défis: si vous essayez de représenter 10 années de données sur une carte, quel code postal devez-vous utiliser (et si, dans une région, 300% de la population est indiquée) le recensement américain!)? Si un patient rapporte une race différente à chaque visite, comment déterminez-vous celle à utiliser? Comment pouvons-nous agréger les données à un niveau qui est significatif tout en protégeant la vie privée?
Antonio de la maison a écrit: Traiter avec Big Data aussi simple que ... Antonio de la maison a écrit:
Il est très difficile de traiter avec de grandes données comme de simples individus. Dans certains cas, les outils Web peuvent aider. À une occasion, j'ai dû étudier des informations provenant d'une source Web générant des données sans interruption dans le temps. L'écriture d'un script Google et la configuration d'un déclencheur temporel m'ont permis de collecter et de stocker des statistiques partielles dans une feuille de calcul Google en quelques minutes à peine. Cela a grandement simplifié l’analyse finale.
Mike Paulonis a écrit: Fichiers journaux de l'infrastructure informatique ... Mike Paulonis a écrit:
Les fichiers journaux de l'infrastructure informatique ont souvent été ignorés, soit parce que le contenu est considéré comme ayant une faible valeur, soit parce qu'il est trop non structuré, soit simplement parce qu'il y a trop de données enregistrées (qui continuent de croître). Les techniques de données volumineuses sont très applicables au problème difficile de l'analyse des fichiers journaux et débloquent la valeur même pour les utilisateurs non avertis.
Arved Harding a écrit: Alors que nous abordons de gros ensembles de données dans un effo ... Arved Harding a écrit:
Lorsque nous abordons de gros ensembles de données dans le but de recueillir des informations utiles, nous pouvons nous trouver confrontés à des obstacles tels que ceux qui le font dans le secteur de la fabrication depuis de nombreuses années. Exploiter des données peut être une entreprise futile. Une réflexion systématique peut être utile: déterminez les données nécessaires, comment et où les obtenir, puis supprimez les données indésirables. Maintenant, en utilisant les formidables outils informatiques et statistiques d’aujourd’hui, nous pouvons commencer à exploiter.
Scott Drumwright a écrit: Je crois que le Big Data est un evo ... Scott Drumwright a écrit:
Je pense que le Big Data est une étape évolutive et non pas la dernière lubie technologique, comme certains le pensent. Vous ne choisirez jamais d'analyser moins de données une fois que vous aurez accès à plus de données. Il est construit en nous pour vouloir cartographier et expliquer le monde dans lequel nous vivons complètement. C'est la première fois pour moi que la prochaine nouveauté technologique est accompagnée d'un avertissement moral!
Arati Mejdal a écrit: Bonjour, Mark. Merci pour votre commentaire. Co... Arati Mejdal a écrit:
Salut Mark. Merci pour votre commentaire. Les commentaires doivent comporter entre 50 et 75 mots. Votre qualifie!
Mark Ewing a écrit: Je n'étais pas sûr si le poste aurait pu être parié ... Mark Ewing a écrit:
Je ne savais pas si le message devait être compris entre 50-75 mots ou si 50-75 mots était la plage minimale, alors j'ai résumé mon commentaire à 75 mots pour être sûr - j'aimerais une copie du livre!
Mark Ewing a écrit: Je travaille pour une grande entreprise internationale ... Mark Ewing a écrit:
Je travaille pour une grande entreprise internationale et souvent, les données générées en interne à partir des systèmes de vente, de tarification et autres sont énormes et stockées partout. Lors de l’analyse de ces systèmes, nous avons collecté toutes les données appropriées, les avons jointes correctement et ce n’est qu’à ce moment-là que nous les analysons. Parce que je déploie mes solutions sur mes clients, elles doivent être optimisées pour la vitesse et l’espace, ce qui n’est jamais un problème facile à résoudre.
Arati Mejdal a écrit: Bonjour, Keith. Merci pour votre commentaire. B ... Arati Mejdal a écrit:
Salut, Keith. Merci pour votre commentaire. Mais comme vous pouvez le constater grâce aux règles sur les cadeaux publiées dans le blog, cette offre n’est ouverte qu’aux résidents américains. Nous ne pouvons pas expédier un livre en Australie. Pardon.
Keith chez EAVI a écrit: Totalement d'accord avec les points de vue ... Keith à EAVI a écrit:
Totalement d'accord avec les points de vue soulevés ici.
L’un des grands défis de l’utilisation croissante du Big Data est sa démocratisation. Je vois déjà la suggestion que beaucoup plus de personnes (qui ne sont pas nécessairement formées à l'utilisation des nombres) seront capables d'effectuer une analyse, car il leur sera plus facile d'obtenir un accès.
Indiquez le pic des requêtes internes sur la raison pour laquelle ce nombre ne correspond pas à ce nombre (qui ne sont pas réellement les mêmes - c.-à-d. Une période différente, un calcul différent).
Je ne m'attendais pas vraiment à ce qu'un éventail de personnes aient des points de vue complètement opposés à partir du même ensemble de données et de celles qui se propagent, et il n'y a aucun expert en analyse qui ait eu la première chance de faire passer un article.
PS. Je suis en Australie, donc obtenir un livre va probablement être difficile ...
James Stiebel a écrit: Alors que le Big Data offre une excellente opportunité ... James Stiebel a écrit:
Même si les mégadonnées offrent de grandes possibilités d’information, elles génèrent un plus grand nombre de problèmes, de complexité et de confusion (en particulier lorsque vous envisagez des interactions). Lors de la formation de nouveaux analystes, j'évite le Big Data comme la peste. Petites règles de données!
Mon expérience a montré que Little Data était beaucoup plus facile à gérer, convivial et précieux. Avec des ensembles de données plus petits, je trouve ma capacité à tester des combinaisons de variables, à simuler plusieurs échantillons de données et à construire plusieurs modèles prédictifs beaucoup plus facilement / plus rapidement. Il faut beaucoup plus de temps aux Big Data pour la préparation et l’analyse des données afin de générer des connaissances. Pas sûr que le Big Data vaille la peine de faire un gros effort.
Kehleboe Gongloe a écrit: En 2008, on m'a demandé d'organiser ... Kehleboe Gongloe a écrit:
En 2008, on m'a demandé d'organiser et de mener une enquête sur les forces de travail au Libéria. Aucune expérience préalable dans ce type de recherche ni étude préalable de la main-d'œuvre au Libéria. Où et comment commencer était un défi difficile. Notre sauveur était le Département des statistiques de l'Organisation internationale du Travail. Nous avons collecté les données et les avons analysées, mais le gouvernement n'a accordé l'autorisation que de publier les résultats plus d'un an plus tard. Ce défi m'a ramenée à l'école et j'étudie les statistiques. Le concept de big data me séduit de plus en plus et je commence à m'y pencher sérieusement.
Sastry Pantula a écrit: Big Data fournit BIG (Busines ... Pantula Sastry a écrit:
Le Big Data offre de grandes opportunités (entreprises, industries et gouvernements), en particulier en cette Année internationale de la statistique. Malheureusement, certains cachent les données et ne sont pas accessibles pour pouvoir utiliser, tester de manière indépendante ou former de futurs résolveurs de problèmes. Il est également nécessaire de renforcer les capacités des statisticiens du monde entier pour répondre à la demande.
Wilfredo Salinas a écrit: Dans mon travail, nous devons analyser les ... Wilfredo Salinas a écrit:
Dans mon travail, nous devons analyser les transactions de vente de plusieurs centaines d'emplacements. Dans notre analyse, nous aimerions examiner chaque transaction qui se produit à chaque minute, mais les données sont tellement accablantes qu'il nous faut les réduire à quelques heures de la journée. Le deuxième défi consiste à exporter ces données du serveur SQL vers une feuille de calcul. Notre limite actuelle est seulement de 1 million de lignes. Cela nous oblige à créer plusieurs ensembles de fichiers par jour de la semaine, heure du jour et ensemble d’emplacements. Notre seul moyen d'obtenir une vue d'ensemble de cet ensemble de données volumineuses consiste à créer des références liées. À plusieurs reprises, ces liens ne sont pas actualisés ou éventuellement abandonnés. Cela peut être très frustrant.
Robert Lochel a écrit: Les 2 dernières années, j'ai servi d'ins ... Robert Lochel a écrit:
Les 2 dernières années, j'ai été coach pédagogique dans mon district scolaire. Avec l'avènement des examens Keystone ici en Pennsylvanie, il est nécessaire de collecter des données sur les performances des étudiants tout au long de leur cours d'algèbre 1. L'État fournit un test diagnostique en classe (CDT) en ligne, qui adapte les questions en fonction des réponses des étudiants. Le test fournit un score, mais peu de corrélation prédictive avec l'examen Keystone. Maintenant que nous avons notre première série de données sur les performances des élèves, je travaille à comparer les scores des élèves de Kesytone aux résultats des CDT des élèves afin de fournir un retour d’information aux étudiants qui suivent le cours et de proposer une voie d’amélioration.
Glenn Waddell a écrit: Je suis professeur de mathématiques et thé AP Stats ... Glenn Waddell a écrit:
Je suis professeur de mathématiques et enseignant AP Stats dans une école secondaire publique. La quantité de données que nous générons est énorme, mais personne n’a jamais le temps ni l’énergie nécessaire pour examiner ce que nous pouvons faire différemment, nous améliorer, voire même cerner les tendances ou les schémas dans les données. Je peux enseigner ou analyser des données, mais je ne peux pas faire les deux! J'essaie toujours d'apprendre à mieux faire les deux.
Chris Bodily a écrit: Je rencontre souvent des situations où Bi ... Chris Bodily a écrit:
Je rencontre souvent des situations où le Big Data pose de gros problèmes. Plusieurs fois, des analyses sont tentées en collectant les données dans un tableur pour les visualiser et identifier les sous-ensembles de données. D'autres fois, le Big Data implique de gros rapports avec des dizaines voire des centaines de graphiques et de tableaux. En outre, les utilisateurs passent des heures dans le processus et se retrouvent avec une sortie qui ne fournit toujours pas les informations et les conseils nécessaires. Avec les outils appropriés, la validation des données est possible et une analyse efficace mène à l’apprentissage. Même la visualisation efficace des données peut donner des indices et des informations avant toute autre analyse.
