Jorge Camoes says you can learn a lot about/from the data during the preparation stage.Jorge Camoes says you can learn a lot about/from the data during the preparation stage.Jorge Camoes says you can learn a lot about/from the data during the preparation stage.Jorge Camoes says you can learn a lot about/from the data during the preparation stage.Jorge Camoes dit que vous pouvez apprendre beaucoup de choses sur les données pendant la phase de préparation. Jorge Camoes est passionné par la visualisation de données. Après une carrière réussie dans l'analyse commerciale chez Merck, Camoes a fondé WiseVis, une entreprise de conseil en visualisation de données basée à Oeiras, au Portugal. Camoes est largement reconnu comme l'auteur du blog populaire Graphiques Excel , dans lequel il partage des stratégies pour tirer le meilleur parti des données avec des outils courants comme Excel.
Il vient de publier son premier livre, Les données au travail, où il explore ces thèmes plus en détail, présentant aux lecteurs une discussion réfléchie sur le potentiel de la visualisation des données et les stratégies de mise en œuvre des tableaux de bord exécutifs. Il a récemment présenté au séminaire JMP Explorers à Marlow, au Royaume-Uni. Vous pouvez lire un résumé de sa présentation sur son blog .
Je lui ai posé quelques questions sur l'exploration et la visualisation des données.
Étape 1 : Préparation des données.Dans quelle mesure mes données doivent-elles être de qualité ou complètes pour être utilisables ?
Si vous pouvez facilement vous connecter à l'infrastructure d'information de l'organisation et obtenir exactement les données que vous souhaitez et comme vous le souhaitez, pour répondre à une question de manière véridique, complète et en temps opportun, alors félicitations, vous disposez probablement de bonnes données avec lesquelles travailler. Et tu es une belle licorne.
Jorge Camoes just published his first book, Data At Work.Jorge Camoes just published his first book, Data At Work.Jorge Camoes just published his first book, Data At Work.Jorge Camoes just published his first book, Data At Work.Jorge Camoes vient de publier son premier livre, Data At Work. Le monde réel est plus laid : dans chaque organisation, il existe un sous-sol sombre et secret (inconnu de la haute direction), abritant quelques créatures qui s'y cachent et dont la description de poste comprend la « préparation des données » et d'autres tâches de nature tout aussi peu recommandables. OK, je ne peux pas prouver que ces sous-sols sont réels, mais la préparation des données est en effet une tâche gourmande en ressources, chronophage, peu sexy, sous-estimée mais fondamentale dans tout projet d'analyse de données.
Alors que nous disposons d'outils ETL de plus en plus performants, nous devons souvent faire face à des problèmes que nous ne devrions pas avoir, en premier lieu, comme la conversion de fichiers PDF. Voici un exemple de bonne pratique : la Division de la population des Nations Unies publie des projections et des estimations démographiques dans des feuilles de calcul Excel classiques dont la conversion demande un certain travail. Il rend également les données disponibles dans des fichiers CSV bien formatés. Ce double format répond aux besoins de la plupart des utilisateurs et devrait constituer une pratique standard. Si vous avez besoin de savoir pourquoi des données bien structurées sont la pierre angulaire de l'analyse des données, Hadley Wickham Des données bien rangées (PDF) est une lecture essentielle.
Je suppose qu'il n'y aura aucun problème avec les concepts lors de l'utilisation des données, mais ce n'est pas toujours le cas. Par exemple, l'USDA publie des données sur la disponibilité alimentaire. Selon l’USDA, il s’agit d’un bon indicateur de la consommation alimentaire réelle, ce qui en fait une excellente source pour analyser l’évolution des habitudes alimentaires américaines. Votre projet doit expliquer cela explicitement et s'assurer que le public connaît la différence. Vous devrez souvent gérer des hypothèses moins bénignes.
Dernier conseil : Je ne considérerais pas la préparation et l'utilisation des données comme deux étapes distinctes. Vous pouvez en apprendre beaucoup sur les données pendant la phase de préparation.
Étape 2 : Quel graphique dois-je choisir pour mes données ? Quels graphiques ne dois-je pas choisir pour mes données ?
Il y a deux choses que vous devez considérer : premièrement, le graphique lui-même, et deuxièmement, le graphique dans une situation spécifique.Pensez à un graphique linéaire : repérer une tendance est très simple. Un tableau contenant les mêmes données vous dira quelques choses intéressantes, mais il sera beaucoup plus difficile de prendre conscience de cette tendance. La visualisation des données ressemble, dans une certaine mesure, à un robot de cuisine : elle ne fera pas de vous un meilleur cuisinier, mais elle prendra le dessus et optimisera certaines des étapes les plus chronophages, vous permettant ainsi de vous concentrer sur le résultat.
En d’autres termes, la visualisation des données prétraite les données, déchargeant ainsi certaines tâches cognitives et permettant au cerveau de se concentrer sur des tâches de niveau supérieur. Si vous souhaitez concevoir un graphique efficace, vous devez sélectionner le type de graphique et les options de formatage qui, selon vous, maximiseront cela. N'oublie jamais cela ce est spécifique à la situation. Les gens ont tendance à penser à « l’efficacité » en termes purement rationnels, mais vous souhaiterez peut-être prendre en compte les émotions ou un design plus accrocheur. Vous devez vous attendre à certains compromis.
Aucun graphique ne doit être supprimé de votre boîte à outils de visualisation de données. Un graphique à barres est souvent considéré comme une valeur sûre, mais il peut s’avérer un mauvais choix. Les diagrammes circulaires sont décriés, mais ils sont parfaits pour afficher des proportions globales.
Un graphique ne doit pas être utilisé si sa capacité à prétraiter les données est faible, mais il y a d'autres choses à prendre en compte. Lorsque vous utilisez la visualisation de données pour communiquer, un graphique fait partie de cette conversation, vous ne devriez donc pas avoir l'impression qu'il n'y appartient pas. Si vous pensez ce le graphique est le bon pour communiquer ce message, utilisez-le. Expliquez-le, si votre public ne le connaît pas, comme vous le feriez avec un mot moins familier. Le contraire (un graphique idiot et un sujet complexe) peut nuire à votre message : je ne vous prendrai pas au sérieux si vous utilisez un graphique circulaire 3D lorsque vous discutez du Big Data. Il y a une dissonance cognitive que je n'arrive pas à démêler.
Les « diagrammes circulaires » sont la réponse par défaut et souvent attendue à cette question. Voici ce que je considère comme une approche équilibrée : des graphiques moins efficaces tels que des secteurs et des jauges peuvent être utilisés comme point d'entrée, et toujours suivis d'une vue plus complexe des mêmes données. Cependant, si les secteurs ou les jauges sont largement utilisés comme graphiques autonomes, je soupçonnerai que les connaissances numériques et visuelles de l'organisation sont faibles (et que quelque chose devrait être fait à ce sujet).
Étape 3 : À quels pièges courants dois-je faire attention lors de l'exploration des données ?
Supposons que vous disposez des bonnes données et que vous ayez activé votre mode d'exploration des données. Tout d’abord, ne vous attendez pas à suivre un chemin linéaire par lequel vous localisez les réponses à des questions prédéfinies, les unes après les autres. Il s'agit d'une simple mise à jour de table, pas d'une exploration. Et plus vous en savez sur un sujet, plus vous serez enclin à envisager l’idée d’une voie unique. Résistez à cela : laissez place à une exploration aléatoire, même si elle ne mène finalement à rien.
Cela permet de lutter contre le biais de confirmation (nous avons tendance à sélectionner des données qui confirment nos croyances préexistantes), l’un des nombreux préjugés personnels qui gangrènent notre exploration. Il est impossible de les connaître tous, donc plus tôt nos résultats seront exposés à un large public, mieux ce sera.Souvent, certaines choses ne deviennent évidentes que lorsque vous utilisez une technique différente ou que vous changez de point de vue. Le Quatuor Anscombe est un brillant exemple de la manière dont différentes techniques exploratoires peuvent se compléter : les distributions sont apparemment identiques, mais seuls les graphiques révèlent leurs profils très différents. Mais maintenant que vous connaissez ces profils, vous pouvez choisir de meilleurs indicateurs statistiques (la médiane au lieu de la moyenne, par exemple).
L'exploration d'une distribution est une première étape nécessaire car son centre fournit un point d'ancrage mental et les valeurs aberrantes sont souvent significatives. Mais lorsque l’on commence à explorer les relations entre les variables, les choses deviennent beaucoup plus intéressantes. J'adore la fonctionnalité de données liées dans JMP , Par exemple. Mais il y a une raison pour laquelle un site comme Corrélations parasites est tellement drôle : nous sommes programmés pour trouver des modèles et des relations. La vérité est que souvent nous ne comprenons pas la nature de ces relations et sommes prêts à passer d’une association apparente à une forte causalité.
Enfin, et cela devrait aller de soi, ne forcez pas les données à dire ce qu'elles ne contiennent pas : ne déformez pas la vérité, ne faites pas de sélection sélective, n'utilisez pas d'options de formatage pour envoyer un mauvais message.
Étape 4 : Voyez-vous des principes sous-jacents ou unificateurs dans la visualisation des données pour guider les meilleures pratiques ?
Pensez à un poème et à un essai : ils peuvent partager le même langage, mais ils n’ont pas grand-chose de plus en commun, et même cela peut être brisé au nom de la « licence artistique ». La même chose se produit avec la visualisation de données, qui, dans une certaine mesure, est aussi un langage. Pour moi (et à la suite de Jacques Bertin), la « visualisation de données » désigne simplement la transcription visuelle d'un tableau sous-jacent. En ce sens, il n’y a pas d’objectif unificateur ni de principes partagés. Vous devrez le segmenter et essayer d'identifier certains clusters, comme l'art des données, les statistiques visuelles, les infographies médiatiques ou la visualisation commerciale.
Essayer de trouver des principes sous-jacents valables dans tous ces clusters est une course folle. Même si vous vous concentrez sur les caractéristiques communes du système œil-cerveau (physiologie oculaire, lois de la Gestalt, traitement des couleurs), chaque groupe les utilisera différemment. Certains de ces clusters donneront la priorité à l’efficacité de la communication, d’autres préféreront l’expérience esthétique, et certains se situeront quelque part entre les deux. JMP les utilisateurs apprécieront probablement l'efficacité, mais notez qu'il ne s'agit pas d'une autorisation pour créer des graphiques laids.
Si vous êtes comme moi et que vous n'avez pas un seul os de graphiste dans votre corps, faites de votre mieux pour comprendre l'impact et justifier chaque option de conception. Prenons un problème complexe comme la couleur : vous pouvez l'aborder d'un point de vue fonctionnel (en gérant l'intensité des stimuli ou les significations symboliques), puis en appliquant une palette conçue par des professionnels (de Brasseur de couleurs , Par exemple).
Étape 5 : Avez-vous des conseils pour présenter les données à ceux qui ne s'intéressent pas aux données (par exemple, la direction) ?
Tout cela revient à minimiser le coût d’une bonne prise de décision. La visualisation des données ne doit pas être vendue comme une panacée. De nombreux managers ne prennent pas la visualisation de données au sérieux car ils ne voient que des couleurs saturées et des effets 3D brillants, des calories vides qui peuvent créer une forte dépendance mais n'ont aucun effet positif sur la prise de décision. Pour aggraver les choses, une bonne visualisation des données, tout comme une bonne conception, est invisible et évidente. Pour en reconnaître les mérites, le manager doit en être conscient. Appelez cela des tests A/B, avant/après, guérilla (efforcez-vous de concevoir un meilleur graphique pour chaque test inefficace que vous trouvez), mais montrer une amélioration concrète est la clé pour inciter les gens à acheter vos idées et à se débarrasser des cloches et des sifflets des applications. , représentez les valeurs par défaut et combattez l'inertie.
Certains managers ont tendance à préférer les données concrètes sous forme de tableaux. Assurez-vous qu'ils peuvent facilement accéder à des tableaux bien formatés, mais en même temps, concevez des graphiques qui abordent les problèmes et les informations qu'il est presque impossible d'obtenir à partir des tableaux (relations utiles, regroupements, identification rapide des valeurs aberrantes).Ne présumez pas que les cadres supérieurs sont intéressés par les outils de visualisation de données ou qu'ils sont impatients de passer une heure à explorer les données à l'aide de votre tableau de bord soigneusement conçu. Encore une fois, l’idée clé est que votre visualisation doit minimiser le coût d’acquisition d’informations.
Avez-vous apprécié cette interview ? Regardez l'enregistrement de le séminaire Jorge Camoes à votre convenance.
