Pourquoi les feuilles de calcul peuvent entraîner des erreurs - Partie 1En 2010, Carmen Reinhart et Kenneth Rogoff, éminents professeurs de Harvard, ont publié le document « Croissance en période d'endettement . »Il est rapidement devenu une preuve convaincante à l'appui de ceux qui s'opposaient à la croissance des dépenses publiques, même en période de stimulation économique nécessaire. Le document examinait les niveaux d'endettement de nombreux pays différents sur différentes périodes et concluait que lorsque leur niveau d'endettement atteignait 90% de leur PIB, la croissance économique ralentissait considérablement. Ce rapport était si influent que le représentant Paul Ryan l'a cité dans son budget de 2013.
Puis, en avril 2013, trois économistes de l'Université du Massachusetts à Amherst ont découvert une erreur de codage dans le tableur Microsoft Excel que Reinhart et Rogoff ont utilisée pour fonder leurs conclusions. Les professeurs de Harvard ont rapidement reconnu leur erreur, tout en affirmant qu'elle n'affecterait pas matériellement les conclusions tirées de l'analyse.
Bien que vous puissiez certainement débattre de la question de savoir si leurs conclusions doivent être maintenues ou non, il est toujours surprenant que l'erreur soit passée inaperçue - et que la politique reposait sur l'analyse. Ce qui n’était pas surprenant pour ceux qui connaissent et même aiment Excel, c’est que des erreurs peuvent se produire et se produisent souvent.
Depuis avril 2013, d'autres erreurs célèbres impliquant Excel ont fait l'objet de nombreux articles. UNE article de magazine CNN Money récent documenté plusieurs de ces erreurs. Les plus grandes erreurs ont abouti à:
JPMorgan Chase' s pertes commerciales de 6,2 milliards de dollars en 2012. Le modèle Excel utilisé pour surveiller le risque comportait plusieurs étapes manuelles et une cellule ajoutée au moment où il aurait dû faire la moyenne. MF Global: Environ un an avant la faillite, MF Global n’a jamais apporté les améliorations nécessaires à ses feuilles de calcul Excel surveillant les risques. Barclays achat de Lehman Brothers: Une feuille de calcul Excel contenait 200 cellules cachées qui auraient dû être supprimées et supprimées de la liste d'actifs que Barclays avait l'intention d'acheter. Barclays a ainsi acheté 179 contrats toxiques. Uta h: Le bureau de l'éducation de l'Utah a mal calculé le nombre d'élèves inscrits dans les écoles publiques de l'État. "Une référence erronée dans un tableur" a entraîné un déficit budgétaire de 25 millions de dollars.Il s'agit du premier d'une série d'articles sur un blog qui expliquera comment utiliser Excel peut passer d'une simplicité élégante à une difficulté croissante à mesure que les données sont actualisées ou ajoutées et que des modifications sont apportées.
Cette série suggérera également qu'il existe de meilleurs outils conçus pour fournir plus de gouvernance de l'analyse sans abandonner la facilité d'utilisation et la flexibilité.
Commençons par un peu d'histoire.
Tableurs - ils ont changé nos vies pour toujours
L'histoire des feuilles de calcul remonte aux processeurs de traitement par lots des années 1960, mais nous commencerons un peu plus tard avec celle qui est apparue pour la première fois sur un Apple ® ordinateur en 1979: VisiCalc.
VisiCalc
Je me souviens très bien quand un ami m'a montré son nouvel ordinateur Apple et a inséré une disquette de 5,25 pouces qui, quelques instants plus tard, affichait VisiCalc sur son écran à tube cathodique vert et noir. (Si vous devez rechercher un tube cathodique, vous êtes un simple bébé dans le monde de l'informatique.)
J'ai été étonné de voir à quelle vitesse (le rythme d'un escargot dans le monde actuel) il pouvait changer une valeur et recalculer ses résultats. C'était comme par magie!
Selon Wikipédia , VisiCalc est ensuite devenue la première application phare, une application qui était si étonnante que la société de mon ami achèterait des ordinateurs uniquement pour son usage personnel.
VisiCalc a joué un rôle majeur dans le succès de la Apple II ordinateur, et le programme est ensuite devenu disponible pour une utilisation sur d’autres ordinateurs populaires à l’époque.
Lotus 1-2-3
En 1983, j'étais un jeune analyste de systèmes travaillant pour une entreprise de produits de consommation. C'est quand Lotus 1-2-3 est sorti pour le PC IBM. Je me souviens de l'avoir vu et d'avoir recommandé à mon patron que ce produit nous apporterait un énorme avantage concurrentiel. J'ai dit que nous devrions acheter trois machines sur lesquelles sont chargés Lotus 1-2-3 pour notre service de comptabilité. Mon patron était sceptique au début, mais je l'ai convaincu. Ce fut l'un des meilleurs changements de carrière que j'ai jamais accomplis. Lotus a été un grand succès et a rapidement battu VisiCalc en tant que produit de tableur principal.
Microsoft Excel
Microsoft développé Exceller sur le Macintosh ® plate-forme pendant plusieurs années à partir de 1985. La société a réécrit le programme pour Windows 2.0 et l'a publié en 1987, selon Wikipedia . La publication de la version Windows a considérablement accru la part de marché d'Excel. Lotus n’a jamais pu regagner la part de marché qu’elle avait perdue face à Excel et Microsoft a continué de dominer le marché des tableurs.
Les utilisateurs de tableurs n'ont jamais regardé en arrière. Aujourd'hui, Excel est si omniprésent et toujours aussi facile à utiliser que je n'ai encore rencontré personne qui travaille pour une entreprise de n'importe quelle discipline dans le monde moderne et qui n'en soit pas conscient. Mais, oh, comment son utilisation a changé au fil des ans.
Dans mon prochain article (mercredi prochain), nous examinerons les forces et les faiblesses d’Excel. Entre-temps, avez-vous des histoires d'horreur Excel à partager?
John Tate a écrit: Il est utile de penser à un tableur comme ... John Tate a écrit:
Il est utile de considérer un tableur comme un outil de programmation. En tant que tel, il présente certains avantages:
Il est très facile à utiliser, du moins pour des problèmes relativement simples, et même pour des problèmes plus complexes, il n’est pas encore trop difficile.
C'est statique, ce qui signifie que ces cellules sont vos données, que ces cellules sont vos formules et qu'elles restent en place. Vous n'avez pas à penser à un comportement dynamique comme des boucles, des appels de procédure, des opérations de pile, etc.
Dans un certain sens, tout est visible. Si vous sélectionnez une cellule, vous voyez soit sa valeur, soit sa formule, aussi simple que cela.
Il y en a plus, mais vous voyez l'idée.
Ils présentent également des inconvénients, au moyen desquels il est assez facile de nier les avantages. Par exemple:
Vous pouvez masquer des informations de plusieurs manières. Le cas de Barclay est un exemple; J'ai également conseillé de verrouiller certaines cellules dans un tableur destiné aux utilisateurs de technologies d'assistance et de masquer le contenu en faisant correspondre le fond et la couleur de police.
Certaines opérations sont dynamiques au moment où vous cliquez sur la souris, telles que le tri, entraînant des échecs tels que les commissions de vente désorganisées.
En bref, il est tout aussi facile de commettre une erreur de programmation dans un tableur que dans tout autre système de programmation. Ainsi, si les résultats sont importants, sa puissance, sa flexibilité et sa facilité d'utilisation imposent le même besoin de discipline que tout autre système de programmation.
Charles Pirrello a écrit: Bonjour John. Pas sûr que je sois complètement ag ... Charles Pirrello a écrit:
Salut John. Pas sûr que je suis complètement d'accord. J'ai utilisé Excel toute ma carrière et je suis toujours fan. Je suis vraiment impressionné par ce qu’il est capable de faire. Mais ma principale préoccupation concerne les utilisations abusives, en particulier dans les cas où elles sont à la base de décisions importantes. Donc, j'ai beaucoup de respect pour le produit, mais je sais quand il est hors de son élément.
Charles Pirrello a écrit: Neil, bien dit. Je n'ai jamais impliqué ... Charles Pirrello a écrit:
Neil,
Bien dit. Je n'ai jamais laissé entendre qu'Excel lui-même était sujet à des erreurs. C'est juste qu'il est si flexible et que son utilisation a dépassé la capacité de son intention initiale. Et vous avez raison, si davantage d'utilisateurs apprenaient la discipline nécessaire pour créer les fichiers de données appropriés, bon nombre des erreurs cesseraient. Cependant, cela soulève un dilemme intéressant dans lequel, je suis sûr, Microsoft s'est retrouvé contraint. Excel est devenu un énorme succès parce que de sa flexibilité et de sa facilité d'utilisation. Cependant, cette facilité d'utilisation a sacrifié la structure et le contrôle, comme je le pensais. Microsoft n’aurait en aucun cas voulu imposer le type de structure nécessaire pour obliger ses utilisateurs à être plus disciplinés. S'ils l'avaient fait, je pense que l'empreinte actuelle d'Excel ne serait qu'une ombre en soi. Il continue donc de gagner en popularité et en base d'utilisateurs, et continue d'être poussé à ses limites.
Charles Pirrello a écrit: Merci pour votre commentaire, Adam. Ce... Charles Pirrello a écrit:
Merci de commenter Adam. Cela soulève un point important. Je ne dis pas que Excel lui-même est sujet aux erreurs. Seulement, il est si flexible que les utilisateurs peuvent involontairement exécuter des tâches incorrectement. Dans votre exemple, nous ne pouvons pas blâmer Excel. Il a fait exactement ce que vous lui avez demandé.
Charles Pirrello a écrit: Bonjour Emil, Merci pour le commentaire .... Charles Pirrello a écrit:
Salut Emil,
Merci pour le commentaire. Votre exemple illustre le fait que les cellules Excel sont des entités indépendantes qui ne sont pas soumises au type de gouvernance de données stricte fourni par JMP. J'y reviendrai plus en détail dans un article ultérieur.
john schmidt a écrit: Je n'ai pas vraiment une histoire d'horreur. M ... John Schmidt a écrit:
Je n'ai pas vraiment une histoire d'horreur. Plus d’un principe directeur que j’appelle ABM.
Tout sauf Microsoft.
Adam Smith a écrit: Dans le cadre de la thèse de mon maître, je crée ... Adam Smith a écrit:
Dans le cadre de ma thèse de maîtrise, j’ai créé un modèle de simulation dans Excel. Après avoir passé beaucoup de temps à créer le modèle initial, je suis allé valider ma sortie initiale par rapport aux attentes. Il s'est avéré que j'étais loin de la marque! Ensuite, j'ai passé la majeure partie de la journée à vérifier chaque formule et chaque référence de cellule, mais je n’ai rien trouvé de mal. De frustration, je suis retourné à la feuille de calcul de validation et j'ai découvert que lorsque j'avais copié et collé mes résultats pour les comparer à mes attentes, je n'avais pas copié les résultats. valeurs mais j'avais copié formules . Ainsi, les chiffres n'avaient pas de sens! Lorsque je suis rentré et que j'ai comparé les bonnes valeurs de mon modèle à mes attentes, elles étaient sur place. Il n'y avait rien de mal avec mon modèle, seulement avec mon étape de validation!
Mike Clayton a écrit: SUPER! Merci pour les exemples et bonjour ... Mike Clayton a écrit:
GÉNIAL! Merci pour les exemples et l'histoire. J'attends avec impatience la deuxième partie.
Je me souviens de l’impact de Visicalc et j’ai toujours mon Apple Mac SE avec Excel 1.0, car Gates adorait (et clonait) les premières idées Mac. Sa version 1 d'Excel fonctionne sur 49K. La version actuelle est légèrement plus grande. Je me souviens également quand son équipe a caché Flight Simulator dans une version d'Excel. Également les erreurs en virgule flottante et les erreurs statistiques complémentaires.
Il existe de nombreux modèles Excel censés prendre en charge Six Sigma, SPC, etc., et qui doivent être testés de manière approfondie avant leur utilisation. Ils coûtent généralement environ 250 dollars pour essayer d’améliorer les capacités graphiques et statistiques d’Excel. Mais chaque graphe nécessite généralement une structuration des données particulière, qui est généralement unique pour chaque graphe.
Chez certains de mes clients, les utilisateurs JMP prennent en charge 100 personnes ou plus, responsables de la gestion, de l'assurance qualité et de la chaîne logistique qui utilisent Excel, dans le cadre des efforts plus critiques d'analyse et de reporting des données. Inévitablement, certains résultats Excel sont renvoyés en tant que "preuve" d'erreurs JMP, ce qui s'avère être une erreur humaine du côté d'Excel. Certaines anciennes macros Excel exécutent en réalité d'importantes opérations d'entreprise avec un code incorrect en place qui est "ignoré car connu pour être erroné" après un certain temps, mais l'auteur a quitté l'entreprise.
Neil a écrit: C'est intéressant, mais bien sûr la question sur ... Neil a écrit:
C'est intéressant, mais bien sûr, les exemples cités dans l'article de CNN que vous avez cités sont de bonnes vieilles erreurs commises par des utilisateurs, et non des erreurs pour lesquelles Excel pourrait être considéré comme responsable.
Si les entreprises décidaient de prendre des mesures, elles ne pourraient pas poursuivre Microsoft, car Excel ne ferait pas ce qu’elle était censée faire. J'imagine que ce que vous allez souligner plus tard, c'est que différents types de logiciels peuvent mettre en place de meilleurs contrôles pour vérifier les erreurs, mais certaines de ces erreurs, telles que 200 lignes cachées, vont quand même se produire.
Il est possible de minimiser le risque d'erreur humaine avec des contrôles pour les erreurs courantes, mais il est presque impossible de les éliminer complètement.
Bien entendu, Excel est si flexible et, comme vous le dites, il est allé bien au-delà de l'application de tableur de base. Vous pouvez désormais créer des contrôles et des tests, comme vous le feriez dans d'autres applications, soit par le biais d'une vérification de formule de base, d'instructions IF imbriquées ou de VBA. Ce type de flexibilité fait défaut à beaucoup de logiciels de données sur mesure, qui se targue de sa nature fermée et contrôlée.
Cette nature est à la fois positive et négative, et c’est pourquoi Excel utilise comme outil de calcul, de planification, d’application, de reporting, et d’analyse des données, un logiciel qui ne se limite pas à d’autres logiciels.
Quoi qu'il en soit - des histoires d'horreur. Eh bien, il y a beaucoup d'autres erreurs d'utilisateur auxquelles je peux penser. Lorsque tout le monde l'utilise et que tous les ordinateurs du bureau en disposent, il existe de nombreuses occasions de mal comprendre une fonction.
Scénarios réels que j'ai rencontrés:
1. Un utilisateur avait une liste d'individus et leurs volumes de commissions de vente mensuelles à payer. Juste pour faire plaisir, ils ont trié les noms par ordre alphabétique avant de les envoyer. Malheureusement, ce filtre n'a pas mis en évidence la colonne des montants - et l'équipe de vente de la société a tous eu des commissions pour le mois. Oups.
2 L'une des erreurs qui se produisent lors de l'utilisation d'extraits de données. Une liste de détails était en cours d'élaboration à partir d'un extrait rédigé par le service informatique à partir du système CRM de l'entreprise. Bien entendu, l'extrait était au format Valeurs séparées par des virgules. Ouvert par défaut dans Excel, l’utilisateur a travaillé sur tous les comptes, en mettant en évidence tous les comptes qui nécessitaient une action particulière, en les cherchant minutieusement un par un dans le système informatique pour identifier l’erreur. Ils enregistrent et envoient ensuite le document, toujours au format CSV, afin que cette action puisse être effectuée.
En cas de cécité habituelle du système, l’utilisateur ignorait l’avertissement "Ceci supprimera tout le formatage" et le lendemain, un courrier électronique indiquant "Tous les comptes problématiques sont surlignés en rouge" a été reçu par le ministère. mise en forme. D'oh!
Emil M Friedman a écrit: PS, je me souviens d'avoir utilisé Visicalc. Je v ... Emil M Friedman a écrit:
PS, je me souviens d'avoir utilisé Visicalc. J'utilisais déjà mainframe SAS pour beaucoup de choses, y compris des choses pour lesquelles il n'était pas destiné, mais Visicalc était très pratique pour analyser de manière interactive des scénarios de type "Et si".
Emil M Friedman a écrit: De retour dans ma période "entre emplois" ... Emil M Friedman a écrit:
De retour dans ma période "entre travaux", un client souhaitait une analyse montrant que divers intrants ayant une incidence sur l'apparence n'avaient pas d'effet substantiel sur certaines autres propriétés. Il a fourni un fichier de données Excel que j'ai rapidement importé dans JMP (version 5?) Et analysé.
Quelque chose dont je ne me souviens plus, m'a amené à lui demander de vérifier une entrée en particulier. Ce faisant, il a découvert qu'une personne de son organisation avait trié une partie du fichier Excel, ce qui désynchronisait les relations entre les entrées et les sorties. Étant donné que toutes les données étaient correctes mais se trouvaient dans les mauvaises lignes et que les entrées n'avaient vraiment pas d'effet notable sur la sortie, les graphiques résiduels et les contrôles des valeurs aberrantes n'avaient pas révélé la corruption flagrante des données.
Dans ce cas, ce n’était pas une histoire d’horreur pour moi parce que je facturais à l’heure et que tout le monde était d’accord pour dire que les retouches nécessaires ne sont clairement pas de ma faute.
Important: JMP ne laisse personne faire ce genre d’erreur, car il vous oblige à trier tout le fichier, pas seulement une partie de celui-ci choisie accidentellement.
Joseph a écrit: Est-ce le moment opportun de mentionner libre et ... Joseph a écrit:
Le moment est-il opportun de mentionner les options gratuites et gratuites, en particulier LibreOffice et son cousin Apache OpenOffice, Gnumeric, etc.?
Ce n'est pas parce que c'est cher que le travail doit être fait (ou, à ce sujet, gâcher royalement;)
