Perché i fogli di calcolo possono portare a errori - Parte 1Nel 2010, i prestigiosi professori di Harvard Carmen Reinhart e Kenneth Rogoff hanno pubblicato il documento " Crescita in tempo debito "E 'diventato presto una potente prova a sostegno di coloro che hanno discusso contro la crescente spesa pubblica, anche nei momenti di bisogno di stimoli economici. Il documento ha esaminato i livelli del debito di molti paesi diversi in tempi diversi e ha concluso che quando il livello del debito raggiungeva il 90% del loro PIL, la crescita economica rallentava drasticamente. Così influente questa relazione che il Rep. Paul Ryan ha citato nel suo bilancio del 2013.
Poi, nell'aprile 2013, tre economisti dell'Università del Massachusetts di Amherst hanno scoperto un errore di codifica nel foglio di calcolo di Microsoft Excel che Reinhart e Rogoff hanno usato come base per le loro conclusioni. I professori di Harvard furono pronti ad ammettere il loro errore, tuttavia affermarono che non avrebbe influenzato materialmente le conclusioni tratte dall'analisi.
Mentre si può certamente discutere sull'opportunità o meno delle conclusioni, è comunque sorprendente che l'errore non sia stato rilevato e che la politica sia basata sull'analisi. Ciò che non era sorprendente per coloro che conoscono e amano Excel è che gli errori possono accadere e accadono spesso.
Dall'aprile 2013, altri famosi errori riguardanti Excel sono stati oggetto di numerosi articoli. UN recente articolo della rivista CNN Money documentato diversi errori di questo tipo. I maggiori errori hanno provocato:
JPMorgan Chase ' s Perdita commerciale di $ 6,2 miliardi nel 2012. Il modello Excel utilizzato per monitorare il rischio ha coinvolto diversi passaggi manuali e una cella aggiunta quando avrebbe dovuto essere mediata. MF Global: Circa un anno prima che fallisse, MF Global non ha mai apportato gli aggiornamenti necessari ai fogli di calcolo Excel che monitoravano il rischio. Acquisto Barclays di Lehman Brothers: Un foglio di calcolo di Excel aveva 200 celle nascoste che avrebbero dovuto essere cancellate e rimosse dall'elenco delle risorse che Barclays aveva intenzione di acquistare. Barclays ha comprato 179 accordi tossici come risultato. Uta h: L'ufficio scolastico dell'Utah calcolò male il numero di studenti che si sarebbero iscritti alle scuole pubbliche statali. "Un riferimento errato in un foglio di calcolo" ha provocato un deficit di budget di $ 25 milioni.Questo è il primo di una serie di post sul blog che discuterà di come utilizzare Excel può passare dall'essere elegantemente semplice a sempre più difficile man mano che i dati vengono aggiornati o aggiunti e con le modifiche apportate.
Questa serie suggerirà inoltre che esistono strumenti migliori progettati per fornire una maggiore governance della propria analisi senza rinunciare a facilità d'uso e flessibilità.
Iniziamo con un po 'di storia.
Fogli elettronici: hanno cambiato le nostre vite per sempre
La storia dei fogli di calcolo risale ai processori batch degli anni '60, ma inizieremo un po 'più tardi con quella che è apparsa per la prima volta su una Apple ® computer nel 1979: VisiCalc.
VisiCalc
Ricordo chiaramente quando un amico mi mostrò il suo nuovo computer Apple e inserì un floppy da 5,25 pollici che, pochi istanti dopo, mostrò VisiCalc sul suo display CRT verde e nero. (Se devi cercare CRT, sei solo un matto nel mondo informatico.)
Sono rimasto sbalordito da quanto velocemente (il ritmo di una lumaca nel mondo di oggi) potrebbe cambiare un valore e ricalcolare i suoi risultati. Era come una magia!
Secondo Wikipedia VisiCalc è diventata la prima app killer, un'applicazione così straordinaria che l'azienda del mio amico avrebbe acquistato i computer solo per il suo utilizzo.
VisiCalc ha avuto un ruolo importante nel successo del Apple II computer, e in seguito il programma divenne disponibile per l'uso su altri computer popolari all'epoca.
Lotus 1-2-3
Nel 1983, ero un giovane analista di sistemi che lavorava per un'azienda di prodotti di consumo. Ecco quando Lotus 1-2-3 è stato rilasciato per il PC IBM. Ricordo di averlo visto e di aver raccomandato al mio capo che questo prodotto ci avrebbe portato un enorme vantaggio competitivo. Ho detto che dovremmo acquistare tre macchine con Lotus 1-2-3 caricate su di esse per il nostro reparto contabilità. All'inizio il mio capo era scettico, ma l'ho persuaso. È stata una delle migliori mosse di carriera che abbia mai fatto. Lotus è stato un grande successo e presto ha battuto VisiCalc come il principale prodotto di fogli elettronici.
Microsoft Excel
Microsoft sviluppato Eccellere sul Macintosh ® piattaforma per diversi anni a partire dal 1985. La società ha riscritto il programma per Windows 2.0, rilasciandolo nel 1987, secondo Wikipedia . Il rilascio della versione per Windows ha aumentato enormemente la quota di mercato di Excel. Lotus non è mai stata in grado di riconquistare la quota di mercato persa in Excel e Microsoft ha continuato a guidare il mercato dei fogli elettronici.
Gli utenti di fogli di calcolo non si sono mai voltati indietro. Oggi Excel è così pervasivo e ancora così facile da usare che devo ancora incontrare chiunque lavori per qualsiasi organizzazione in qualsiasi disciplina del mondo moderno che non ne sia a conoscenza. Ma, oh, come il suo uso è cambiato nel corso degli anni.
Nel mio prossimo post (il prossimo mercoledì), esamineremo i punti di forza e i punti deboli di Excel. Nel frattempo, hai qualche storia dell'orrore di Excel che puoi condividere?
John Tate ha scritto: È utile pensare a un foglio di calcolo come ... John Tate ha scritto:
È utile pensare a un foglio di calcolo come essenzialmente uno strumento di programmazione. Come tale, ha alcuni vantaggi:
È molto facile da usare, almeno per problemi relativamente semplici, e anche per alcuni più complessi non è ancora troppo difficile.
È statico, il che significa che queste celle qui sono i tuoi dati, quelle celle là sono le tue formule e rimangono. Non devi pensare al comportamento dinamico come loop, chiamate di procedure, operazioni di stack e simili.
In un certo senso, tutto è visibile. Se selezioni una cella, puoi vedere il suo valore o la sua formula, semplice come quello.
Ce ne sono altri, ma tu hai l'idea.
Hanno anche degli svantaggi, per mezzo dei quali è abbastanza facile negare i vantaggi. Per esempio:
È possibile nascondere le informazioni in diversi modi. Il caso di Barclay è un esempio; Ho anche visto consigli per bloccare determinate celle in un foglio di calcolo destinato ad essere accessibile a coloro che utilizzano la tecnologia assistiva e nascondere i contenuti facendo corrispondere il colore dello sfondo e del carattere.
Alcune operazioni sono dinamiche nel momento in cui si fa clic con il mouse, ad esempio l'ordinamento, con conseguenti errori come le commissioni di vendita disordinate.
In breve, è altrettanto facile fare un errore di programmazione in un foglio elettronico come in qualsiasi altro sistema di programmazione. Quindi, se i risultati contano, la sua potenza, flessibilità e facilità d'uso impongono lo stesso bisogno di disciplina come in qualsiasi altro sistema di programmazione.
Charles Pirrello ha scritto: Ciao John. Non sono sicuro di aver completamente ... Charles Pirrello ha scritto:
Ciao John. Non sono sicuro di essere completamente d'accordo. Ho usato Excel per tutta la mia carriera e sono ancora un fan. Sono davvero meravigliato di ciò che è in grado di fare. Ma la mia preoccupazione principale è quando viene usato impropriamente, specialmente nei casi in cui è la base per decisioni importanti. Quindi ho un grande rispetto per il prodotto, ma so quando è fuori dal suo elemento.
Charles Pirrello ha scritto: Neil, Ben detto. Non ho mai insinuato ... Charles Pirrello ha scritto:
Neil,
Ben detto. Non ho mai insinuato che Excel stesso sia soggetto a errori. È solo che è così flessibile e il suo uso è cresciuto oltre la capacità del suo intento originale. E hai ragione, se più utenti hanno appreso la disciplina di ciò che serve per creare file di dati corretti, molti degli errori cesseranno. Tuttavia, questo porta a un interessante dilemma che sono sicuro che Microsoft si sia trovata costretta a farlo. Excel ha avuto un successo enorme perché della sua flessibilità e facilità d'uso. Comunque quella facilità d'uso ha sacrificato la struttura e il controllo - come credo fosse inteso. Non c'è alcun modo in cui Microsoft avrebbe voluto iniziare a imporre il tipo di struttura necessaria per costringere i propri utenti a essere più disciplinati. Se l'avessero fatto, credo che l'attuale impronta di Excel sarebbe una semplice ombra di se stessa. Così continua a crescere in popolarità e base di utenti, e continua a essere spinto ai suoi limiti.
Charles Pirrello ha scritto: Grazie per il tuo commento Adam. Questo... Charles Pirrello ha scritto:
Grazie per il tuo commento Adam. Questo fa apparire un punto importante. Non sto dicendo che Excel si è soggetto a errori. Solo che è così flessibile che gli utenti possono eseguire inconsapevolmente attività in modo non corretto. Nel tuo esempio, non possiamo incolpare Excel. Ha fatto esattamente quello che hai chiesto.
Charles Pirrello ha scritto: Ciao Emil, Grazie per il commento .... Charles Pirrello ha scritto:
Ciao Emil,
Grazie per il commento. Il tuo esempio illustra il fatto che le celle di Excel sono entità indipendenti che non sono soggette al tipo di rigida governance dei dati fornita da JMP. Ne parlerò più in dettaglio in un post successivo.
john schmidt ha scritto: Non ho davvero una storia dell'orrore. M ... John Schmidt ha scritto:
Non ho davvero una storia dell'orrore. Più di un principio guida che chiamo ABM.
Tutto tranne Microsoft.
Adam Smith ha scritto: Come parte della tesi del mio maestro, creo ... Adam Smith ha scritto:
Come parte della mia tesi di master ho creato un modello di simulazione in Excel. Dopo aver passato un sacco di tempo a creare il modello iniziale, sono andato a convalidare il mio output iniziale contro le aspettative. Si è scoperto che ero lontano dal marchio! Quindi ho trascorso la maggior parte del giorno controllando ogni formula e riferimento di cella, ma non sono riuscito a trovare nulla di sbagliato. In frustrazione sono tornato al foglio di calcolo della convalida e ho scoperto che quando avevo copiato e incollato i miei risultati per confrontarli con le mie aspettative, non avevo copiato il valori , ma invece ho copiato formule . Quindi, i numeri erano privi di significato! Quando sono tornato indietro e ho confrontato i valori corretti della mia modella con le mie aspettative, erano chiari. Non c'era niente di sbagliato nel mio modello, solo con il mio passaggio di validazione!
Mike Clayton ha scritto: GRANDE! Grazie per gli esempi e ciao ... Mike Clayton ha scritto:
GRANDE! Grazie per gli esempi e la storia. Attendo con ansia la Parte II.
Ricordo l'impatto di Visicalc e ho ancora il mio Apple Mac SE con Excel 1.0 a bordo, poiché Gates amava (e clonava) le prime idee Mac. La sua versione 1 di Excel gira su 49K. La versione attuale è leggermente più grande. Ricordo anche quando il suo team nascose Flight Simulator in una versione di Excel. Anche gli errori in virgola mobile e gli errori di aggiunta statistica.
Esistono molti modelli Excel che pretendono di fornire supporto per Six Sigma, SPC e altri e devono essere accuratamente testati prima dell'uso. Di solito costano circa $ 250 per cercare essenzialmente di migliorare le funzionalità grafiche e statistiche di Excel. Ma ogni grafico di solito richiede una strutturazione dei dati speciale che è unica per ogni grafico in generale.
In alcuni dei miei clienti, gli utenti JMP supportano 100 o più persone di gestione e controllo qualità e supply chain che utilizzano Excel, nelle attività di analisi e reporting più critiche dei dati. Inevitabilmente, alcuni risultati di Excel vengono restituiti come "prove" di errori JMP, che risulta essere un errore umano dal lato di Excel. Alcune vecchie macro excel eseguono in realtà importanti operazioni aziendali con codice errato in atto che viene "ignorato come noto per essere sbagliato" in seguito, ma l'autore ha lasciato la società.
Neil ha scritto: È interessante, ma ovviamente il problema su ... Neil ha scritto:
È interessante, ma ovviamente il problema sugli esempi che hai citato dal pezzo della CNN sono buoni errori dell'utente vecchio stile, non errori di cui Excel potrebbe essere considerato responsabile.
Se le aziende decidessero di agire, non potrebbero denunciare Microsoft perché Excel non stava facendo ciò che avrebbe dovuto. Immagino che ciò che stai per evidenziare più avanti è che i controlli migliori possono essere messi in atto da diversi tipi di software per controllare gli errori, ma alcuni di questi errori, come 200 righe nascoste, continueranno a succedere a prescindere.
È possibile ridurre al minimo il rischio di errore umano con controlli per errori comuni, ma difficilmente è possibile sradicarli completamente.
Ovviamente Excel è così flessibile e, come dici tu, è andato ben oltre l'applicazione di base del foglio di calcolo che era sempre stata pensata per essere. Ora puoi creare controlli e test come se avessi incorporato in altre applicazioni, tramite il controllo formula di base, le istruzioni IF annidate o tramite VBA. Quel tipo di flessibilità manca a un gran numero di software di dati personalizzati, che si vanta della sua natura chiusa e controllata.
Questa natura è sia positiva che negativa ed è per questo che Excel utilizza come foglio di calcolo, pianificatore, applicazione, strumento di reporting, lo strumento di analisi dei dati è proliferato oltre il software.
Comunque - storie dell'orrore. Bene, ci sono molti altri errori utente a cui riesco a pensare. Quando tutti lo usano, e quando tutti i computer in ufficio ce l'hanno, ci sono molte opportunità di fraintendere una funzione.
Scenari reali che ho incontrato:
1. Un utente ha avuto un elenco di individui e i loro volumi di commissioni di vendita mensili da pagare. Solo per ridimensionare, hanno ordinato i nomi in ordine alfabetico prima di inviarlo. Purtroppo quel filtro non ha evidenziato la colonna degli importi - e il team di vendita della società si è aggiudicato tutte le altre commissioni per il mese. Ops.
2. Uno degli errori che si verificano quando si lavora con estratti di dati. Un elenco di dettagli è stato elaborato da un estratto prodotto dall'IT dal sistema CRM dell'azienda. Ovviamente l'estratto era in formato Valori separati da virgola. Aperto per impostazione predefinita in Excel, l'utente ha lavorato su tutti gli account, evidenziando tutti gli account che richiedevano una determinata azione, esaminandoli attentamente uno a uno nel sistema IT per identificare l'errore. Quindi salvano e inviano il documento, sempre in CSV, in modo che questa azione possa essere intrapresa.
Il sistema usuale avvisatore di cecità ha visto l'utente ignorare l'avvertenza "Questo rimuoverà tutta la formattazione", e il giorno dopo una e-mail che diceva "Tutti gli account problematici sono evidenziati in rosso" è stata ricevuta dal dipartimento, con un file CSV allegato privo di qualsiasi formattazione. D'oh!
Emil M Friedman ha scritto: PS, ricordo di aver usato Visicalc. Io ... Emil M Friedman ha scritto:
PS, ricordo di aver usato Visicalc. Stavo già usando il mainframe SAS per un sacco di cose, incluse cose a cui non era destinato, ma Visicalc era molto conveniente per osservare in modo interattivo gli scenari "what if".
Emil M Friedman ha scritto: Nel mio periodo "tra lavori" un ... Emil M Friedman ha scritto:
Tornando al mio periodo "tra un lavoro e l'altro", un cliente voleva un'analisi che dimostrasse che i vari input che influivano sull'aspetto non avevano alcun effetto sostanziale su certe altre proprietà. Ha fornito un file di dati Excel che ho prontamente importato in JMP (ver 5?) E analizzato.
Qualcosa che non ricordo più mi ha spinto a chiedergli di controllare una particolare voce. Così facendo ha scoperto che qualcuno nella sua organizzazione aveva ordinato una parte del file Excel, desincronizzando così le relazioni tra gli input e gli output. Poiché tutti i dati erano corretti ma erano solo nelle righe sbagliate e poiché gli input non avevano realmente un effetto evidente sull'output, i grafici residui e i controlli a priori non avevano rivelato la corruzione grossolana dei dati.
In questo caso non è stata una storia horror perché stavo caricando di ora in ora e tutti erano d'accordo sul fatto che il necessario rifacimento non era chiaramente colpa mia.
Importante a parte: JMP non lascia che si commetta questo tipo di errore perché obbliga a ordinare l'intero file, non solo una porzione scelta accidentalmente.
Joseph scrisse: è ora un momento opportuno per menzionare un libero ... Joseph ha scritto:
Ora è il momento opportuno per menzionare le opzioni gratuite e gratuite, in particolare LibreOffice e il suo cugino Apache OpenOffice, Gnumeric, ecc.?
Solo perché è costoso, ciò non significa che è necessario portare a termine il lavoro (o, in questo caso, rovinarlo alla sorte;)
