Il s'installe dans la partie profonde de l'hiver à Saratoga Springs, New York. C'est la période de l'année où je m'assieds avec un chocolat chaud, regarde la neige et réfléchis. La nouvelle année est une période de contemplation pour de nombreuses cultures - un moment pour évaluer nos lacunes, prendre des résolutions pour nous améliorer ou changer. Dire que je suis introspectif à cette période de l'année est un euphémisme. Je ne sais pas ce que c'est que l'hiver, mais cela me met dans un état d'esprit profondément contemplatif. Je reçois beaucoup d'idées pendant cette période de l'année pour les projets et l'écriture. Cette petite rêverie s'est cristallisée tout le week-end - une vieille voix poussiéreuse dans ma tête, comme Jean Berger se remémorant son passage sur Cleveland Street, sauf que le mien parle de données, d'analyses et de hot pot mongol...
Fondue mongole
Au cours de la première semaine de janvier, j'ai participé à une réunion de planification avec les autres membres de l'équipe NY JMP à New York. Nous avons décidé de faire une petite activité de team building autour d'un voyage dans un restaurant mongol Hot Pot à China Town. Voici une image :
Your New York JMP Account Team: (from right to left) Brendan Leary, Tracey Bailey, & Mike AndersonYour New York JMP Account Team: (from right to left) Brendan Leary, Tracey Bailey, & Mike AndersonYour New York JMP Account Team: (from right to left) Brendan Leary, Tracey Bailey, & Mike AndersonYour New York JMP Account Team: (from right to left) Brendan Leary, Tracey Bailey, & Mike Anderson Votre équipe de compte JMP à New York : (de droite à gauche) Brendan Leary, Tracey Bailey et Mike Anderson
Maintenant, avant de penser que c'est un carnet de voyage, attendez une seconde. J'ai un point. Tout d'abord, le restaurant est excellent - vous devriez y aller si vous êtes dans le coin. Il suffit de Google. Deuxièmement, pendant le repas, nous avons discuté de la façon dont ils ont fourni des instructions sur la façon de « faire » la marmite mongole - l'ordre dans lequel les différentes choses ont été ajoutées à la soupe à cuire et combien de temps elles doivent rester dans le bouillon.
The heavenly elixir that is Mongolian Hot Pot. The stuff on the right is super spicy, the stuff on the left, not so much.The heavenly elixir that is Mongolian Hot Pot. The stuff on the right is super spicy, the stuff on the left, not so much.The heavenly elixir that is Mongolian Hot Pot. The stuff on the right is super spicy, the stuff on the left, not so much.The heavenly elixir that is Mongolian Hot Pot. The stuff on the right is super spicy, the stuff on the left, not so much.L'élixir paradisiaque qu'est le pot chaud mongol. Les trucs à droite sont super épicés, les trucs à gauche, pas tellement.
Cela m'a fait penser au nombre de mes expériences culinaires préférées qui avaient toutes une composante rituelle. Hot Pot, éthiopien, sushi, dîner de Thanksgiving, même faire de la pizza pour ma famille le vendredi soir - nous avons l'habitude de créer des rituels autour de la consommation de nourriture. Ils donnent à l'expérience un sens et une signification supplémentaires. Les rituels alimentaires peuvent rapprocher les gens et cimenter les relations. Et, dans mon état d'esprit contemplatif actuel, cela m'a fait tourner les roues.
Rituels analytiques
Maintenant, qu'est-ce que cela a à voir avec JMP ou l'analyse en général ? Eh bien, je pensais plus tard dans la nuit à la façon dont les rituels surgissent dans d'autres parties de l'expérience humaine - et je ne parle pas nécessairement de l'observance religieuse ici. Au fil des ans, j'ai vu de nombreux cas où l'analytique s'est ritualisée. Et il s'avère que cela peut être un gros problème.
Les rituels ont tous un attribut commun. Leur but est d'enseigner ou de rappeler par des actions. Ils ont aussi généralement une sorte de cadre (culturel, sociétal, etc.) pour renforcer le sens des rituels. Les rituels analytiques commencent de la même manière - avec une tentative de codifier une meilleure pratique ou quelque chose qui a bien fonctionné pour quelqu'un afin qu'il ne soit pas oublié. Ces rituels analytiques ont de nombreux noms - Procédures, SOP, Macros, Modèles, Histoires de réussite, etc. Et, honnêtement, c'est bien, et probablement une bonne chose. La ritualisation de la pratique analytique fait ce que fait n'importe quel rituel. Cela ajoute de l'importance à la pratique. En ritualisant l'analyse, nous élevons son importance dans une organisation, en particulier lorsque la direction adopte ou approuve les rituels. Comme c'est souvent le cas, les rituels analytiques font généralement partie de la culture d'une organisation – s'enracinent dans son ADN. Et c'est là que les problèmes commencent – à quand remonte la dernière fois que vous avez réfléchi à votre ADN ?
Le problème des rituels analytiques
Le problème qui vient avec les rituels analytiques est que, comme tous les rituels, ils peuvent évoluer avec le temps de conscient respect de par cœur l'observance, c'est-à-dire simplement passer par les mouvements. Et quand cela arrive, ils perdent leur sens. C'est particulièrement facile pour les rituels analytiques parce qu'ils n'ont pas nécessairement la structure de soutien culturelle ou sociétale pour lier le sens aux actions. L'analyse, à l'échelle organisationnelle que nous voyons aujourd'hui, est relativement nouvelle et ne s'accompagne pas toujours des connaissances tribales inhérentes ou de la prudence qui accompagnent les autres sciences. Et c'est un problème.
Pour les rituels analytiques, la perte de sens est particulièrement dangereuse. Étant donné que la signification contient la raison de l'analyse, les hypothèses qui sont faites et les cas d'utilisation appropriés - le Pourquoi du rituel – la perte de sens peut conduire à une mauvaise application de l'analyse. En fin de compte, les rituels analytiques dépouillés de leur sens sont morts et dangereux. Au cours de ma carrière, j'ai vu de nombreux cas où il est évident qu'un précieux rituel analytique a perdu son sens et que les dévots ne font que suivre les mouvements - et peut-être pas les bons mouvements. Laisse moi te donner quelques exemples.
La guerre contre la P-Value
Il y a peu de temps, je lisais un article sur la façon dont certaines revues scientifiques commençaient à décourager la communication des valeurs de p ou des critères de signification p < 0,05. L'argument était que les gens utilisaient aveuglément les critères ou, dans certains cas, ajustaient les résultats afin de pouvoir signaler un résultat favorable par rapport à la valeur p. La situation réelle est un peu plus complexe.
À un moment donné dans le passé, les chercheurs ont été formés aux statistiques et ont commencé à rapporter les valeurs p comme un raccourci pratique de l'importance des résultats ou de la force des tendances dans leurs données. Cette pratique a été incorporée dans un rituel analytique par les revues avec une ligne directrice de p < 0,05 étant une référence pour la signification. C'est une bonne chose - la valeur p est une bonne mesure pour rapporter des valeurs, à condition que le contexte soit maintenu avec les raisons du choix de critères de valeur p particuliers. De plus, un niveau de clip de p < 0,05 pour les tests d'hypothèse est largement utilisé et est généralement suffisant pour de nombreuses applications - à condition que le praticien comprenne qu'il s'agit d'une ligne directrice qui doit être interprétée de manière critique et non par cœur.
Le problème ici est venu lorsque la signification du rituel, ainsi que son contexte, ont été perdus. Les rituels creux mènent sur de mauvaises routes - comme on l'a vu dans les disciplines où ces directives de valeur p se sont transformées en règles de valeur p. Les règles de p-value ont à leur tour favorisé ou activé un comportement indésirable.
Fiche de travail sur le cas du point de changement
En parlant de mauvaises routes, parlons du modèle d'analyse vénérable (ou infâme, si vous préférez). De nombreuses organisations, dans le but de simplifier le travail de leur personnel technique ou de combler une lacune dans les connaissances institutionnelles, développent des modèles analytiques dans des feuilles de calcul ou des analyses standard dans des hubs analytiques en ligne. On pourrait dire que cette codification des analyses est une bonne chose, et j'en conviens jusqu'à un certain point. L'organisation a investi des ressources pour faciliter le suivi d'une saine pratique analytique. Comme c'était le cas avec les valeurs p, le problème survient lorsque le sens du rituel analytique se perd. Un exemple en particulier me revient à l'esprit.
J'ai vu une organisation qui a validé les modifications apportées à son processus sur la base d'un modèle de feuille de calcul. Le modèle comportait une boîte colorée et un diagramme en boîte et moustaches. Si la case était verte, le changement était considéré comme acceptable. Lorsque j'ai vu ce modèle, j'ai demandé à l'entreprise quand il était acceptable d'utiliser le modèle et quand ce n'était pas le cas. Ils ne pouvaient pas me donner de réponse autre que c'était l'outil utilisé pour valider tous les changements de processus. Le rituel avait perdu son sens. En creusant plus profondément (et en rétro-concevant le modèle), j'ai pu déterminer que l'analyse était une simple ANOVA - qui s'accompagne d'un certain ensemble d'hypothèses et de conditions dans lesquelles elle peut être utilisée. Quelqu'un dans le passé avait développé le modèle pour standardiser un type spécifique d'analyse et, en raison de la perte de sens du rituel analytique, il était utilisé à mauvais escient.
La méthodologie de résolution de problèmes
Je vais marcher légèrement ici, mais ce prochain domaine de rituels analytiques pourrait tordre certains nez. Il existe de nombreux rituels analytiques qui sont présentés dans des « méthodologies de résolution de problèmes » ou des « méthodes d'amélioration continue ». Je ne vais pas citer de noms - vous pouvez probablement en penser à deux ou trois selon votre secteur d'activité. Soyons clairs : il n'y a rien de mal avec ces méthodologies ou les rituels analytiques qu'elles enseignent. Ce sont de bons points de départ pour aider les gens tout au long de leur parcours analytique.
Le problème survient lorsque les adhérents à ces méthodologies n'ont pas le sens sous-jacent des rituels analytiques, ce que je vois un peu plus souvent que je ne le souhaiterais. Cela peut être causé par plusieurs choses – parce que l'adhérent a oublié, parce qu'il n'a pas été correctement instruit, ou même parce que l'instructeur a été entravé par des contraintes organisationnelles. Dans tous les cas, le résultat est le même : les systèmes de rituels analytiques dépourvus de sens sous-jacent sont des recettes pour le désastre. Ils conduisent à une application inappropriée des outils ou à une mauvaise interprétation des résultats. Celles-ci, à leur tour, peuvent conduire à une méfiance à l'égard de l'analyse statistique en général, ce qui est difficile à résoudre.
La solution
Alors, que faire des rituels analytiques creux ? En théorie, la solution est simple : réinculquer le sens au rituel ; rappelons-nous pourquoi nous effectuons une analyse particulière. En pratique, cela pourrait être un défi de taille. Les personnes qui remettent en question tout rituel rencontrent de la résistance. Pour une raison quelconque, les rituels analytiques ont tendance à toucher un nerf pour certains et sont particulièrement difficiles à aborder. Je ne sais pas pourquoi, même si j'ai mes théories. La vérité est que sans un renforcement constant des concepts, tout rituel analytique peut éventuellement perdre son sens. Comme avec Ozymandias de Shelley , le temps gagnera toujours si nous ne sommes pas vigilants. Et, cela m'amène au point pour ce petit courant de pensée : la seule vraie façon de réparer un rituel analytique creux est de le réparer pour nous-mêmes.
Une résolution du Nouvel An
Dans de nombreuses cultures, la nouvelle année est le moment des résolutions. C'est le moment d'examiner nos faiblesses et de nous résoudre à nous améliorer – pas à être parfaits, juste meilleurs que nous ne l'étions l'an dernier. Alors, voici ma proposition – un défi ou un appel aux armes, si vous voulez : Examinez vos rituels analytiques. Trouvez-en un sur lequel vous pensez être un peu faible et améliorez votre compréhension.
JMP propose d'excellentes ressources gratuites pour vous aider. Le premier est un site Web que nous fournissons et qui contient des informations sur des sujets statistiques courants. Ça s'appelle le Portail de connaissances statistiques , et il est mis à jour assez régulièrement avec du nouveau contenu. L'autre est un cours complet d'études en statistique dispensé par JMP et SAS Education appelé Pensée statistique pour la résolution de problèmes industriels (si c'est un peu une bouchée pour vous, nous l'appelons simplement STIPS). Il y a aussi le babillard sur le Communauté d'utilisateurs JMP . Enfin, si vous avez besoin d'aide pour démarrer, contactez-nous. Je ne sais pas tout (demandez à ma femme), mais je connais beaucoup de gens qui sont beaucoup plus intelligents que moi et ils aiment aider. Nous vous indiquerons la bonne direction.
Merci de rester fidèle à ce petit article (pièce de vanité, peut-être ?). Honnêtement, je l'ai écrit juste pour que cette vieille voix poussiéreuse disparaisse assez longtemps pour que je puisse travailler sur une autre écriture (une de mes résolutions).
J'aime le cacao et la contemplation, cependant...
Bonne année! Bonne chance et succès dans toutes vos résolutions – analytiques ou autres.
L'autre problème que nous avons toujours rencontré concernant les rituels analytiques est l'OMI, ces rituels ont tendance à mieux fonctionner lorsque « tout se passe comme prévu ». Dans ma carrière industrielle, c'est le rare événement empirique qui s'est déroulé comme prévu. Quelques exemples rapides :
1. L'expérience n'a pas été menée dans un ordre aléatoire... mais dans l'ordre dans lequel il était le plus facile pour les techniciens de l'exécuter.
2. Nous avons dû utiliser des matières premières du fournisseur X, que nous n'avons pas découvertes jusqu'à ce que nous entrions dans l'inventaire des matériaux de laboratoire... nous n'avions jamais utilisé les produits de ce fournisseur auparavant pour quelque chose comme ça.
3. Nous avons dû recalibrer le système de mesure au milieu de l'analyse des réponses.
4. Les techniciens décident que les niveaux de certains facteurs sont "absurdes"... "ils n'ont jamais couru à ces niveaux auparavant. Nous allons simplement utiliser ce qu'ils ont utilisé dans le passé. Ils seront si heureux que nous ayons compris leur erreur."
Et le grand-père de tous...5. Erreur typographique lors de la saisie des valeurs de réponse dans le tableau de données JMP ou la feuille de calcul Excel.
Lorsque ces choses se sont produites, c'est une équipe adaptable, flexible et curieuse qui a intégré ces problèmes et leur impact possible dans le flux de travail analytique.
