In Saratoga Springs, New York, bricht der tiefe Winter herein. Dies ist die Zeit des Jahres, in der ich mit einem heißen Kakao sitze, auf den Schnee schaue und nachdenke. Das neue Jahr ist für viele Kulturen eine besinnliche Zeit – eine Zeit, um unsere Mängel einzuschätzen und Vorsätze zur Verbesserung oder Veränderung zu fassen. Zu sagen, dass ich zu dieser Jahreszeit introspektiv bin, ist milde ausgedrückt. Ich weiß nicht, was es mit dem Winter auf sich hat, aber er versetzt mich in einen tief nachdenklichen Geisteszustand. In dieser Jahreszeit bekomme ich viele Ideen für Projekte und Schreiben. Dieses kleine Nachdenken hat sich das ganze Wochenende über herauskristallisiert – eine staubige ältere Stimme in meinem Kopf, wie Jean Schäfer Ich erinnere mich an seine Zeit in der Cleveland Street, außer dass meine über Daten, Analysen und Mongolian Hot Pot spricht ...
Mongolischer Hot Pot
In der ersten Januarwoche war ich bei einem Planungsmeeting mit den anderen Mitgliedern des NY JMP-Teams in NYC. Wir entschieden uns für eine kleine Teambuilding-Aktivität rund um einen Ausflug zu einem mongolischen Hot-Pot-Restaurant in China Town. Hier ist ein Bild:
Your New York JMP Account Team: (from right to left) Brendan Leary, Tracey Bailey, & Mike AndersonYour New York JMP Account Team: (from right to left) Brendan Leary, Tracey Bailey, & Mike AndersonYour New York JMP Account Team: (from right to left) Brendan Leary, Tracey Bailey, & Mike AndersonYour New York JMP Account Team: (from right to left) Brendan Leary, Tracey Bailey, & Mike Anderson Ihr New York JMP Account Team: (von rechts nach links) Brendan Leary, Tracey Bailey und Mike Anderson
Nun, bevor Sie denken, dass dies ein Reisetagebuch ist, warten Sie eine Sekunde. Ich habe einen Punkt. Erstens ist das Restaurant ausgezeichnet – Sie sollten es besuchen, wenn Sie in der Gegend sind. Google es einfach. Zweitens diskutierten wir während des Essens, wie sie Anweisungen für die „Zubereitung“ des mongolischen Eintopfs gaben – die Reihenfolge, in der verschiedene Dinge der Suppe zum Kochen hinzugefügt wurden und wie lange sie in der Brühe bleiben sollten.
The heavenly elixir that is Mongolian Hot Pot. The stuff on the right is super spicy, the stuff on the left, not so much.The heavenly elixir that is Mongolian Hot Pot. The stuff on the right is super spicy, the stuff on the left, not so much.The heavenly elixir that is Mongolian Hot Pot. The stuff on the right is super spicy, the stuff on the left, not so much.The heavenly elixir that is Mongolian Hot Pot. The stuff on the right is super spicy, the stuff on the left, not so much.Das himmlische Elixier ist Mongolian Hot Pot. Das Zeug rechts ist super scharf, das Zeug links nicht so sehr.
Es brachte mich dazu, darüber nachzudenken, wie viele meiner Lieblingserlebnisse beim Essen alle eine rituelle Komponente hatten. Hot Pot, äthiopisch, Sushi, Thanksgiving-Dinner, sogar am Freitagabend Pizza für meine Familie backen – wir haben die Angewohnheit, Rituale rund um den Verzehr von Lebensmitteln zu schaffen. Sie geben der Erfahrung zusätzlichen Sinn und Bedeutung. Essensrituale können Menschen zusammenbringen und Beziehungen festigen. Und in meiner gegenwärtigen kontemplativen Geisteshaltung brachte es meine Räder zum Drehen.
Analytische Rituale
Was hat das nun mit JMP oder Analytics im Allgemeinen zu tun? Nun, ich dachte später an diesem Abend darüber nach, wie Rituale in anderen Teilen der menschlichen Erfahrung auftauchen – und ich spreche hier nicht unbedingt von religiösen Bräuchen. Im Laufe der Jahre habe ich viele Fälle gesehen, in denen Analysen ritualisiert wurden. Und es stellt sich heraus, dass dies ein großes Problem sein kann.
Rituale haben alle ein gemeinsames Attribut. Ihr Ziel ist es, durch Handlungen zu lehren oder zu erinnern. Sie haben im Allgemeinen auch eine Art Rahmen (kulturell, gesellschaftlich usw.), um die Bedeutung der Rituale zu verstärken. Analytische Rituale beginnen ähnlich – mit dem Versuch, eine Best Practice oder etwas, das für jemanden gut funktioniert hat, zu kodifizieren, damit es nicht vergessen wird. Diese analytischen Rituale haben viele Namen – Prozeduren, SOPs, Makros, Vorlagen, Erfolgsgeschichten usw. Und ehrlich gesagt ist das in Ordnung und wahrscheinlich eine gute Sache. Die Ritualisierung der analytischen Praxis tut, was jedes Ritual tut. Es verleiht der Praxis Bedeutung. Durch die Ritualisierung der Analytik erhöhen wir ihre Bedeutung in einer Organisation – insbesondere, wenn die Führung die Rituale annimmt oder unterstützt. Wie so oft werden analytische Rituale Teil der Kultur einer Organisation – sie werden in ihre DNA eingebettet. Und da fangen die Probleme an – wann haben Sie das letzte Mal gründlich über Ihre DNA nachgedacht?
Das Problem mit analytischen Ritualen
Das Problem, das mit analytischen Ritualen einhergeht, ist, dass sie sich, wie alle Rituale, im Laufe der Zeit verschieben können bewusst Beachtung zu rot Einhaltung, das heißt, einfach durch die Bewegungen gehen. Und wenn das passiert, verlieren sie ihre Bedeutung. Dies ist besonders einfach für analytische Rituale, da sie nicht unbedingt die kulturelle oder gesellschaftliche Unterstützungsstruktur haben, um die Bedeutung an die Handlungen zu binden. Analytik ist in den organisatorischen Größenordnungen, die wir heute sehen, ziemlich neu und kommt nicht immer mit dem inhärenten Stammeswissen oder der Vorsicht, die mit anderen Wissenschaften einhergehen. Und das ist ein Problem.
Für analytische Rituale ist der Bedeutungsverlust besonders gefährlich. Da die Bedeutung den Grund für die Analyse, die getroffenen Annahmen und die entsprechenden Anwendungsfälle enthält – die Warum des Rituals – der Bedeutungsverlust kann zu einer falschen Anwendung der Analyse führen. Letztlich sind sinnlose analytische Rituale tot und gefährlich. Im Laufe meiner Karriere habe ich viele Fälle gesehen, in denen es offensichtlich war, dass ein wertvolles analytisches Ritual seine Bedeutung verloren hat und die Devotees nur die Bewegungen machen – und vielleicht noch nicht die richtigen Bewegungen. Lassen Sie mich Ihnen einige Beispiele geben.
Der Krieg gegen den P-Wert
Vor einiger Zeit las ich einen Artikel darüber, wie einige wissenschaftliche Zeitschriften damit begannen, von der Angabe von p-Werten oder von p < 0,05-Kriterien für Signifikanz abzuraten. Das Argument war, dass die Leute die Kriterien blind anwenden oder in einigen Fällen die Ergebnisse optimieren, um ein günstiges Ergebnis gegenüber dem p-Wert zu melden. Die tatsächliche Situation ist etwas komplexer.
Irgendwann in der Vergangenheit wurden Forscher in Statistik ausgebildet und begannen, p-Werte als praktische Abkürzung für die Bedeutung von Ergebnissen oder die Stärke von Trends in ihren Daten anzugeben. Diese Praxis wurde von den Zeitschriften in ein analytisches Ritual aufgenommen, wobei eine Richtlinie von p < 0,05 als Maßstab für die Signifikanz diente. Das ist eine gute Sache – der p-Wert ist eine gute Metrik für die Angabe von Werten, vorausgesetzt, der Kontext wird zusammen mit den Gründen für die Auswahl bestimmter p-Wert-Kriterien beibehalten. Darüber hinaus ist ein Clip-Niveau von p < 0,05 für Hypothesentests weit verbreitet und im Allgemeinen für viele Anwendungen gut genug – vorausgesetzt, der Praktiker versteht, dass es sich um eine Richtlinie handelt, die kritisch und nicht auswendig interpretiert werden muss.
Das Problem hier trat auf, als die Bedeutung des Rituals zusammen mit seinem Kontext verloren ging. Hohle Rituale führen auf schlechte Wege – wie man in Disziplinen gesehen hat, in denen diese p-Wert-Richtlinien zu p-Wert-Regeln geworden sind. Die p-Wert-Regeln wiederum haben unerwünschtes Verhalten gefördert oder ermöglicht.
Der Fall des Änderungspunkt-Arbeitsblatts
Apropos schlechte Straßen, lassen Sie uns über die ehrwürdige (oder berüchtigte, wenn Sie so wollen) Analysevorlage sprechen. Viele Organisationen entwickeln Analysevorlagen in Tabellenkalkulationen oder Standardanalysen in Online-Analyse-Hubs, um die Arbeit ihres technischen Personals zu vereinfachen oder Wissenslücken auszugleichen. Man könnte argumentieren, dass diese Kodifizierung von Analysen eine gute Sache ist, und dem stimme ich bis zu einem gewissen Punkt zu. Die Organisation hat Ressourcen eingesetzt, um es einfacher zu machen, einer soliden Analysepraxis zu folgen. Wie schon bei den p-Werten entsteht das Problem, wenn die Bedeutung des analytischen Rituals verloren geht. Ein Beispiel ist mir besonders in Erinnerung geblieben.
Ich habe eine Organisation gesehen, die Änderungen an ihrem Prozess basierend auf einer Tabellenkalkulationsvorlage validiert hat. Die Vorlage hatte eine farbige Box und ein Box-and-Whisker-Plot. Wenn das Kästchen grün war, wurde die Änderung als akzeptabel angesehen. Als ich diese Vorlage sah, fragte ich das Unternehmen, wann es akzeptabel sei, die Vorlage zu verwenden, und wann nicht. Sie konnten mir keine andere Antwort geben, als dass es sich um das Tool handelte, mit dem alle Prozessänderungen validiert wurden. Das Ritual hatte seine Bedeutung verloren. Als ich tiefer grub (und die Vorlage zurückentwickelte), konnte ich feststellen, dass es sich bei der Analyse um eine einfache ANOVA handelte – die mit bestimmten Annahmen und Bedingungen einhergeht, unter denen sie verwendet werden kann. Jemand hatte in der Vergangenheit die Vorlage entwickelt, um eine bestimmte Art von Analyse zu standardisieren, und wegen des Bedeutungsverlusts des analytischen Rituals wurde sie wild missbraucht.
Die Problemlösungsmethodik
Ich werde hier vorsichtig vorgehen, aber dieser nächste Bereich analytischer Rituale könnte einige Nasen zwicken. Es gibt viele analytische Rituale, die in „Problemlösungsmethoden“ oder „Kontinuierliche Verbesserungsmethoden“ verpackt sind. Ich werde keine Namen nennen – je nach Branche fallen Ihnen wahrscheinlich zwei oder drei ein. Lassen Sie es mich klar sagen: An diesen Methoden oder den analytischen Ritualen, die sie lehren, ist nichts auszusetzen. Sie sind gute Ausgangspunkte, um Menschen auf ihrer analytischen Reise zu helfen.
Das Problem tritt auf, wenn die Anhänger dieser Methodologien nicht die zugrunde liegende Bedeutung für die analytischen Rituale haben, was ich etwas öfter sehe, als mir lieb ist. Das kann viele Ursachen haben – weil der Teilnehmer es vergessen hat, weil er nicht richtig instruiert wurde oder auch weil der Ausbilder durch organisatorische Zwänge behindert wurde. In jedem Fall ist das Ergebnis das gleiche: Systeme analytischer Rituale ohne den zugrunde liegenden Sinn sind Rezepte für eine Katastrophe. Sie führen zu einer unsachgemäßen Anwendung von Tools oder einer Fehlinterpretation der Ergebnisse. Diese wiederum können zu Misstrauen gegenüber statistischen Analysen im Allgemeinen führen, was schwer zu beheben ist.
Die Lösung
Was also tun gegen hohle analytische Rituale? Theoretisch ist die Lösung einfach: Bringen Sie die Bedeutung wieder in das Ritual ein; uns daran erinnern, warum wir eine bestimmte Analyse durchführen. In der Praxis könnte das eine große Herausforderung sein. Menschen, die jedes Ritual in Frage stellen, stoßen auf Widerstand. Aus irgendeinem Grund neigen analytische Rituale dazu, bei manchen einen Nerv zu treffen, und sind besonders schwer anzugehen. Ich weiß nicht warum, obwohl ich meine Theorien habe. Die Wahrheit ist, dass ohne ständige Verstärkung der Konzepte jedes analytische Ritual schließlich seine Bedeutung verlieren kann. Wie mit Shelleys Ozymandias , die Zeit wird immer gewinnen, wenn wir nicht wachsam sind. Und das bringt mich zum Punkt für diesen kleinen Gedankengang: Der einzig wahre Weg, ein hohles analytisches Ritual zu reparieren, besteht darin, es für uns selbst zu reparieren.
Ein Neujahrsvorsatz
In vielen Kulturen ist das neue Jahr eine Zeit für Vorsätze. Es ist an der Zeit, unsere Schwächen zu betrachten und uns zu verbessern – nicht perfekt zu sein, nur besser als letztes Jahr. Also, hier ist mein Vorschlag – eine Herausforderung oder ein Aufruf zu den Waffen, wenn Sie so wollen: Untersuchen Sie Ihre analytischen Rituale. Finden Sie eine, bei der Sie glauben, dass Sie ein wenig schwach sind, und werden Sie besser darin, sie zu verstehen.
Es gibt einige ausgezeichnete kostenlose Ressourcen von JMP, die Ihnen helfen können. Die erste ist eine von uns bereitgestellte Website mit Informationen zu allgemeinen statistischen Themen. Es heißt die Statistik-Wissensportal , und es wird ziemlich regelmäßig mit neuen Inhalten aktualisiert. Zum anderen wird ein kompletter Studiengang in Statistik angeboten von JMP und SAS Education genannt Statistisches Denken für die industrielle Problemlösung (wenn Ihnen das ein bisschen zu viel ist, nennen wir es einfach STIPS). Es gibt auch das Message Board auf der JMP-Benutzergemeinschaft . Zuletzt, wenn Sie Hilfe beim Einstieg benötigen, wenden Sie sich an uns. Ich weiß nicht alles (fragen Sie meine Frau), aber ich kenne viele Leute, die viel klüger sind als ich und die gerne helfen. Wir weisen Sie in die richtige Richtung.
Vielen Dank, dass Sie diesen kleinen Artikel durchgehalten haben (Schminkartikel vielleicht?). Ich habe es ehrlich aufgeschrieben, nur damit diese staubige ältere Stimme lange genug verschwindet, damit ich an einem anderen Text arbeiten kann (einer meiner Vorsätze).
Ich mag aber Kakao und Nachdenken...
Frohes Neues Jahr! Viel Glück und Erfolg bei all Ihren Vorsätzen – analytischen oder anderen.
Das andere Problem, auf das wir in Bezug auf analytische Rituale immer gestoßen sind, ist meiner Meinung nach, dass diese Rituale am besten funktionieren, wenn „alles wie geplant läuft“. In meiner Industriekarriere war es das seltene empirische Ereignis, das wie geplant verlief. Ein paar kurze Beispiele:
1. Das Experiment wurde nicht in zufälliger Reihenfolge durchgeführt ... sondern in der Reihenfolge, in der es für die Techniker am einfachsten war, es durchzuführen.
2. Wir mussten Rohstoffe von Lieferant X verwenden, was wir erst entdeckten, als wir in das Inventar der Labormaterialien gingen ... wir haben die Sachen dieses Lieferanten noch nie zuvor für so etwas verwendet.
3. Wir mussten das Messsystem mitten in der Analyse der Antworten neu kalibrieren.
4. Techniker entscheiden, dass die Werte für bestimmte Faktoren „Unsinn“ sind … „Sie sind noch nie zuvor auf diesen Werten gelaufen. Wir verwenden einfach das, was sie in der Vergangenheit verwendet haben. Sie werden so froh sein, dass wir ihren Fehler bemerkt haben."
Und der Großvater von allen ... 5. Tippfehler beim Eingeben von Antwortwerten in die JMP-Datentabelle oder das Excel-Arbeitsblatt.
Als diese Dinge passierten, war es ein anpassungsfähiges, flexibles und wissbegieriges Team, das diese Probleme und ihre möglichen Auswirkungen in den analytischen Arbeitsablauf integrierte.
