Sie haben vielleicht schon von der Replikationskrise in der Forschung gehört – insbesondere im Bereich der Psychologie. Einer der Lackmustests für die Forschung besteht darin, dass Ergebnisse reproduzierbar sein sollten, das heißt, ein anderer Forscher, der unter denselben Bedingungen arbeitet und dieselben Methoden verwendet, sollte in der Lage sein, ähnliche Ergebnisse zu erzielen. Wissenschaftler machen sich darüber immer mehr Sorgen Viele veröffentlichte Forschungsergebnisse sind nicht reproduzierbar , entweder weil die Daten nicht verfügbar sind oder weil die Ergebnisse auf kleinen Stichproben basieren, die sich nicht auf die größere Bevölkerung übertragen lassen. Aufgrund der Komplexität mancher Forschungsarbeiten kann es zu Codierungsfehlern bei der Datenanalyse kommen irreführende Ergebnisse , und diese Probleme sind möglicherweise kaum zu finden. Es gibt auch große Bedenken P -Hacking – wo Forscher Testen Sie Dutzende von Hypothesen und berichten Sie nur über diejenigen, die von Bedeutung sind .
Das sollte denjenigen von uns, die sich mit Marketingwissenschaft und Marktforschung beschäftigen, zu denken geben. Viele der oben genannten Kritikpunkte gelten für unsere Routinemethoden. Wir durchforsten Kundenumfragen oft nach Mustern und ignorieren diejenigen, die nicht zu passen scheinen. Unsere Berichte an das Management heben wichtige Ergebnisse hervor und lassen die Details darüber außer Acht, wie wir dorthin gelangt sind, einschließlich Datentransformationen, ausgeschlossene Themen und Forschungsmethodik. Die kurzen Zeitvorgaben für die meisten Marktforschungsprojekte bedeuten, dass die Ergebnisse schnell umgesetzt werden müssen, und schnelles Arbeiten macht es einfacher, Fehler zu machen.
Es spielt keine Rolle, dass die Dinge, die wir am meisten messen wollen, Konzepte sind. Kundenzufriedenheit, Weiterempfehlungswahrscheinlichkeit, Produktattraktivität – das sind alles Ideen, die für unser Unternehmen wertvoll sind. Sie sind außerdem von Natur aus laut und bekanntermaßen irreführend. Einem potenziellen Kunden gefällt vielleicht das Aussehen eines Neuwagens, das heißt aber nicht, dass er oder sie es kaufen wird. Ein Kunde, der heute mit einem Produktangebot zufrieden ist, könnte wütend sein, wenn ein Konkurrent morgen ein ähnliches Produkt zu einem niedrigeren Preis anbietet. Für professionelle Dienstleistungen wie Anwälte und Klempner mag die Empfehlungswahrscheinlichkeit sinnvoll sein, aber bedeutet sie auch etwas für ein lokales Café?
Das alles entschuldigt uns nicht, unsere Arbeit sorgfältig zu erledigen. Tatsächlich bin ich der Meinung, dass die besonderen Probleme der Marktforschung es umso wichtiger machen, dass wir uns an die Regeln guter Wissenschaft halten, von denen ich einige in einem erwähnt habe früherer Beitrag .
Der Fehler unserer (analytischen) Werkzeuge
Traditionell basieren statistische Analysetools auf einer Art Skriptsprache (R, SAS , SPSS) oder auf Point-and-Click-Aktionen des Benutzers ( JMP , Excel). Um die Schritte für eine Analyse zu reproduzieren, müssen Sie sich darauf verlassen, dass der Forscher den Code dokumentiert und zusammenstellt (keine leichte Aufgabe), oder Sie müssen die Mausklicks irgendwie dokumentieren. In beiden Fällen obliegt es dem Forscher, alles aufzuschreiben, was zeitaufwändig und fehleranfällig ist. Der Bedarf an einer besseren Dokumentation des Forschungsprozesses hat Wissenschaftler zum Aufbau inspiriert Tools, die dabei helfen, Daten, Code und Dokumentation zu kombinieren damit andere Wissenschaftler ihre Ergebnisse reproduzieren können.
JMP-Skriptsprache als Dokumentation für Analysen
Einer meiner lieblings JMP Funktionen ist die Option „Skript in Datentabelle speichern“, die sich im roten Dreiecksmenü jeder Plattform befindet. JMP wurde ursprünglich für Wissenschaftler und Ingenieure entwickelt. Schon früh wurde klar, dass das Produkt zwar als Point-and-Click-Produkt konzipiert war, unsere beabsichtigten Benutzer diese Mausklicks jedoch per Knopfdruck nachbilden mussten, und so war die JMP-Skriptsprache geboren.
Durch das Speichern des Skripts in der Datentabelle kann jeder, der über die Daten verfügt, die Analyse neu erstellen. Sie können auch weitere Untersuchungen durchführen, Einstellungen ändern, Zeilen ausschließen oder den Ausschluss aufheben oder verschiedene Transformationen ausprobieren. Ihre Arbeit kann dann auch in der Datentabelle gespeichert und erneut mit anderen Kollegen geteilt werden. Ja, Sie können dies mit anderen Softwareplattformen tun, aber die Tools von JMP gehören zu den einfachsten und intuitivsten, die ich je gesehen habe.
Zeilen ausblenden und ausschließen, Formelspalten: Selbstdokumentierende Datenänderungen
Nicht jeder beantwortet Ihre Fragen sorgfältig, selbst Maschinenmessungen sind manchmal ungenau oder irreführend. Es gibt triftige Gründe dafür, Zeilen von der Analyse auszuschließen, aber es gibt auch viele Gründe, sicherzustellen, dass alle diese ausgeschlossenen Zeilen dokumentiert und sofort verfügbar sind, wenn Sie Ihre Arbeit erneut überprüfen möchten.
In JMP können Sie Zeilen aus Ihrer Analyse ausschließen, damit sie die berechneten Statistiken nicht beeinflussen, aber dennoch in Diagrammen angezeigt werden. Du kannst Ausblenden und ausschließen wenn Sie sie überhaupt nicht sehen wollen.Die Datentabelle zeigt, wie viele Zeilen vorhanden sind verborgen und ausgeschlossen , sodass Sie immer wissen, dass Sie nicht alle Daten verwenden. Es gibt auch die Datenfilter , mit dem Sie Untergruppen interaktiv betrachten können.
Das Transformieren von Daten ist eine gängige Methode für die Regressionsanalyse. Verwendung der JMP-Datentabellen Formeleditor können Sie neue transformierte Spalten erstellen und haben immer eine genaue Aufzeichnung darüber, wie Sie es gemacht haben.
Antwort-Screening: Auf Beziehungen ohne Vorzeichen prüfen P -Hacken
Es ist sehr einfach, Hypothesen einzeln zu testen, ohne zu merken, wie viele Sie testen, oder Ihren „wahren“ Fehler im Auge zu behalten. Es ist auch zeitaufwändig. Wäre es nicht toll, alle Beziehungen in Ihren Daten zu testen, ohne einzelne Analysen durchführen zu müssen? Und Stellen Sie sicher, dass Sie nicht nur Rauschen in den Daten sehen? Das können Sie – mit dem Antwort-Screening-Plattform .
Mit der Response Screening-Plattform können Sie alle paarweisen Beziehungen angeben, die Sie testen möchten. Für jedes Paar erkennt es die Art Ihrer Daten (normal, ordinal und kontinuierlich) und führt den richtigen Testtyp für dieses Paar durch. Der resultierende Bericht berücksichtigt, wie viele Tests Die von Ihnen angeforderte Analyse gibt Ihnen einen realistischen Überblick darüber, welche Beziehungen statistisch signifikant sind.
Dies ist keine perfekte Technik, da sie nur paarweise Beziehungen testet. Jeder Punkt im Bericht stellt einen Test dar, der ohne Berücksichtigung der Beziehungen zu den anderen Spalten durchgeführt wurde. Es ist jedoch schnell und einfach zu verwenden und viel besser, als sich nur durch alle möglichen Vergleiche zu kämpfen und zu versuchen, den Überblick zu behalten, wie viele Sie überprüft haben.
Manchmal ist die Antwort unsicher und Sie müssen es noch einmal versuchen
Eine meiner Lieblingsgeschichten über Marktforschung ist ein Beispiel, das ich bei uns zeigen werde JMP Explorer-Event in London in zwei Wochen . Es handelt sich um ein MaxDiff-Experiment, das ich entwickelt habe, um herauszufinden, welche Veranstaltungen für eine lokale Data-Science-Gruppe am beliebtesten waren. Die Ergebnisse waren – unauffällig. Dieses eine uninteressante Ergebnis veranlasste mich und mein Team jedoch dazu, anders darüber nachzudenken, wie wir Veranstaltungen planen und unsere Kunden erreichen.
Wenn sich Ihr Marktforschungsteam unter Druck gesetzt fühlt, Ergebnisse aus jeder Analyse vorzulegen, Sie werden Ergebnisse finden, die sie zeigen können . Das ist ein weiterer Aspekt der Reproduzierbarkeitskrise, über den wir nicht viel reden. Negative Ergebnisse können ebenso viele Erkenntnisse liefern wie positive Ergebnisse, wenn wir unseren Forschungsteams die Erlaubnis geben, sie zu melden. Wenn sie sich jedoch unter Druck gesetzt fühlen, aus jedem von ihnen durchgeführten Projekt etwas Neues zu berichten, werden Sie diese verborgenen Informationsschätze nie finden.
Der Bericht ist nicht das Endprodukt
Wie ich schon sagte früherer Blogbeitrag Statische Berichte ohne Daten und ohne die Schritte zur Reproduktion der Analyse sind eine verpasste Chance. Frühere Analysen können eine Fundgrube für Ihr Marktforschungsteam sein – wenn Sie eine Infrastruktur bereitstellen, die die Reproduktion dieser Ergebnisse einfach und intuitiv macht. JMP ist ein Softwaresystem mit integrierter Unterstützung für die Speicherung Ihrer Berichte, Codes und Daten an einem Ort. Probieren Sie es kostenlos aus !
