Vous avez peut-être entendu parler de la crise de la réplication dans la recherche, en particulier dans le domaine de la psychologie. L'un des tests décisifs pour la recherche est que les résultats doivent être reproductibles, c'est-à-dire qu'un autre chercheur travaillant dans les mêmes conditions et utilisant les mêmes méthodes doit être capable de produire des résultats similaires. De plus en plus, les scientifiques s'inquiètent du fait que de nombreuses recherches publiées ne sont pas reproductibles , soit parce que les données ne sont pas disponibles, soit parce que les résultats sont basés sur de petits échantillons qui ne peuvent pas être généralisés à une population plus large. La nature complexe de certaines recherches signifie que des erreurs de codage dans l'analyse des données peuvent entraîner des résultats trompeurs , et ces problèmes peuvent être presque impossibles à trouver. Il y a aussi beaucoup d'inquiétudes concernant p -hacking — où les chercheurs tester des dizaines d’hypothèses et ne rapporter que celles qui sont significatives .
Cela devrait donner une pause à ceux d’entre nous qui travaillent dans les sciences du marketing et les études de marché. Bon nombre des critiques ci-dessus s’appliquent à nos méthodes habituelles. Nous parcourons souvent les enquêtes auprès des clients à la recherche de modèles, ignorant ceux qui ne semblent pas correspondre. Nos rapports destinés à la direction mettent en évidence les résultats importants et laissent de côté les détails de la manière dont nous y sommes parvenus, notamment les transformations des données, les sujets exclus et la méthodologie de recherche. Les délais courts pour la plupart des projets d’études de marché signifient que les résultats doivent être obtenus rapidement, et travailler rapidement facilite les erreurs.
Peu importe que les choses que nous voulons le plus mesurer sont des concepts. Le bonheur des clients, la probabilité de recommandation, l'attrait du produit : ce sont autant d'idées qui sont précieuses pour notre entreprise. Ils sont également intrinsèquement bruyants et trompeurs. Un client potentiel peut aimer l’apparence d’une nouvelle voiture, mais cela ne signifie pas qu’il l’achètera. Un client satisfait aujourd’hui d’un produit proposé pourrait être furieux lorsqu’un concurrent proposera demain un produit similaire à un prix inférieur. La probabilité de recommander peut avoir du sens pour les services professionnels tels que les avocats et les plombiers, mais cela signifie-t-il quelque chose pour un café local ?
Rien de tout cela ne nous dispense de faire notre travail avec soin. En fait, j'estime que les enjeux particuliers des études de marché rendent d'autant plus important que nous suivions les règles de la bonne science, dont j'ai mentionné certaines dans un article message précédent .
La faute dans nos outils (analytiques)
Traditionnellement, les outils d'analyse statistique sont basés sur un langage de script quelconque (R, SAS , SPSS), ou sur les actions pointer-cliquer de l'utilisateur ( JMP , Excel). Afin de reproduire les étapes d'une analyse, vous devez dépendre du chercheur pour documenter et rassembler le code (ce qui n'est pas une tâche facile), ou vous devez d'une manière ou d'une autre documenter les clics de souris. Dans les deux cas, c'est au chercheur de tout noter, ce qui prend du temps et est source d'erreurs. La nécessité d'une meilleure documentation du processus de recherche a incité les scientifiques à construire des outils qui aident à combiner les données, le code et la documentation afin que d'autres scientifiques puissent reproduire leurs découvertes.
Langage de script JMP comme documentation pour les analyses
Un de mes favoris JMP Les fonctionnalités sont l'option « Enregistrer le script dans la table de données » qui se trouve sous le menu triangulaire rouge de n'importe quelle plate-forme. JMP a été initialement développé pour les scientifiques et les ingénieurs. Dès le début, il est devenu évident que même si le produit était destiné à fonctionner en pointer-cliquer, les utilisateurs visés devaient recréer ces clics de souris en appuyant simplement sur un bouton. C'est ainsi qu'est né le langage de script JMP.
L'enregistrement du script dans la table de données signifie que toute personne disposant des données peut recréer l'analyse. Ils peuvent également explorer davantage, en modifiant les paramètres, en excluant ou en désexcluant des lignes, ou en essayant différentes transformations. Leur travail peut ensuite être également enregistré dans le tableau de données et partagé avec d'autres collègues. Oui, vous pouvez le faire avec d'autres plates-formes logicielles, mais les outils de JMP sont parmi les plus simples et les plus intuitifs que j'ai jamais vu.
Masquer et exclure des lignes, colonnes de formule : modifications des données auto-documentées
Tout le monde ne répond pas soigneusement à vos questions, même les mesures des machines sont parfois inexactes ou trompeuses. Il existe des raisons valables d'exclure des lignes de l'analyse, mais il existe également de nombreuses raisons de vous assurer que toutes ces lignes exclues sont documentées et facilement disponibles lorsque vous souhaitez revérifier votre travail.
Dans JMP, vous pouvez exclure une ligne de votre analyse afin qu'elle n'affecte pas les statistiques calculées mais qu'elle apparaisse toujours dans les graphiques. Tu peux Masquer et exclure si vous ne voulez pas les voir du tout.Le tableau de données montre le nombre de lignes caché et exclu , afin que vous puissiez toujours savoir que vous n'utilisez pas toutes les données. Il y a aussi le Filtre de données , qui vous permet d'examiner les sous-groupes de manière interactive.
La transformation des données est une méthode courante pour l'analyse de régression. Utilisation des tables de données JMP Éditeur de formule , vous pouvez créer de nouvelles colonnes transformées et toujours avoir une trace de la façon exacte dont vous l'avez fait.
Vérification des réponses : vérifier les relations sans accident p -Le piratage
Il est très facile de tester des hypothèses une par une sans se rendre compte du nombre de tests que vous testez ou sans suivre votre « véritable » erreur. Cela prend également du temps. Ne serait-il pas formidable de tester toutes les relations dans vos données sans avoir à effectuer des analyses individuelles ? et être sûr que vous ne voyez pas seulement du bruit dans les données ? Vous pouvez — avec le Plateforme de sélection des réponses .
La plateforme Response Screening vous permet de spécifier toutes les relations par paires que vous souhaitez tester. Pour chaque paire, il détecte le type de données dont vous disposez (normales, ordinales et continues) et effectue le bon type de test pour cette paire. Le rapport qui en résulte prend en compte le nombre de tests vous avez demandé et vous donne une vision réaliste des relations qui sont statistiquement significatives.
Ce n'est pas une technique parfaite car elle teste uniquement les relations par paires. Chaque point du rapport représente un test effectué sans tenir compte des relations avec les autres colonnes. Il est cependant rapide et facile à utiliser, et c'est bien mieux que de simplement vous frayer un chemin à travers toutes les comparaisons possibles et d'essayer de garder une trace du nombre que vous avez vérifié.
Parfois, la réponse est incertaine et vous devez réessayer
L'une de mes histoires préférées sur les études de marché est un exemple que je montrerai lors de notre L'événement JMP Explorer à Londres dans deux semaines . Il s'agit d'une expérience MaxDiff que j'ai conçue pour voir quels événements d'un groupe local de science des données étaient les plus populaires. Les résultats étaient — banals. Ce résultat inintéressant nous a cependant amené, moi et mon équipe, à réfléchir différemment à la manière dont nous planifiions les événements et contactions nos clients.
Si votre équipe d'études de marché se sent obligée de montrer les résultats de chaque analyse, ils trouveront des résultats à montrer . C'est un autre aspect de la crise de reproductibilité dont on parle peu. Les résultats négatifs peuvent offrir autant d'informations que les résultats positifs si nous donnons à nos équipes de recherche la permission de les signaler, mais si elles se sentent obligées de rapporter quelque chose de nouveau sur chaque projet qu'elles mènent, vous ne trouverez jamais ces joyaux d'informations cachés.
Le rapport n'est pas le produit final
Comme je l'ai dit dans un article de blog précédent , les rapports statiques sans données et sans étapes permettant de reproduire l'analyse sont une opportunité manquée. Les analyses antérieures peuvent constituer un trésor pour votre équipe d’études de marché, si vous fournissez une infrastructure qui rend la reproduction de ces résultats facile et intuitive. JMP est un système logiciel doté d'une prise en charge intégrée pour conserver vos rapports, votre code et vos données au même endroit. Essayez-le gratuitement !
oui, il y a une crise. Logworth est une sorte d'« indicateur de surprise », les facteurs Bayes et d'autres outils techniques sont pertinents, mais la capacité de retracer le travail et de documenter la conception de l'étude est en effet essentielle.
un autre aspect est la manière de présenter réellement les résultats. pour une implémentation de la dimension de généralisation InfoQ pour présenter les allégations de reproductibilité, voir https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3035070
Ce billet de blog est chéri, Chelsea ! Je l'ai partagé avec notre groupe local d'utilisateurs de mathématiques, #rtpanalysts !
Quel bel article, mais aussi un bon moyen de prévenir les analyses malhonnêtes et le « p-hacking ». Souvent, nous ne gardons pas trace de notre « véritable erreur »
J'adore envoyer à mes collègues une table JMP avec tous les scripts d'analyse que j'ai exécutés enregistrés dans la table.
J'ai écrit un article très idiot sur le p-hacking plus tôt cette année, vous apprécierez peut-être 
https://medium.com/@chelseaparlett/everyone-p-hacks-a-lighthearted-guide-for-new-academics-55f68c9f78cb
