你可能听说过研究中的复制危机——尤其是在心理学领域。 研究的试金石之一是结果应该是可复制的，即另一位研究人员在相同的条件下工作并使用相同的方法应该能够产生类似的结果。 越来越多的科学家担心许多已发表的研究是不可复制的，要么是因为数据不可用，要么是因为调查结果基于无法推广到更大人群的小样本。 一些研究的复杂性意味着数据分析中的编码错误可能导致误导性结果，而这些问题可能几乎是不可能找到的。 也有很多担忧p -hacking——研究人员在哪里检验几十个假设，只报告重要的假设.
这应该让我们这些从事营销科学和市场研究的人停下来。 上面的许多批评都适用于我们的常规方法。 我们经常梳理客户调查以寻找模式，而忽略那些似乎不适合的模式。 我们提交给管理层的报告突出了重要的发现，并省略了我们如何到达那里的细节，包括数据转换、排除的主题和研究方法。 大多数市场研究项目的时间很短，这意味着需要快速扭转结果，快速工作更容易出错。
别介意我们最想衡量的东西是概念。 客户满意度、推荐可能性、产品吸引力——这些都是对我们的业务有价值的想法。 它们本身也很嘈杂，并且以误导性着称。 潜在客户可能喜欢新车的外观，但这并不意味着他或她会购买。 当竞争对手明天以更低的价格提供类似产品时，对今天提供的产品感到满意的客户可能会感到愤怒。 推荐的可能性对于律师和水管工等专业服务可能有意义，但这对当地的咖啡店意味着什么？
这些都不能成为我们谨慎工作的借口。 事实上，我认为市场研究的特定问题使我们遵循良好科学的规则变得更加重要，其中一些我在一篇文章中提到过较早的帖子.
我们（分析）工具的错误
传统上，统计分析工具基于某种脚本语言（R， SAS , SPSS) 或用户的点击操作 ( JMP ，Excel）。 为了重现分析步骤，您必须依靠研究人员来记录和整理代码（这不是一件容易的事），或者您必须以某种方式记录鼠标点击。 在这两种情况下，都由研究人员负责写下所有内容，这既费时又容易出错。 需要更好地记录研究过程，这激发了科学家们建立帮助结合数据、代码和文档的工具因此其他科学家可以重现他们的发现。
JMP 脚本语言作为分析文档
我最喜欢的之一JMP功能是任何平台的红色小三角菜单下的“将脚本保存到数据表”选项。 JMP 最初是为科学家和工程师开发的。 早期，很明显，即使该产品是点击式的，但我们的目标用户需要通过按下按钮来重新创建这些鼠标点击，因此 JMP 脚本语言诞生了。
将脚本保存到数据表意味着拥有数据的任何人都可以重新创建分析。 他们还可以进一步探索、更改设置、排除或取消排除行，或尝试不同的转换。 然后他们的工作也可以保存到数据表中，并与其他同事重新共享。 是的，您可以使用其他软件平台执行此操作，但 JMP 的工具是我见过的一些最简单、最直观的工具。
行隐藏和排除，公式列：自我记录数据更改
不是每个人都认真回答您的问题，甚至机器测量有时也不准确或具有误导性。 从分析中排除行是有正当理由的，但也有很多理由来确保所有这些被排除的行都记录在案并且在您想要重新检查您的工作时随时可用。
在 JMP 中，您可以从分析中排除行，这样它们不会影响计算的统计数据，但仍会显示在图表中。 你可以隐藏和排除如果您根本不想看到它们。数据表显示有多少行隐藏和排除，因此您始终可以意识到您并未使用所有数据。 还有数据过滤器，它可以让您以交互方式查看子组。
转换数据是回归分析的常用方法。 使用 JMP 数据表公式编辑器，您可以创建新的转换列，并始终准确记录您是如何做到的。
反应筛选：检查无意外的关系p -黑客
一次测试一个假设非常容易，而无需意识到您正在测试多少或跟踪您的“真实”错误。 这也很耗时。 无需进行单独分析即可测试数据中的所有关系不是很好吗和确定您不只是在数据中看到噪音吗？ 你可以——用反应筛选平台.
响应筛选平台允许您指定要测试的所有成对关系。 对于每一对，它会检测您拥有的数据类型（正常、有序和连续），并为该对执行正确类型的测试。 结果报告考虑到多少测试您要求并让您对哪些关系具有统计显着性有一个现实的看法。
这不是一个完美的技术，因为它只测试成对关系。 报告上的每个点都代表一个在未考虑与其他列的关系的情况下完成的测试。 但是，它快速且易于使用，并且比仅仅通过所有可能的比较并试图跟踪您检查了多少要好得多。
有时答案是不确定的，你需要再试一次
我最喜欢的关于市场研究的故事之一就是我将在我们的两周后 JMP Explorer 在伦敦的活动. 这是我设计的 MaxDiff 实验，旨在查看本地数据科学小组的哪些活动最受欢迎。 结果是——不起眼。 然而，这个无趣的结果让我和我的团队对我们如何规划活动和接触客户产生了不同的看法。
如果您的市场研究团队感到有压力要展示每项分析的结果，他们会找到要显示的结果. 这是可重复性危机的另一个方面，我们很少谈论。 如果我们允许我们的研究团队报告负面结果，则负面结果可以提供与正面结果一样多的洞察力，但如果他们感到有压力报告他们运行的每个项目的新内容，您将永远找不到那些隐藏的信息宝藏。
报告不是最终产品
正如我在一个之前的博文，没有数据且没有重现分析步骤的静态报告是错失的机会。 过去的分析对于您的市场研究团队来说可能是一个宝库——如果您提供的基础设施可以让重现这些结果变得简单直观。 JMP 是一种内置支持的软件系统，可将您的报告、代码和数据保存在一个地方。 免费试用！
是的——危机正在发生。 Logworth 是一种“惊喜指标”，贝叶斯因子和其他技术工具是相关的，但是，追踪工作和记录研究设计的能力确实是关键。
另一个方面是如何实际呈现调查结果。对于 InfoQ 泛化维度的实现以呈现可重复性声明，请参阅https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3035070
那篇博文是亲爱的，切尔西！ 我与我们当地的数学用户组#rtpanalysts 分享了它！
多么棒的文章，也是防止不诚实分析和“p-hacking”的好方法。 我们经常不跟踪我们的“真正错误”
我喜欢向我的同事发送一个 JMP 表，其中包含我运行的所有分析脚本都保存到表中。
今年早些时候我写了一篇关于 p-hacking 的非常愚蠢的帖子，你可能会喜欢 
https://medium.com/@chelseaparlett/everyone-p-hacks-a-lighthearted-guide-for-new-academics-55f68c9f78cb
