您可能听说过研究中的复制危机，尤其是在心理学领域。 研究的试金石之一是结果应该是可复制的，即另一位研究人员在相同条件下使用相同方法工作应该能够产生类似的结果。 越来越多的科学家开始担心许多已发表的研究不可复制，要么是因为数据不可用，要么是因为研究结果基于小样本，无法推广到更大的人群。 一些研究的复杂性意味着数据分析中的编码错误可能会导致误导性结果，而这些问题可能几乎不可能被发现。 也有很多人关心p -黑客攻击——研究人员测试数十个假设并仅报告重要的假设。
这应该让我们这些从事营销科学和市场研究的人停下来。 上述许多批评都适用于我们的常规方法。 我们经常梳理客户调查，寻找模式，忽略那些看起来不合适的模式。 我们向管理层提交的报告强调了重要的发现，但省略了我们如何实现这一目标的细节，包括数据转换、排除的主题和研究方法。 大多数市场研究项目的时间都很短，这意味着需要快速得出结果，而快速工作则更容易犯错误。
别介意我们最想衡量的是概念。 客户满意度、推荐可能性、产品吸引力——这些都是对我们业务有价值的想法。 它们本质上也很吵闹并且具有误导性。 潜在客户可能喜欢新车的外观，但这并不意味着他或她会购买它。 当竞争对手明天以更低的价格提供类似产品时，对今天提供的产品感到满意的客户可能会感到愤怒。 推荐的可能性对于律师和水管工等专业服务可能有意义，但这对当地的咖啡店意味着什么吗？
所有这些都不能成为我们不认真做好工作的借口。 事实上，我认为市场研究的特殊问题使得我们遵循良好科学的规则变得更加重要，其中一些规则我在一篇文章中提到过。较早的帖子。
我们（分析）工具的错误
传统上，统计分析工具基于某种脚本语言（R、 SAS 、SPSS），或用户的点击操作（联合管理计划，Excel）。 为了重现分析步骤，您必须依靠研究人员来记录和整理代码（这不是一件容易的任务），或者您必须以某种方式记录鼠标点击。 在这两种情况下，研究人员都需要将所有内容写下来，这既耗时又容易出错。 对研究过程更好的记录的需要激发了科学家们建立帮助组合数据、代码和文档的工具这样其他科学家就可以重现他们的发现。
JMP 脚本语言作为分析文档
我最喜欢的之一联合管理计划功能是“将脚本保存到数据表”选项，位于任何平台的红色小三角菜单下。 JMP 最初是为科学家和工程师开发的。 早期，很明显，即使该产品是点击式的，我们的目标用户也需要通过按下按钮来重新创建这些鼠标点击，因此 JMP 脚本语言诞生了。
将脚本保存到数据表意味着拥有数据的任何人都可以重新创建分析。 他们还可以进一步探索、更改设置、排除或取消排除行，或尝试不同的转换。 然后，他们的工作也可以保存到数据表中，并与其他同事重新共享。 是的，您可以使用其他软件平台执行此操作，但 JMP 的工具是我见过的最简单、最直观的工具。
行隐藏和排除、公式列：自我记录数据更改
并非每个人都会仔细回答您的问题，即使是机器测量有时也会不准确或具有误导性。 从分析中排除行有充分的理由，但也有很多理由确保所有这些排除的行都被记录下来，并且当您想要重新检查您的工作时可以随时使用。
在 JMP 中，您可以从分析中排除行，这样它们就不会影响计算的统计数据，但仍显示在图表中。 你可以隐藏和排除如果你根本不想看到他们。数据表显示有多少行隐藏和排除，因此您始终可以意识到您没有使用所有数据。 还有数据过滤器，它可以让您以交互方式查看子组。
转换数据是回归分析的常用方法。 使用 JMP 数据表公式编辑器，您可以创建新的转换列，并始终准确记录您的操作方式。
反应筛选：检查关系无意外p -黑客攻击
一次测试一个假设是很容易的，却没有意识到你正在测试多少个假设或跟踪你的“真实”错误。 这也很耗时。 无需进行单独分析即可测试数据中的所有关系，这不是很好吗？和确保您看到的不仅仅是数据中的噪音？ 你可以——用反应筛选平台。
响应筛选平台可让您指定要测试的所有配对关系。 对于每一对，它都会检测您拥有的数据类型（正态、有序和连续），并为该对执行正确类型的测试。 结果报告考虑到有多少测试您要求并为您提供了哪些关系具有统计显着性的现实视图。
这不是一个完美的技术，因为它只测试成对关系。 报告上的每个点都代表一个测试，该测试是在不考虑与其他列的关系的情况下完成的。 然而，它快速且易于使用，并且比仅仅通过所有可能的比较并试图跟踪您检查过的数量要好得多。
有时答案是不确定的，你需要再试一次
我最喜欢的关于市场研究的故事之一是我将在我们的网站上展示的一个例子两周后 JMP Explorer 在伦敦举办的活动。 这是我设计的 MaxDiff 实验，旨在了解本地数据科学小组的哪些活动最受欢迎。 结果是——平淡无奇。 然而，这一无趣的结果让我和我的团队对如何规划活动和接触客户有了不同的思考。
如果您的市场研究团队对展示每项分析的结果感到有压力，他们会找到要展示的结果。 这是可重复性危机的另一个方面，我们很少谈论。 如果我们允许我们的研究团队报告负面结果，则负面结果可以提供与正面结果一样多的洞察力，但如果他们感到有压力报告他们运行的每个项目的新内容，那么您将永远找不到那些隐藏的信息瑰宝。
报告不是最终产品
正如我在一篇文章中所说之前的博客文章，没有数据且没有重现分析步骤的静态报告是一个错失的机会。 如果您提供能够轻松直观地重现这些结果的基础设施，过去的分析可能会成为您的市场研究团队的宝库。 JMP 是一款内置支持将报告、代码和数据保存在一个位置的软件系统。 免费试用！
是的——危机正在发生。 洛沃斯是一种“惊喜指标”，贝叶斯因素和其他技术工具是相关的，但是跟踪工作和记录研究设计的能力确实是关键。
另一个方面是如何实际呈现研究结果。如需了解 InfoQ 泛化维度的实现以呈现可重复性声明，请参阅https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3035070
那篇博文是亲爱的，切尔西！ 我与我们当地的数学用户组#rtpanalysts 分享了它！
多么棒的文章啊，而且也是防止不诚实分析和“p-hacking”的好方法。 我们常常不去追踪我们的“真正的错误”
我喜欢向同事发送 JMP 表，其中保存了我运行的所有分析脚本。
我今年早些时候写了一篇关于 p-hacking 的非常愚蠢的文章，你可能会喜欢:)
https://medium.com/@chelseaparlett/everyone-p-hacks-a-lightheart-guide-for-new-academics-55f68c9f78cb
