如果你错过了上周的从统计学上来说与出版广泛、屡获殊荣的克里斯汀·安德森-库克 (Christine Anderson-Cook) 一起退休
洛斯阿拉莫斯国家实验室 (LANL) 的研究科学家，您错过了一次有关设计数据收集、大数据及其协同作用的精彩之旅。 设计数据收集为涉及大数据的项目增加更多价值的潜力是巨大的。 事实上，与会者非常渴望了解有关该主题的更多信息，以至于我们没有时间回答他们所有的许多有趣的问题。 因此，我们将这些问题发送给了 Christine，她很乐意花时间回答这些问题。 您可以看到她的演讲并听到她在点播录音。
您是否认为过分强调观察（和事务）数据，这些数据通常信息稀疏，而不是有意收集可以更好地为决策提供信息的数据？ 这主要是由于获取更多信息丰富的数据的“成本”吗？
我认为，对于许多公司来说，早期都有一种“大量数据可以解决所有问题”的情绪。这可能会导致人们认为仅仅收集数据本身就是一种解决方案。 然而，现在大数据已经出现了一段时间，很多企业可能都有过一些不成功的经历，数据无法给他们所需要的答案。 因此，不幸的是，随着现实的逐渐显现，经验可能是最有说服力的老师之一，低成本的方便数据不一定比更昂贵的有意选择的数据更可取。
在 QREI 论文的讨论部分[1]关于无意收集数据时经常发生的情况，劳拉·弗里曼 (Laura Freeman) 引用了一句精彩的话：“最终结果通常是分析师精疲力尽，决策者感到失望，因为数据从来就不是为了回答他们试图解决的问题而设计的。 ” [2]为了回答许多具体和重要的问题，在收集数据之前将数据与感兴趣的问题进行匹配是无可替代的。
最重要的是，对观察或交易数据的依赖可能会产生好坏参半的结果。 如果没有经过深思熟虑或仅仅因为方便而收集数据，那么与数据收集团队的专家对数据用途有认识和计划的情况相比，失望的可能性更高。
您是否知道衡量某些事物的成本超过其收益的情况？
我在 LANL 参与过一些项目，这些项目获取数据的成本非常高，通常是因为一开始不知道收集所需数据的方式。 在这些情况下，有时需要进行一些研究和开发才能获得所需的数据。 当然，一旦您能够收集数据，您可能偶尔会对从这些数据中学到的东西感到失望。 然而，一旦开发出新功能并建立了数据收集平台，这项投资可能会在其他应用程序中获得回报。 如果您可能处于这样的情况，需要花费资源来获取新类型的数据，那么重要的是要真正考虑它对当前项目可能带来的好处，以及从长远来看，它的风险失望，以及是否有替代替代品可以更容易或更便宜地获得类似信息。
许多新公司正在推广规范性模型来告诉实验人员下一步该做什么。 您能否评论一下这种实验方法与设置设计实验的比较？
规范性模型无疑正在成为许多不同领域的首选方法。 对于那些不熟悉它们所涉及内容的人，这里有两个松散的定义，可能有助于澄清更传统的模型和这些特定模型之间的区别：
- 预测模型基于使用先前数据估计的模型来预测新输入组合的结果。
- 规定模型就如何应对新数据提出具体的可行建议。
预测工具旨在帮助理解，而规范性模型则将这种理解自动化为计划的行动。
我认为重要的是要记住，规范模型背后的算法的好坏取决于创建它们的人。 汉娜·弗莱[3]在谈论自动化与算法的优点和缺点以及将人类排除在外的努力方面做得非常出色。
对于以下情况，考虑规范性模型可能是有利的：做出决策所需的数量或速度（想想自适应设计，其中等待分配治疗的新受试者不断且频繁地滚滚而来）使得人类决策者无法做出决策赶上。 话虽这么说，我认为将实验设计作为一项由有思想的人指导的任务有巨大的优势。 人们会注意到条件何时从用于设置算法设计的实验的范式发生变化。 人类更擅长提取知识和问题的关键方面。 他们更擅长找到以最能反映研究优先事项的方式适当平衡多个目标的解决方案。 因此，我的建议是，实验设计应该是大多数实验的起点，但如果实验要重复多次，或者速度或体积规定，那么从初始实验中获得的经验可以转化为规定的模型以减轻人类的负担。
对于序贯实验，当从试点研究、探索和模型构建等几个阶段获得数据时，如何构建和估计模型？ 如果无法获得新数据用于模型细化，会产生什么后果？
尽管顺序实验具有所有优点，但如何管理分析是更大的复杂性之一。 如果数据以非随机顺序分组收集，那么分析几乎总是反映这种情况。 需要调整分析的一个例外是计算机实验，其中相同的代码针对所有输入组合运行并且与运行顺序无关。 有时不需要将数据合并到单个分析中，每个阶段都有单独的模型和解释。 例如，如果在试点阶段进行测量系统分析，则其与旨在专注于探索和模型构建的后续数据之间可能没有直接联系。
一般来说，将实验不同阶段（试点、探索、模型构建等）的运行组视为块提供了一种承认阶段之间事物可能发生变化的方法。 探索性方法可以帮助检查区块的影响，并查看区块之间的响应是否出现重大变化。 在核取证示例中，对较大实验的三个阶段进行了分析，并添加了块效应。 通过检查这种效应，我们能够发现随着时间的推移，某些特征的测量存在一些差异。
如果无法获得新的数据进行模型细化，那么初始模型的精度就无法进一步提高。 在许多情况下，模型细化的目标是针对模型当前估计或预测较弱的区域。 通过额外的跑步来增强可以帮助缓解这种弱点并提高整体表现。 如果没有用于此模型细化的预算，则估计和预测将取决于可用数据。 这可能会失去一个机会——因此，只要有可能，最好考虑在不同阶段进行有效的资源分配。
现在我们有大量来自医院电子病历的数据，收集和分析这些数据的人可能在 DOE 方面的技能有限。 有哪些方法可以应用您与我们分享的一些要点？
医院记录包含大量信息，但很可能隐藏在待处理的大量记录中。 考虑到医疗的性质和伦理考虑，改变其观察性质很可能非常困难。 因此，我们可能无法控制所收集数据的“输入”，并且在大数据阶段更有可能受到限制，只能对记录进行战略抽样以帮助我们回答问题。
以下是关于可能存在机会的一些想法：
- 如果要将新类型的数据添加到数据库中，则可能有机会执行测量系统分析以帮助了解变异性的来源。 例如，执行测试的人员是否是变异的重要组成部分？ 使用哪台机器进行测试重要吗？或者它们都经过类似的校准吗？ 鉴于要收集的数据量可能很大，一项了解变异性来源的小型研究可能会为如何解释结果提供非常丰富的信息。
- 如果测量成本高昂，那么在大数据之前的阶段，可能有机会使用较小的数据集来检查测量之间的相关性，以了解哪些数据主要与结果相关，以及是否可能存在代价高昂的信息冗余。
- 回答不同查询的一个关键方面是确保有易于实现的方法将数据划分为相关和不太相关的类别。 能够根据关键字段对子群体的记录进行采样将允许与类似受试者进行更精确的比较。
- 按日期或地点对数据进行采样可能可以跨时间或设备比较结果。 这样做可以突出趋势或减少由于外部因素而不是患者变化而得出的错误结论的数量。
- 最后，在大数据之后的阶段，可能有机会以确认实验的形式使用一些小型的、设计好的实验来验证假设或检查效果是否适用于更广泛的人群。
自适应设计（A/B 测试）方法是否会将结果偏向于一开始就领先的模型？ 如果 A 在 75% 的时间内显示，则 A 的点击次数的基线预期就会高于 B。
自适应设计领域有许多选择来实现决定如何响应新观察的算法。 通常，实验者可以选择算法以多快的速度改变接受每种治疗的新受试者的比例。 如果你进化得太慢，那么可能会有更大比例的受试者接受不太理想的选择，从而产生机会成本。 如果你进化得太快，那么序列的开始就“不幸”（非代表性），你可能会首先将太多的受试者引导到不太理想的选择。
与许多决策一样，存在两种类型的错误，实验者需要权衡它们的相对风险和后果。 在许多实现中，选择探索和利用之间的平衡是为了最大限度地减少过快发展到错误解决方案的机会，同时通过做出谨慎的选择来容忍一些机会的损失。 这些算法通常设计用于处理每个选项的成功比例，而不是观察到的成功的绝对数量。
以数据竞赛数据集为例，JMP可以从总体设计上分为三个阶段来选择哪个运行属于哪个阶段，还是只是随意确定的？
我们没有创建一个更大的数据集并将其分为训练、公共测试和私有测试数据，而是采用自下而上的方法，针对不同场景生成具有不同特征的较小数据集，然后将它们组合起来生成最终的比赛数据。
以下是有关训练、公共测试和私人测试数据集构建的更多详细信息。 为每个场景构建了一组密集的候选点（想想要发现、屏蔽或未屏蔽的放射源之一）。 由于比赛的最高结果在于私人测试数据集的结果，因此首先使用非均匀空间填充（NUSF）设计构建它[4] ,选择不均匀性是为了强调最困难的区域（这里，快速移动的探测器寻找少量的放射性物质），但仍然对整个空间有一定的覆盖。 一旦该设计最终确定，则使用减少的候选集（原始减去已选择的点）来构建公共测试数据集。 在这种情况下，重点是中等难度，但同样对整个空间进行了一定的覆盖。 最后一次重复该过程以构建训练数据，并进一步减少候选集（从公共和私人测试数据集中选择的点从原始候选集中删除）。 这样就可以为每个放射源 x 屏蔽组合创建三个设计数据集。
接下来，这些设计将所有场景组合起来，并随机分为三个最终数据集（整体训练、整体公开测试和整体私人测试），然后提供给参赛者。 我和同事写了一些论文，是关于如何思考构建数据竞赛数据集的[5]或者我们如何针对辐射检测问题实施这些策略[6] 。 目前，JMP 不具备直接构建 NUSF 设计的自动功能，但可以构建使用顺序方法来改变设计均匀程度的功能[7]快速灵活的空间填充设计[8]在 JMP 中。 或者，我论文的补充材料中提供了可用于构建这些设计的 R 代码[4] 。
我有一个关于在训练算法之前处理异常值的问题。 排除它们是有危险的，特别是在状态空间存在稀疏性的情况下。 您是否可能使用自适应测量的实验设计来区分是否包含或排除这些异常值？ 是否还有其他方法来确定异常值管理？
识别异常值和高杠杆点值得注意，因为它们对结果和我们对模式的解释有不成比例的影响。 为了更准确地定义这些概念，异常值是响应不遵循其他数据趋势的观察结果。 高杠杆点是输入组合相对于数据集的其余部分极端的观察结果（随着输入空间的维度变高，这可能很难评估）。
实验设计可能会以不同的方式对这些问题有所帮助。 对于异常值，在观察到极端响应值的区域进行小型局部实验可能有助于澄清该区域是否具有不同行为或可能具有高于典型变化的区域。 每一个一旦得到证实，都需要不同的反应。 对于高杠杆点，在将高杠杆点与输入空间的其余部分连接起来的区域进行有意的实验可以帮助表征输入和响应之间的关系，而没有大的差距。 它可以帮助提供有关两个输入位置区域的转换的信息。 当然，这两种策略都取决于实验者对输入设置的控制程度。
对于消除异常值，我的做法相当老派。 除非有主题专业知识来指导纳入或排除，否则我极不愿意删除这些数据点。 集成模型（基于整个数据集并删除异常值的模型组合）可以提供另一种方法来校准这些观察结果对理解变异性和模型不确定性的影响。
参考：
[1] 安德森-库克，CM， Lu, L. (2023)“设计数据收集在大数据时代仍然相关吗？ 国际质量与可靠性工程39(4) 1085-1101。
[2] Freeman, L. (2023)“评论：设计数据收集在大数据时代仍然重要吗？ 机器学习的扩展”国际质量与可靠性工程39(4) 1102-1106。
[3] 弗莱，H. (2018)你好世界：算法时代的人类, WW 诺顿公司。
[4] 卢丽， 安德森-库克，CM， Ahmed, T. (2021)“非均匀空间填充设计”质量技术杂志53（3）309-330。
[5] 安德森-库克，CM， 卢，L.， 迈尔斯，K.， 昆兰，K.， Pawley, N. (2019)“通过战略性生成信息数据集来改进数据竞赛中的学习”品质工程31（4）564-580。
[6] 安德森-库克，CM， 迈尔斯，K.， 卢，L.， 富盖特，ML， 昆兰，K.， Pawley, N.（2019）“数据竞赛：从战略设计和赛后分析中获得更多”统计分析与数据挖掘12271-289。
[7] 卢丽， Anderson-Cook，CM (2022)“利用您所知道的：多功能空间填充设计”品质工程https://doi.org/10.1080/08982112.2022.2161394
[8] Lekivetz, R., 和 B. 琼斯. 2015年。 “非矩形区域的快速灵活的空间填充设计”国际质量与可靠性工程31（5）：829-37。 doi：10.1002/qre.1640。
我们感谢克里斯汀花时间分享她关于这一战略主题的更多智慧。 感谢所有出席并提出如此重要问题的人！ 我们赞扬为收集信息丰富的数据所做的一切努力！ 我们还强烈推荐 Christine 的论文，为什么以及如何提出好问题。
