Where should I invest to maximize profits?Where should I invest to maximize profits?Where should I invest to maximize profits?Where should I invest to maximize profits?我应该在哪里投资才能最大化利润？去年，您刚刚收集数据、重组数据、分析关系和微调参数。 您经过努力工作，将所有专业知识积累到了您认为可靠的预测模型中，您现在将使用该模型来确定您的公司将在何处花费 1000 万美元的资产。 您对自己的决定有多大信心？ 您是否考虑了所有可能的情况、因素和限制？ 您是否有可能错过了什么？
欢迎来到不确定性的世界，即使是最有经验的数据从业者，未知的事物也会让他们夜不能寐。 害怕不知道我们不知道的事情以及错过不可预见的影响或结果，可能会将简单的预测模型变成组织最糟糕的噩梦。
无论您是利用最新的人工智能算法还是使用传统的回归方法，您的模型中始终存在一定程度的不确定性。
既然这是不可避免的，那么现在的问题就变成了：能否最大限度地减少和减轻不确定性？ 当然，我相信通过结合一些简单的策略可以大大减少它，这些策略已被证明可以提高预测的准确性并减少模型的不确定性。
与数据样本相关的不确定性
首先，我们必须认识并理解预测模型中存在许多不确定性来源。 数据、建模技术和预测变量选择的变化都会影响模型的性能。 在本次讨论中，我们将重点关注与数据样本相关的不确定性。 数据集的质量对于预测的准确性起着至关重要的作用。 数据是预测模型的燃料。 在大多数情况下，我们为模型提供的数据越多，我们提高准确性的能力就越大。 但一切都是有代价的，收集大型数据集可能是一项昂贵且耗时的工作。 考虑到这一限制，零日的最佳策略是使用以下方法制定数据收集计划：实验设计（DOE）预先收集关键数据，捕获准确建模关系所需的因素和变化的组合。
不幸的是，大多数人没有走这条路，随后发现自己在收集阶段后迫切需要额外的数据来丰富他们的模型。 听起来像你吗？ 如果没有足够的预算来收集更多数据，现在该怎么办？ 不用担心。
丰富数据的 3 种技术
您会很高兴地知道，三种快速简单的技术已经证明可以丰富您的数据并重新获得模型的准确性，而无需在收集新数据点时投入额外的资源：Bootstrapping、Monte Carlo，从而提供帮助。模拟和插补。
引导：这是一种简单的技术，我们对数据中的随机观察值进行重复采样，以生成新的“引导”数据集，从而提供更好的模型估计近似值。
让我们在实践中看看这个技术。 在下面的示例中，我想探索模型参数（渗透率）并确定其置信区间 0.010 和 0.108 是否准确表示该变量的理论极限。 一旦回答了这个问题，我就会更好地理解渗透率和模型响应之间的关系。
Original confidence limits for permeability are 0.010 and 0.108Original confidence limits for permeability are 0.010 and 0.108Original confidence limits for permeability are 0.010 and 0.108Original confidence limits for permeability are 0.010 and 0.108渗透率的原始置信限为 0.010 和 0.108
New bootsrap limits of 0.019 and 0.119 reflect a more accurate estimate of actual valuesNew bootsrap limits of 0.019 and 0.119 reflect a more accurate estimate of actual valuesNew bootsrap limits of 0.019 and 0.119 reflect a more accurate estimate of actual valuesNew bootsrap limits of 0.019 and 0.119 reflect a more accurate estimate of actual values新的引导限制 0.019 和 0.119 反映了对实际值的更准确的估计
使用联合管理计划，我生成 2500 个引导样本来计算新的置信区间 0.019 和 0.119。 自举限值大于原始限值 0.010 和 0.108，这表明渗透率和预测响应之间的关系实际上比之前估计的更强。 有了这个新的见解，我可以调整模型的系数以减少不确定性并产生更符合实际预期结果的估计。
蒙特卡罗模拟：使用随机变化的分布来生成预测结果的稳健估计，以更好地解释模型数据中的不确定性。
让我们将第二种技术应用于我们的示例数据集。 我创建了一个传统模型，可以在其中估计一组条件的预期响应（例如：REC=847.805）。 尽管我可以计算这些估计的预测响应和置信区间，但我无法计算包含我通常在因素中观察到的现实世界变化的结果。 通过使用 JMP 中的模拟器选项，我现在可以将因子建模为随机分布，并在预期响应值中生成更精确的估计值。 在我的示例中，蒙特卡罗模拟显示大约 25% 的响应值超出了 750 的下限。 有了这种更准确量化的风险水平，我现在可以通过模拟多种场景并相应地权衡各自的结果来做出更明智的业务决策。
Monte Carlo simulation of predictor variables allows for risk analysis under varying conditionsMonte Carlo simulation of predictor variables allows for risk analysis under varying conditionsMonte Carlo simulation of predictor variables allows for risk analysis under varying conditionsMonte Carlo simulation of predictor variables allows for risk analysis under varying conditions预测变量的蒙特卡罗模拟允许在不同条件下进行风险分析
插补：一种数据替换技术，用于用计算结果替换缺失数据。
真实数据有时会缺少值，我的示例数据集也不例外。 它包含一些由于传感器存在问题而未收集数据的条目。 不幸的是，由于这些值被省略，它们现在从任何分析中被丢弃，并且我失去了如果我的数据集完整的话可能获得的任何前瞻性见解。 通过使用插补联合管理计划，我现在可以估计那些缺失条目的值并增加我的预测的置信度。 可以使用多种技术进行插补；我选择了一种名为多元 SVD 插补预测 14 个缺失条目的值。 应该注意的是，估算数据不是真实数据，但它提供了一种进行分析的方法，否则无法进行分析。 通过估算缺失的数据，我提高了预测变量估计的准确性，现在可以充分利用我收集的所有数据。
Results of 14 imputed values allow for estimation of missing dataResults of 14 imputed values allow for estimation of missing dataResults of 14 imputed values allow for estimation of missing dataResults of 14 imputed values allow for estimation of missing data14 个估算值的结果可用于估计缺失数据
改进估计并减少不确定性
自举、蒙特卡罗模拟和插补。 就是这样：三种快速简单的技术可以在任何现有数据集上实施，以丰富结果的质量并大大提高您的预测准确性。 在大数据时代，预测模型的用例不断增长，这是一件令人惊奇的事情。 尽管建模选项和算法取得了进步，以提高鲁棒性和准确性，但性能仍然由我们为模型提供的数据质量驱动。
在理想的世界中，不确定性是不存在的，我们的数据将为完美预测指明道路。 但我们知道，真实数据并不关心我们的想法。 它很混乱、有缺陷且难以处理，所以让我们通过在工具箱中添加一些新工具来应对这一挑战。 让我们不要让未知的事情让我们彻夜难眠。 积极主动地利用这些策略来改进估计、减少不确定性，并坚信您正在做出最佳的业务决策。
这些技术与信息质量有关。 根据您的数据和目标，它们可以帮助您提高生成的信息的质量。
有关引导的介绍以及示例和练习，请参阅此链接：
有关引导的介绍
有关信息质量的介绍，请参阅此链接:
信息质量简介 (InfoQ)
对于评估信息质量 (InfoQ) 中的 JMP 添加，请参阅JMP 插件用于评估 InfoQ
