扬声器 | 脚本 |
| 法比奥·多塔维亚诺 | 好的，感谢大家观看此视频。好吧，正如你所见，我将讨论机器学习中的缺失随机效应。 |
| 这是我和同事 Joe Young 一起在陶氏化学公司工作时的想法，我们都在韩国从事研发工作，帮助我们了解有效开发新工艺，尤其是新产品。 |
| 您在此屏幕上看到的是一个大宾果笼，因为我们在此讨论的是模拟，并且模拟至少对我来说有很多关系。 |
| 宾果游戏的情况是，因为你决定了大场合中球和数字的分布，所以你只需继续随心所欲地挑选它们。好的。 |
| 这次谈话也与出版有关，我们刚才说了。 |
| 最近，同名的，你可以赢得你应该可以访问这个演示文稿的东西，你可以点击这里，你就可以访问整个论文。所以这里只是我们在那里发表的内容的摘要。 |
| 好的，这是什么背景？首先，机器学习对于了解事物会话具有一种即插即用的吸引力。 |
| 我知道你不必假设任何有吸引力的东西。此外，现在市面上有非常用户友好的软件。所以，你知道，现在人们喜欢这样做。 |
| 然而，你知道，随机效应无处不在，运行这些效应是一件有趣的事情，因为它是一个稍微复杂一点的概念。所以它往往不是 |
| 接触基础统计学课程会让人了解更高级的学科。因此，你会发现很多人在进行机器学习时，对随机效应并不太了解。 |
| 即使他们有这样的理解，那么随机事实的概念 |
| 你知道，这仍然不会给从事机器学习的人带来激烈的争论，因为只有少数算法可以使用随机效应来做到这一点。 |
| 你可以在这里查看这些参考资料，你会看到有一些树和随机森林，它可以接受它，但最近它们并没有传播 |
| 无处不在。因此，你将很难找到可以处理机器学习中随机效应的东西。 |
| 简单谈谈随机效应。正如你在这里看到的，至少在我所在的化学工业中是这样。我们通常会混合三种成分。对。黄色、红色和绿色。 |
| 我们让这些成分的百分比处于不同的水平。然后，我们用特定的设备测量这些成分的百分比变化，有时甚至有操作员或实验室技术人员来测量。 |
| 还要干扰你想要看到的结果。好的。然后当我们做这种实验时，我们想要概括，这就是发现，对吧，或者任何预测。我们正试图到达这里。 |
| 但问题是，你知道我什么时候在这里混合这些绿色成分。如果我下次从供应我这种绿色成分的供应商那里购买 |
| 你知道，绿色的色调非常浓烈，我不知道下次我购买这种绿色成分时，批次是怎样的。供应商给我的绿色会完全相同，因为供应存在差异 |
| 最重要的是，你知道我可能会根据自己的经验使用某种设备。但如果我去我的实验室看看，或者如果我去其他实验室看看，我可能会有不同品牌的设备。 |
| 最重要的是。你知道，也许食物的测量取决于操作者，所以你也可能干扰我的 |
| 预测我的概括 |
| 做任何我想预测的事情 |
| 我猜这是化学工业中最典型的情况，即实验批次的变异性 |
| 如果您一遍又一遍地重复同一件事，就会随着时间的推移而增加。 |
| 假设你在这里进行一个实验，你得到了你的模型，你的模型可以预测一些事情，但是然后你重复该实验以得到另一个 Malden 模型，得到另一个模型这三个模型的预测。 |
| 现在可能有很大不同。尼克明白。所以，还有时间因素。 |
| 那么我在这里谈论的问题是什么呢？嗯，通常我们存储的数据和历史数据，也就是你过去所做的一些数据的集合。 |
| 人们并没有太在意推广这个结果。这是他们进行实验时的结果。因此，当我们收集它们并称之为历史数据时，我们可能有也可能没有随机效应的标签，对吧。 |
| 然后，如果你有文字，至少这是我的出处。这更像是规则的一个例外，即对我而言没有税收，至少不是对所有事实都一样。 |
| 假设你有标签。你可以做的一件事是使用机器学习技术来处理这些随机效应，并将它们引入模型。就这样。你不会遇到问题。 |
| 但是，正如我所说，机器学习技术并不是很好，可以阻止随机效应。你可能会想使用机器学习。 |
| 让随机效应进入模型，就好像它们是固定的一样，然后你会遇到这些众所周知的问题，你应该把随机效应当作固定的 |
| 只是说一件事，你将很难预测任何新的一切，因为，例如，如果你的随机效应是欧洲的，那么你只有几个 |
| 数据中的操作员，对，有几个名字，但如果有新的操作员在工作，你就不知道了。你无法预测这个新操作员的影响。所以，这里没有交易 |
| 然后有一件事你可以做。你应该做。你应该有或不应该有税收收入，我们再次牺牲了任何机器学习技术。 |
| 如果你有随机性，你应该有标签，你可以忽略随机效果，或者如果你没有。不管你喜欢与否，你都会忽略它。所以我想做的是少模拟射击游戏。我们使用跳绳钓鱼。 |
| 你知道，我希望你对结果感到满意。 |
| 基本上就是模拟。所以我将使用混合效应模型，其中有固定效应和随机效应。然后我们使用相同的模型来估计 |
| 对此做出响应，在我模拟并建模之后，我使用神经网络模拟的结果 |
| 然后我们将这里的这个模型用作这里这个模型的预测性能。 |
| 作为基准，我们用它来预测边缘附近的性能，你知道，稍后比较他们采用的测试集是正方形，看看会发生什么。你会发现这里符合随机效应，对吧。 |
| 那么，好吧。有时当我谈论这些时，人们有时会认为我在比较线性混合效应模型与机器学习神经网络。但事实并非如此，你知道，我们在这里比较的是具有和不具有随机效应的模型。 |
| 即使数据中存在随机效应。我也能做到。例如， |
| 具有运行效果的线性模型与不具有运行效果的线性模型。 |
| 我可以做一个有随机效应的神经网络，而不是没有随机效应的神经网络。但问题是，今天没有奇迹，例如，它可以处理随机效应。所以我被迫使用。例如，所有线性混合效应 |
| 我的模拟因素。好吧，我将使用行业中常见的因素，即过程变量模型的混合。 |
| 假设我有这三种成分。我之前向你展示过。知道黄色、红色、绿色，它们各占一定百分比，并且它们达到 1。 |
| 有一个连续变量，例如温度。我有一个分类变量，可以是资本主义类型，还有一个随机效应，在不同的实验批次之间可能会非常难看。好的。 |
| 模拟模型。嗯，这是一个非常简单的模型，我这里有混合主效应 M 一 M 二和三。对。你会看到，整个模型中，固定效应都有 1 或 -1。我只是随机地为它们分配了 1 -1。 |
| 所以我得到了混合主效应。这里我有混合双向相互作用，混合相互作用将是连续变量。 |
| 以及分类变量与成分的相互作用。最后，引入连续变量与分类变量。 |
| 另外，我有这些，为什么我们在这里选择我的随机效应和 Ej，即我的随机误差。对。两者都呈正态分布，这里有一定的方差。我说的是，实验之间更好的方差，对，并且使用实验批次匹配内的散度。 |
| 从整个演示来看，只是为了使整个公式代表形成一个更简洁的方式，或者使用这种形式，英雄 X 实际上代表了所有的修复效果和测试版 |
| 代表我使用的所有参数。对。这里是我的为什么。实际上，这是预期。为什么实际上是 XP 对的，这是整个事情，没有我的随机效应，我们处理了我的雷诺市长。 |
| 模拟参数。好吧，我这里有一个数据大小，对，就是她所说的那个。如果我没有那么多数据，会发生什么？ |
| 这里有更多数据层和更多数据，我有两个级别，每组实验有 110,000 个角色，实际上有 20 行而不是 200 行，效果更完美。我要改变的另一件事是 D 决定集群的徽章，无论您喜欢它。 |
| 有时是这样的。我有两个级别，分别是 4% 和 25%，所以 4% 意味着如果我有 100 卷这样的一批经验，我们将会 |
| 实际上将用于角色。所以我将有 2525 个批次。如果我总共有 100 卷，我的批次大小为 25%，我只有四个批次。 |
| 那么我们在这里改变的另一个变量就是总方差。对的。 |
| 嗯，我们这里有两个水平，1.5，2.5 是效果大小的一半，可以选择。所以这里的公式。对于固定效应，它都是 1。 |
| 另一个是写下总方差，这个总方差是批次间方差和批次内方差的总和。对。最后，我要改变的另一件事是批次内两个方差的比率 |
| 类似片段。对。所以我有 1 和 4。所以在 1 中我的 |
| 批次之间的差异将等于获胜，而另一个差异将比获胜大四倍 |
| 然后，一旦我安顿下来， |
| 这里有四个因子。我说的是参数，然后你做一个全因子分析，我们是否进行了 16 次运行 |
| 对于两个级别的数据大小、两个级别的批次大小、两个级别的总方差，Angelo 的是沙漠。 |
| 这样，我就可以相应地计算出段内段之间的距离。对。这就是模拟的设置。好的。现在，我称之为模拟超参数，因为你可以根据需要进行更改 |
| 我会做什么，我会在演示中向你展示。我们会运行 30 次模拟风险。因此，我所做的是，每个 16 次都运行 30 次。对。例如， |
| 我将进行 123 次模拟运行，直至达到肮脏程度，并进行固定效果。难度效果的级别。我使用空间感设计。 |
| 我使用这种空间填充设计的原因是，我不想混淆缺失当时的效果与可能有一些慈善或稀疏数据的事实。 |
| 这是历史数据中的典型现象。对。我不想让它成为我的阻碍。我想要，我更喜欢设计和空间感设计，我们传播 |
| 输入空间中固定效应的水平。因此，如果我摆脱了稀疏命中数据的问题或清除了奇异性，然后我们在第一轮中随机分配批次交叉运行，然后使用相同的 |
| 对其余 29 次运行进行排序。因此，所有运行都具有相同的位置批次。 |
| 晚些时候。最后，圣诞老人的位置在每次模拟运行中都是随机的。所以让我从空中跳起来。 |
| 所以他会做的是，我过去常做我们特殊目的的溢出设计。我会在这里加载我的因子，因为我想在这里快速运行。所以无论如何，这里有我的 12345 个固定效果。 |
| 空间感设计不接受变量的混合。因此你需要设置 |
| 这里的线性约束只是为了告诉大家这三个人，他们加起来要等于一。这就是我要在这里做的。 |
| 好吧。 |
| 因此，满足该约束将给出此 d 的第一次运行的示例，其中我的数据大小为 100，相对批次大小为 4% |
| 总变异总方差为 0.5，比率为 1。因此，如果我回到这里并需要输入，我需要生成 100 次运行。此外，如果我想复制这个理论，你必须正确设置随机种子和起始次数 |
| 那么当我说约束时，我唯一的选择就是更快、更灵活的填充设计。现在我得到了这个表格，所以你可以包括这个表格。 |
| 您会发现，如果您使用三元组块并使用三个组件，您会发现一切都散开了。哎呀。 |
| 我有一个问题，她 |
| 没有 |
| 让我回头看看。约束有问题，是的。我忘了这里还有这个。是的。 |
| 好吧，我们重新开始吧。百 |
| 放 |
| 随机座位 21234 |
| 数字开始。太好了。 |
| 下一本书感觉做表格。是的。然后我只需要检查它是否全部展开。 |
| 然后找出答案。是的。好的，然后我在这里查看我的分类变量。我想看看它是否适用于所有变量。正如您所看到的，这是一和二。太好了。现在我说让我结束所有这些，我们进行 30 次模拟。所以这是一次模拟，对吧。我有 100 个角色。 |
| 但现在我需要做 30 个。所以我要做的是在这里添加角色。 |
| 2900 |
| 在最后 |
| 我们只选择前 1000 次运行，对不起，100 次运行所有变量，一年。 |
| 然后摸到桌子的末端。太棒了。现在我重复同样的设计 30 次吧 |
| 现在， |
| 为了加快速度，只需打开即可。不过我再次使用这张表。只需使用另一张表，其中我已经设置好了我想要显示的所有内容。 |
| 是的，我回到这个表，我所拥有的。接下来我要做的就是在这里创建一个模拟列，只是为了告诉 |
| 用这个公式。我可以得出模拟最多 100 行，然后每 100 行更改一次模拟数字。所以最后我显然得到了 30 个模拟，每 100 次投掷。每个伟大的 |
| 然后是批次位置，只是为了解释他们做了什么。我刚刚在 PowerPoint 中展示了这一点。我有一个农场。现在你将创建两个批次，每个批次的大小为总数据大小的 4%，这意味着我这里每个批次有四行，而不是四行，依此类推。一旦 |
| 我在这里达到 100，然后从模拟跳转。想模拟然后一切重新开始。对。所以我在一天结束时。 |
| 全部 25 批都在这里。好的。 |
| 然后我要做的下一件事是创建我的验证 |
| 列，这意味着我需要将集合拆分成 |
| 回到这个演示。回到这里的 PowerPoint，你会看到，对于我将要创建的解决方案，但我拥有的神经元 |
| 划分角色，其中 60% 属于训练集，20% 属于验证集，其余 22 个属于测试集。那么在这种情况下我该怎么做呢？再回到约翰的问题 |
| 好了。让我把这个藏起来 |
| 好的，下面是验证。我该怎么做。它已经存在，但不要解释你怎么做，你去分析 |
| 使验证列你使用的模拟列有一个认证，你去然后你只需做 |
| 点 6.5 2.2 和一个用户在这里的随机种子只是为了确保你看到这就是我创建该列的方式 |
| 然后我回到这里的演讲。 |
| 所有 60% 的数据都属于新年的训练集，而那 10% 到 20% |
| 对于近网络来说，也属于验证集。现在它们都属于混合效应的建模集。所以是混合效应。 |
| 模型，不会有验证。我们只是用这个 80% 估计模型，混合效应解决方案的测试集将与我新年在该解决方案上使用的 20% 相同。所以在这种情况下，我回到跳转并 |
| 点击此处 |
| 很高兴听到这样的公式：零表示神经网络的验证，零表示训练，所以训练仍然是训练。 |
| 一个是验证设置，将是我的建模设置，另一个是我的测试集，这也是我的测试集。所以我创建了这些，然后你 |
| 所有标签的列名零表示建模，一表示桌子，这样您就可以在这里看到他在这里所说的任何藏在这里的东西，但您正在努力验证的东西就变成了建模，最后我需要为我的回应设置公式。 |
| 因此，对于我的模拟的预期值。我只需要在这里固定效应公式，这里没有随机项。好的。这就是我的预期值，我的妻子和我的妻子 ij 将为 |
| 这个，你看一下公式，y 是我的预期值，加上这里我有一个生成公式 |
| 随机 |
| 值服从均值为零且介于 sigma sigma 之间的正态分布 |
| 在 sigma 之间。这里将其设置为变量并设置为表变量是很好的，因为我可以在一周后更改该值，而无需使用公式。但无论如何，每次更改批次号时，这都会生成一个值。所以如果我的批次是 |
| 这里，它将是相同的值，当我将其更改为 22 时，它会创建另一个值。 |
| 当我从一个模拟切换到另一个模拟时，我会为每个模拟批次设置一个值，然后当我跳转到模拟批次 1 时，它会创建另一个值。 |
| 对。这只是我在这里的表格中设置的 sigma 的正常随机数，对吧。所以看看我们运行的交易的复制，我有 sigma 05 和 05 |
| 好的，那么现在我已经有了混合效果模型模拟的解决方案，让我回到这里向你展示我正在做的事情。 |
| 例如，对于混合效果模型。我的模拟模式是这样的，但我的脚模型将是问题，可能是分析是帽子。 |
| 我的小公司将被黑客入侵，对吧。因此，我们的海滩要满足我模拟的任何值 |
| 然后在混合效应模型中。我必须少一个预测模型。一个是当我使用时拟合条件模型 |
| 我对随机效应的估计，另一个是当我不这样做时我的边际。对。所以我有这两种类型的模型。 |
| 这对于预测数据中已有的内容非常有用。这是我在没有完整数据集的情况下用来预测数据的方法，对吧。 |
| 对于新的一年，我正在使用一种标准默认的接近和结束并跳跃，你知道我不只是使用它，因为它很困难，因为他几乎可以正常工作。 |
| 这里有全部五个固定效应。我使用一个包含三个节点的层，所有节点都是双曲正切函数，如你所见 |
| 然后这里有一个叫做 hx 的函数，它是区域函数的总和，加上这里的偏差项，对吧。 |
| 所以如果我添加更多节点，情况也不会变得更好。你会发现只使用两个节点会变得更糟。所以我要全面使用它。这就是我要在这里向你展示的。 |
| 我的节目。哎呀。好吧。 |
| 展示。 |
| 我回到你身边。所以 |
| 这里有我的 |
| 混合效应模型解决方案。我是怎么想出来的。只是给你展示一下。我这里有一个响应，我通过模拟对混合效应进行了验证。 |
| 我一年中的所有固定效应和随机效应都是我的批次，然后是遗传，这是第一个模拟。你看到第一个模拟，它一直到模拟土耳其，对吧 |
| 例如，我不能在这里使用模拟跳转函数，因为我正在更改每个批次的验证列，所以我不能，至少我不知道如何做到这一点，如何将验证列合并到公式中 |
| 我白G。 |
| 好的。所以，哎呀，回到这里，现在我这里有另一个脚本，你需要一点时间 |
| 应该不是什么大问题。 |
| 当我做例子的时候。 |
| 运行运行。我们每次模拟有 1000 行，可以采用所有时间的课程，例如 10 到 15 分钟 |
| 在这里同时进行听觉模拟应该会带来一些 |
| 和 |
| 就这样。 |
| 好的，我再说一遍，如果你看，它们每一个都有五个三个音符，对吧，你有模拟 1 一直到模拟 30 |
| 好的。现在我已经完成了我今年第一次跑步的所有工作，所以接下来我需要了解的是我们的方块类型。我要比较一下 |
| 这里有五种类型的平方，对吧，所以这是 r 平方公式。为什么我要在这里按类型区分 r 平方，因为这取决于你在这个公式中使用实际值还是预测值。 |
| 你知道你的平方变化。例如，我这里有。哦，这些是 r 平方或比较 |
| 例如，Rosa 正在转换训练集。我模拟的与我在这里得到的神经网络形式不同，因为当你进入它时。你知道，这实际上是 |
| 例如，在所有这三个中，情况都是一样的，因为我在比较我的妻子，我的妻子的帽子是一样的。所以我有第八种类型，对吧 |
| 然后我有另一种类型，称为类型 be，我比较它。我不比较模拟值与 |
| 随机误差项中的随机效应我正在比较模拟的预期值与它们的形式 |
| 因此，这些使我发送到测试集的规则始终相同，就像您计算 r 平方的方式将会改变一样，因为在这里这样。 |
| 当我有所谓的条件测试集时，我可以看到父母未来的表现，因为这正是我们在任何数据集中得到的结果，因为我们无法分辨真正的 |
| 我们没有真正的模型，你需要模拟，然后你有预期的测试集，这实际上是相同的玫瑰，但现在我正在比较 |
| 预期值。我可以说，虽然找不到更好的词，但这是真正的未来表现。因此，表面上的表现不一定是真正的未来表现。好的。 |
| 对于混合效应模型来说也是一样。现在我有另一种类型的 r 平方，因为在这里我要比较模拟值与我的 |
| 这里是条件预测农田，使用估计值来预测随机效应，但是当我想预测未来时。所以，没有人打破这里的测试集，我这里有另一个方块d，它比较整个模拟值 |
| 为什么 ij 与我的边际模型相反。我没有在这里使用 be，Leslie 有第五种类型的正方形，这是我的预期 |
| 再次强调，测试集始终是相同的角色，只是我在这里使用。现在，预期值与我的边际。很多。所以问题是 |
| 如果你不小心的话，你可能会计算出错误的 r 平方。 |
| 所以我做的是，无论何时我在这里。如果我必须混合效果模式。我不会使用此报告中的任何内容，我所做的就是保存我保存的列 |
| 边际模型右边预测农场在这里你已经保存了条件模型的预测公式，我将用这个无形的列创建混合效应模型。现在对于 |
| 在那里，或者您也可以保存公式。我喜欢说快速公式，因为我只想计算平方。所以我保存了快速公式，然后当我在这里创建这五列时，您会看到什么。 |
| 好吧，那么让我去找他们吧。 |
| 现在我的 A 型，如果你还记得台北的演示，我正在比较该模型中模拟的为什么 ij 与我的近距离。所以我在这里做的。抱歉，我在这里做的是 |
| 我去给他们打电话，你在这里看到。预测什么，预测 dy AJ |
| 好的，就是这样。现在我这里有拯救德尼罗的钱，而他的两倍价值等于这个价值。 |
| 但现在我只需要改变这里的预测。这是预测预期值。对，这样我就可以使用这个公式来发挥作用，跳转到这里，这是模型比较，我可以使用这种类型 A，我确实购买了模拟，我通过验证成长起来 |
| 然后你得到的就是你需要的所有 Dr 方块 |
| 从 |
| 从模拟一 |
| 全部到模拟 30，然后你就可以设置它，这样你以后就可以合并数据表，然后你就可以得到一切了，对吧，因为那些是正方形。所以对于其他的，我也有脚本，例如 |
| 他是和平公式。现在就这一列，我只预测了测试集的 r 平方，而不是建模的 r 平方，也不是验证集的 r 平方。所以是模拟。一年就是一年。 |
| 然后，如果您一直往下走，您就会得到 30 个模拟。同样，您总是可以组合数据表，并且您的数据会以相同的表格格式显示出来，因为所有这些都是正方形。 |
| 丹尼尔，显然我可以在这里为同火类型方块准备另一个脚本，我们选择混合效应模型的建模集，然后将模拟一直设置为现代，设置为模拟 30，然后执行相同的操作。 |
| 现在看看测试集，但现在我要预测为什么 ij，对吧。所以，这里的秘密是，有时在湖里也会有一个。这里我再次使用相同的公式，因为它是我的边际模型 |
| 混合效应模型解决方案。唯一改变的是您的列中的内容。确保您已经预测了什么，然后您可以使用它来计算所有这些是平方。 |
| 好的。 |
| 让我回到演示，现在我已经把所有这些正方形放在一起，你可以把表格堆叠起来，然后你就可以进行可视化，你想要 |
| 但在这里我真正感兴趣的是这两个解决方案的条件测试集和预期，你知道，我可以花 45 分钟来讨论这里的表格显示。 |
| 但我并不是真的对 r 平方的绝对值感兴趣，而是更关心如何比较我们的平方 |
| 但我需要几天时间来检查一件事，正如你在这里看到的数据大小，正如你在这里看到的 |
| 他们在这里使用指针。让它更容易。我有所有的正方形。我在这里创建了所有你做的因素。对。 |
| 所以你看，当我有一个小的数据集时，会发生什么呢？我是我的近邻，而且由于我的训练，它正在被正确地训练。 |
| 我的验证集有点像重叠的平方分布。但是当你查看条件测试集时，它实际上是我们始终拥有正确的数据，因为我们从来没有预期值。 |
| 当我有这个小数据集时，它总是处于较低的水平，正如你所看到的，但是当我有更大的数据集时。 |
| 1000 个角色的情况有所不同，然后它们都对齐了，你知道，有点重叠。所以我确实正确地训练了它们。同样，这里的平方的绝对值并没有引起太大的兴趣，他们真正关心的是，如果你回到 |
| 这是之前幻灯片中的一张，您看，现在我想比较一下。您看，我必须比较一下我的基准混合效应模型与我的神经网络的预测性能，以测试那个黑色方块，对吧。所以，这就是您得到的。 |
| 让我拿这个模具。所以你在这里得到的是所有的动词。我必须做我们，以及他们是否 |
| 疾病和您的净解决方案或没有混合效果解决方案。因此，您会看到条件测试集，这是性能的一部分。因此，如果您处于其中，您总是知道数据量何时较小。 |
| 混合效果马耳他总是在这里做得更好，当你包括 |
| 随机效应与那时的你相反，那是因为总是有这个 |
| 它们的中位数甚至平均值都较高，但是当你有更大的数据集时，那么 |
| 您知道，在某种程度上，这种差异已经不复存在，即使是新产品也能做得更好，但这就是当前的表现。 |
| 现在来看看真正的问题。你现在看到，混合效应模型比契约与互联网相比表现得更好 |
| 这里不再有任何依据，因为归根结底，这是直接效应模型。他做得更好，尤其是在大数据更大的数据这个场景中。 |
| 最后的集合或变化以及更多在 den 和邀请之间，现在找到我在这里要做的那些线，这将在每次模拟运行中执行，这将在混合效果之间产生差异。 |
| R 平方与新年的比较，结果是平方。所以，我们开始吧。 |
| 这里我有四张图，所以让我们只集中一张，y 轴上是空调平方。然后混合减去空调平方的差值，对不起， |
| 混合效应 r 平方减去，然后您就处于该平方中。所以，这就是您在这里得到的结果，这就是模式与未来表现之间的差异。 |
| 在 x 轴上，我们看到的是预期 R 平方的差异，我们选择的是未来实际表现，对吧，或者说偏差。如果你想 |
| 现在我有四个区块。为什么？因为如果你考虑一下，当你有历史数据而你没有技术的时候，你知道， |
| 你知道，如果你正在分析数据，你可能只能控制两件事，即数据大小和相对批次大小。 |
| 为什么？因为你无法控制数据中的变异性。如果你的随机效应比你的随机空气大得多。所以你唯一能做的就是 |
| 对数据大小和相对批次大小进行控制。如果您没有标签，您至少可以知道是否使用历史数据。 |
| 应该由很多很多卧室组成，只有一两个。对。这就是你所拥有的控制权 |
| 当您有统计数据时，您至少可以对批次大小有一个了解。 |
| 因此，我在这里再次进行比较，我发现明显的性能问题存在差异，只是差异是积极的，这意味着混合效应模型具有更好的性能。 |
| 如果这里的差异也是正的，那就意味着混合效应会带来更好的未来表现，对吧。 |
| 正如你在这里看到的，当你拥有一个小数据集时，你做什么都不重要。 |
| 混合效应模型具有更好的性能，有时会好得多，因为谈到 R 平方的差异，其可能远远超过 1。 |
| 是的，所以他的表现比你想象的要好得多。所以当数据量很小的时候，实际上没有 |
| 不，这里没有解决方案。但是，当你查看数据大小时，数据量更大，但当你有这么小的批次时，情况就不同了。对。 |
| 这里发生了一些有趣的事情，因为在这里你知道足够的资金与未来表现的差异 Y 轴是负的，大多数都是。 |
| 这意味着在测试集解放广场的专利方面做得更好，对吗？或者有条件的 |
| 触摸那个黑色方块。所以，当你这样做的时候。谁会看起来像新的尿液。那将是很棒的工作，比 |
| 混合效应模型。但是，当你查看 x 轴的很多部分时，也就是实际未来表现的差异，它可能会非常具有误导性。 |
| 好的，所以当您有大量数据，但只有几个批次时，您就会得到很好的测试，测试集是正方形。但是当您将来尝试部署模型时。 |
| 你可能会遇到麻烦。但是当你看到这里时。这里我们有一个缓解情况，你有很多数据和很多批次。所以它们往往没有太大的不同。对，所以 |
| 总之，当数据集较小时，您应该使用不可忽略的随机效应机器学习，您知道，测试集预测性能很可能会很差。 |
| 不管你有多少个批次集群。这是因为机器学习需要最小的数据量才能成功。对。所以没有 |
| 这里没有办法取胜。现在，当数据量很大时，您只有几个集群。这是一种误导性的情况，因为您的测试集预测性能可能很好，但当您部署模型时，性能可能会更好。 |
| 有些人告诉我，那你为什么不使用正则化呢？即使你会，你也不会在这些情况下这样做，因为 |
| 你的测试集 R 平方可能会很好，但你不知道你需要它，所以你无法判断 |
| 只要看看你在黑色方块中的测试或者某些类型的错误，你就能知道你未来的长期表现如何。 |
| 但是当你的数据集很大时，你就会有很多聚类，整个情况就会得到缓解，更接近平均值的偏差效应就会消失，因为你知道，每个随机效应都是所有这些效应的总和。 |
| 这是零。所以你得到的最新信息越多，你就能得到 |
| 首先，我想说的是，我从中学到的是，当数据不是经过精心设计的，有两件事我永远记得 |
| 机器领域不能仅仅因为数据量大就处理数据。你必须有最低限度的设计才能让它发挥作用。 |
| 但数据越大，数据中存在的最低限度的设计水平就越有可能纯属偶然。好的。如果您想要联系我们，谢谢。我们是跳跃社区的成员。这些是我们的地址。谢谢。 |
