扬声器 | 成绩单 |
| 法比奥·德奥塔维亚诺 | 好的,谢谢大家在这里观看这个视频。 好吧,因为你可以看到,我将谈论机器学习中缺失的随机效应。 |
| 这是与我的同事 Joe Young 一起工作的想法,我们都在陶氏化学公司工作,在韩国工作,帮助您了解有效开发新工艺,主要是新产品。 |
| 你在这个屏幕上看到的是一个大宾果笼,因为我们在这里的谈话将是关于模拟和模拟至少对我来说有很多事情要做。 |
| 对于宾果游戏,因为您决定了在大型场合中球和数字的分配,然后您就可以随心所欲地挑选它们。 好的。 |
| 这个谈话也跟出版有关,我们刚才说了。 |
| 最近,什么同名的,你可以赢得你应该访问此演示文稿的内容,你只需单击此处即可访问整篇论文。 所以这里只是对我们在那里发表的内容的总结。 |
| 好的,这是什么背景。 好吧,首先,机器学习对知识会话有一种即插即用的吸引力。 |
| 我知道你不必假设任何有吸引力的东西。 此外,这些天你有一个非常用户友好的软件。 所以,你知道,现在人们喜欢这样做。 |
| 但是,您知道,随机效果无处不在,运行这些效果是一件有趣的事情,因为它是一个稍微复杂一点的概念。 所以它往往不是 |
| 触摸基础统计课程显示更高级的主题。 所以你会得到很多人在没有对随机效应有太多了解的情况下进行机器学习。 |
| 即使他们有这种理解,那么随机事实的概念 |
| 你知道,仍然没有引起人们对机器学习的大声疾呼,因为只有少数算法可以使用随机效应来做到这一点。 |
| 你可以在这里查看这些参考资料,在那里你看到有一些树木和随机森林,它可以接受,但最近它们并没有,你知道,传播 |
| 到处。 所以你将很难找到可以处理机器学习中随机效应的东西。 |
| 只谈一点随机效应。 正如您在这里看到的,至少在我来自的化学工业中是这样。 我们通常混在一起。 我说三个组成部分。 正确的。 这些黄色、红色和绿色。 |
| 我们,你知道,我们将这些组件中的每一个的百分比设置为不同级别。 然后我们测量了我们改变它时的响应,这些组件与特定设备的百分比,有时你甚至有操作员或实验室技术人员会 |
| 也干扰你想看到的结果。 好的。 然后,当我们进行此类实验时,我们想要概括的是,正确的发现或任何预测。 我们正在努力到达这里。 |
| 但问题是你知道我什么时候在这里混合这些绿色成分。 如果我下次从供应我这个绿色组件年的供应商那里购买 |
| 绿色的阴影,你知道,非常,我不知道下次我购买这个绿色组件时是什么批次。 那是供应商给我的是完全相同的绿色吗,因为供应存在差异 |
| 最重要的是,您知道我可能会根据您使用某种设备的经验。 但是如果我去我的实验室四处看看,或者如果我在其他实验室四处看看,我可能会有不同品牌的这些设备。 |
| 在上面。 你也有,你知道的,也许食物的测量取决于正确地做这件事的操作员,所以你也可能会干扰并且有点使我的贫困 |
| 在这里预测我的概括 |
| 除了在这里做我想预测的任何事情 |
| 这是化工行业我猜的最典型的,就是实验 实验批次可变性 |
| 如果你一遍又一遍地重复同样的事情,时间就会过去。 |
| 假设你在这里做了一个实验,你得到了你的模型,你的模型可以预测一些东西,但是你重复那个实验,让另一个 Malden 得到另一个模型,这三个模型的预测。 |
| 现在可能有很大不同。 尼克清晰可辨。 所以,还有时间的成分。 |
| 那么我在这里谈论的问题是什么。 好吧,通常你我们已经存储了数据和历史数据,你知道,你知道的,你过去所做的一些数据的集合。 |
| 人们并不太关心推广该结果。 当时他们做那个实验的结果。 所以当我们收集它们并将其称为历史数据时,我们可能有也可能没有随机效应的标签,对吧。 |
| 然后,如果您有文字,那至少是我来自的地方。 这更像是一个例外,规则是对我的事实不征税,至少不是对所有事实征税。 |
| 假设您有标签。 您可以做的一件事是使用可以处理这些随机效应的机器学习技术,将它们引导到模型中。 就是这样。 你没有问题。 |
| 但是,正如我所说,麻木的机器学习技术并不能很好地阻碍随机效应。 您可能想使用机器学习。 |
| 让随机效应进入模型,就好像它们是固定的一样,然后你会遇到这些你知道的众所周知的问题,你应该把随机效应当作这个固定的 |
| 只是说一件事,你将很难预测任何新的一切,因为,例如,如果你的随机效应是欧洲的,你只有几个 |
| 您的数据中的操作员,对,有几个名字,但是如果有新的操作员在做几天,您就不会。 您无法预测这个新运算符的效果。 所以,这里没有交易 |
| 然后你可以做一件事。 你做。 你应该有或你不应该有税收我们再次牺牲给我们任何机器学习技术。 |
| 如果你有随机的,你应该有你忽略随机效应的标签,或者如果你没有。 无论如何,您将忽略它。 不管你喜不喜欢。 所以我想做的是少模拟射击游戏。 我们使用跳绳钓鱼。 |
| 你知道,我希望你喜欢结果。 |
| 模拟,基本上。 因此,我将使用具有固定效应和随机效应的混合效应模型。 然后我们使用相同的模型来估计 |
| 有了响应这个做模型之后我模拟也建模,我这里用神经网络模拟的结果对 |
| 那么我们这里用这个模型作为这里这个模型的预测性能。 |
| 作为基准,我们用它来预测边缘附近的性能,你知道,稍后比较他们将他们的测试集设为正方形,看看会发生什么。 你发现这里符合随机效应,对吧。 |
| 那么好吧。 有时,当我谈论这些人时,有时我会认为我是在将线性混合效应模型与机器学习神经网络进行比较。 事实并非如此,你知道,我们在这里比较有随机效应和没有随机效应的模型。 |
| 即使数据中存在随机效应。 我可以。 例如,一个 |
| 具有运行效果的线性模型与不带效果的线性模型。 |
| 我可以做一个有随机效应的神经网络,而不是没有随机效应的尿液。 但问题是,今天毫无疑问,例如,可以处理随机效应。 所以我强行使用了。 例如,所有的线性混合效应 |
| 我的模拟因素。 好吧,我将使用行业中典型的东西,它是过程变量模型的混合体。 |
| 假设我有这三个组件。 我之前给你看过。 知道黄色、红色、绿色,他们有一定的百分比,他们达到了 1。 |
| 有一个连续变量,例如,可以是温度。 我有一个可以是资本主义类型的分类变量,我有一个随机效应,从一批到另一批实验可能非常丑陋。 好的。 |
| 仿真模型。 好吧,这是一个非常简单的,我在这里有我的混合主要效果 M 1 M 2 和 3。 正确的。 您会在整个模型中看到固定效应都为 1 或负 1。 我只是随机给他们分配了一减一。 |
| 所以我有混合主效应。 在这里,我有两种方式的混合物相互作用,混合物的相互作用将是连续变量。 |
| 以及分类变量与成分的相互作用。 最后,引入连续变量和分类变量。 |
| 另外我有这些,为什么我们在这里选择我的随机效应和 Ej,这是我的随机误差。 正确的。 并且两者都服从正态分布,这里有一定的方差。 我说过,更好的实验之间的方差,对,并且在实验批次的匹配中使用差异。 |
| 从整个演示文稿来看,只是为了让整个公式代表一种形式,我说的更简洁,或者使用这种形式,英雄 X 实际上代表所有修复效果和测试版 |
| 代表我使用的所有参数。 正确的。 我为什么在这里。 其实,意料之中。 为什么实际上 XP 是正确的,它是整个事情,没有我在这里的随机影响,我们处理了我的雷诺市长。 |
| 仿真参数。 好吧,我这里有一个是数据大小,对,就是她的那个。 如果我没有那么多数据会发生什么 |
| 更多的数据层和更多的数据在这里我有两个级别 110,000 个角色在每组实验中实际上有 20 行比 200 行完美效果。 我要改变的另一件事是 D 决定集群的徽章,无论您喜欢什么。 |
| 有时会。 它是,我有两个级别 4% 和 25% 所以 4% 意味着如果我有 100 卷这些一批经验,我们将 |
| 实际上是为了角色。 所以我将有 2525 个批次。 如果我的批次大小总共有 100 卷 25%,而我只有四批。 |
| 然后我们在这里改变的另一个变量将是总方差。 正确的。 |
| 好吧,我们这里有两个级别,点,5 和 2.5 是效果大小的一半可供选择。 所以这里的公式。 都是固定效果的。 |
| 另一个是写这个总方差的总和是我的批次之间和批次内方差的总和。 正确的。 最后,我要改变的另一件事是两者之间的比例非常 |
| 相似的片段。 正确的。 所以我有一个和四个。 所以在我的一个 |
| 批次之间的差异将等于获胜,而另一个将比获胜大四倍 |
| 然后,一旦我安顿下来是为了 |
| 这里有四个因素。 我说参数,然后你做一个全阶乘,我们有 16 次运行吗? |
| 两个级别的数据大小 两个级别的批量大小 两个级别的总方差 Angelo's 是沙漠。 |
| 有了它,我可以相应地在段内计算它。 正确的。 这就是模拟设置。 好的。 现在,我称之为模拟超参数,因为你可以像我们一样改变 |
| 我会做什么,我会在演示中向您展示。 这将是 30 个模拟风险,或者我们运行。 所以我所做的 16 次中的每一次都是每次跑 30 次。 正确的。 所以,例如, |
| 我将模拟运行 123 直到脏和固定效果。 的,难度级别的影响。 我用的是空间感设计。 |
| 我之所以使用这种空间填充设计,是因为不想混淆那里缺失的影响,然后影响可能我有一些调用慈善或稀疏数据的事实。 |
| 这是历史数据中的典型事物。 正确的。 我不想在我的过程中出现这种情况。 我想,我更喜欢我们传播的设计和空间感设计 |
| 输入空间中固定效应的水平。 因此,如果我摆脱了稀疏命中数据的问题或清理了奇怪的权利,然后我们将分配给批次,我们随机化批次,在第一轮中交叉运行,然后使用相同的批次 |
| 所有其他 29 次运行的序列。 所以所有的运行,我们有同一批的位置。 |
| 在晚。 最后,所有圣诞老人的位置都将在每次模拟运行中随机化。 所以让我离开空中开始跳跃。 |
| 所以他会做的是,我曾经做过我们特殊目的的溢出设计。 我会在这里加载我的因素只是因为我想在这里快点。 所以无论如何,这里有我的 12345 固定效果。 |
| 空间感设计不接受变量的混合。 所以你需要设置 |
| 这里的线性约束只是为了告诉你看看这三个人,需要加起来为一个。 这就是我要做的。 |
| 好吧。 |
| 因此,满足该约束将给出此 d 的第一次运行的示例,这是我的数据大小 100 相对批量大小 4% |
| 总变异总变异点五,比率将是一。 因此,如果我回到这里并需要放置,我需要生成 100 次运行。 另外,如果我想复制这个理论,你必须正确设置随机种子和开始次数 |
| 那么当我说约束时,我唯一的选择就是快速灵活的填充设计。 我们开始吧,我在这里得到了正确的表格,所以你可以包括这张表格。 |
| 你看到的一件事是,如果你使用三元组块并且你使用你的三个组件。 你看到一切都展开了。 哎呀。 |
| 我这里有一个问题,她 |
| 没有 |
| 让我回去。 约束有问题,是的。 我忘记了这里的那个。 是的。 |
| 好吧,让我们重新开始吧。 百 |
| 放 |
| 随机座位21234 |
| 和数字开始。 伟大的。 |
| 下书感作表。 是的。 然后我只需要检查它是否全部展开。 |
| 并找出答案。 是的。 好吧,那么我在这里查看我的分类变量。 我想看看它是否传播给所有人。 如您所见,一和二。 伟大的。 现在我说让我关闭所有我们进行的 30 次模拟。 所以这是一个模拟权利。 我有 100 个角色。 |
| 但现在我需要做 30 次。 所以我要做的是在这里添加角色。 |
| 2900 |
| 在最后 |
| 我们只选择这前 1000 次运行,抱歉 100 次运行所有变量,一年。 |
| 并摸到桌子的尽头。 伟大的。 所以现在我重复相同的设计 30 次 |
| 现在, |
| 为了让它更快只会打开。 不过,我又在使用这张桌子了。 只需使用另一张桌子到我已经设置好要显示的所有内容的地方。 |
| 所以,是的,我已经回到这张桌子上了。 接下来我要做的就是在这里创建一个模拟列来告诉你看 |
| 有了这个公式。 我可以告诉你模拟最多 100 行,这个模拟一个,然后每一百你改变模拟数字。 所以在一天结束时,我显然得到了 30 次模拟和 100 次滚动。 每一个伟大的 |
| 然后批处理位置,只是为了解释他们做了什么。 我刚刚在 PowerPoint 中展示了这一点。 我有一个农场。 现在您将创建两个批次,大小为总数据大小的 4%,这意味着我这里每批次有四行而不是四行,依此类推。 而一旦 |
| 我在这里达到 100,我正在从模拟中跳出来。 想要模拟就得从头再来。 正确的。 所以我在一天结束时。 |
| 所有 25 批次都在这里。 好的。 |
| 然后我要做的下一件事是创建我的验证 |
| 列,这意味着我需要正确拆分集合 |
| 回到这个演示。 回到这里的 PowerPoint,你会看到我将要创建的解决方案,但我拥有的神经元 |
| 划分角色,其中 60% 属于训练集,20% 属于验证集,另外 22% 属于测试集。 那么,在那种情况下我该怎么做,再次回到约翰 |
| 我们开始了。 让我隐藏这个 |
| 好的,下面就来验证验证吧。 我怎么做。 它已经在那里了,但不要解释你是怎么做的,你去分析 |
| Make validation column you use your simulation column has a certification,你去然后你就做 |
| 点 6.5 2.2 和用户随机种子在这里只是为了确保你看到这就是我正确创建该列的方式 |
| 然后,如果我回到这里的演示。 |
| 所有属于新年训练集的 60% 和属于新一年训练集的那 10% 到 20% |
| 也属于近网的验证集。 现在它们都属于一个称为混合效果建模集的集合。 所以混合效果。 |
| 模型,不会有任何验证。 刚刚估计了具有这 80% 的模型和混合效应解决方案的测试集,这将与我在新年使用该解决方案时使用的 20% 相同。 所以在那种情况下,我回去跳 |
| 去这里 |
| 很高兴听到公式,其中您知道零意味着神经网络的验证为零意味着训练所以训练,继续训练。 |
| 一是验证设置将成为我的建模,二是我的测试集,它也将成为我的测试集。 所以我创造了这些然后你 |
| 所有标签的列名称 0 将是建模,一个将是办公桌,这样你就可以在这里看到他在这里说的任何东西,但是你正在紧张的验证变成了建模然后最后我需要设置我的回应公式。 |
| 所以对于我模拟的预期值。 我只是在这里修复效果公式,这里没有随机项。 好的。 这就是我对我妻子和我妻子 ij 的期望值 |
| 这个和你看看你有 y 的公式,这是我的期望值加上这里我有一个用于生成的公式 |
| 一个随机的 |
| 值服从均值为零且介于 sigma sigma 之间的正态分布 |
| 西格玛之间。 我喜欢在这里设置变量并作为表变量,因为我可以在一周后更改值而无需使用公式。 但无论如何,每次更改批号时都会生成一个值。 所以如果我的批次是 |
| 当我将它更改为 22 时,这将是相同的值,它会创建另一个值。 |
| 当我从一个模拟切换到另一个模拟时,你也是。 所以我将有一个值,每批 25 25 我们的模拟一个,然后当我跳到模拟的第一个批次时,它会创建另一个值。 |
| 正确的。 这只是我在桌子上设置的带有 sigma 的正常随机数,对吧。 所以看到一些复制我们运行的交易我有 sigma 05 和 05 |
| 好吧,那么现在我在这里有了混合效果模型模拟的解决方案,让我回到这里向您展示我在做什么。 |
| 例如,对于混合效应模型。 我的模拟模式是这样的,但我的脚那个模型会出问题可能是分析是帽子。 |
| 而我的小贝在这里要被黑了,对吧。 所以,这是我们的海滩,以满足我模拟的任何值 |
| 然后在混合效果模型中。 我不得不少一个预测模型。 一个是我使用时的拟合条件模型 |
| 当我不这样做时,我对随机效应的估计和另一个是我的边际。 正确的。 所以我有这两种类型的模型。 |
| 这很好地预测了我已经在数据中拥有的东西。 这是我用来预测周围数据的东西 没有完整的数据集,对吧。 |
| 对于新的一年,我正在使用一种标准的默认类型,即接近、结束和跳跃,你知道我使用它不仅仅是因为它很困难,因为他几乎可以工作。 |
| 您在这里拥有所有五个固定效果。 我使用了一层,三个节点都是双曲正切函数,你可以在这里看到 |
| 然后这里有一个名为 hx 的函数,它是区域函数的总和,加上这里的偏置项,对吧。 |
| 所以如果我添加更多节点。 它不会让它变得更好。 你发现只使用两个节点然后它变得更糟。 所以我要全部使用它。 这就是我要在这里向您展示的内容。 |
| 我的节目 哎呀。 好的。 |
| 展示。 |
| 我回去给你 所以 |
| 在这里,我有我的 |
| 混合效应模型解决方案。 我是怎么想出来的。 只是为了给你看。 我在这里有我通过模拟对混合效果进行验证验证的响应。 |
| 我一年所有的固定效应和我的随机效应都是我的批次正确,然后是第一次模拟的遗传。 你看到模拟一个,它一路走模拟土耳其权利 |
| 例如,我不能在此处使用模拟跳转功能,因为我要更改每个批次的验证列,所以我不能,至少我不知道该怎么做,如何将验证列合并到的公式 |
| 我白G。 |
| 和。 好的。 所以,哎呀,回到这里,然后现在我在这里有另一个脚本,你在其中需要一点时间 |
| 应该不是什么大问题。 |
| 例如,当我在做的时候。 |
| 运行你运行。 我们每次模拟有 1000 行,可以随时学习课程,大约 10 到 15 分钟 |
| 在这里同时进行听觉模拟应该抛出一些 |
| 和 |
| 我们开始了。 |
| 好吧,我再说一次,我的如果你看他们每个人都有五个三个音符,好吧,你有一个模拟 1 到模拟 30 |
| 正确的。 所以现在我已经完成了我一年中运行的所有工作,对,所以接下来我需要了解的是我们的方块类型。 我要比较一下 实际上有 |
| 这里有五种类型的正方形,对,所以这是 r 平方公式。 为什么,为什么我在这里按类型区分 di 方块,因为这取决于您使用这个实际值还是在此公式中预测值。 |
| 你知道你的平方变化。 例如,我在这里。 哦,这些是 r 平方或比较的类型 |
| 例如,The Rosa 转动训练集。 我在这里模拟的内容与我为神经网络得到的形式,因为当你在其中时。 你知道,这实际上是 |
| 例如,在所有这三个案例中都是同一件事,因为我正在比较我妻子和我妻子的帽子是一样的。 所以我有类型八 |
| 然后我有另一种类型的调用它类型是我比较的地方。 我没有,我没有将模拟值与 |
| 随机误差项中的随机效应我正在比较我的模拟的预期值与它们的形式 |
| 所以这些让我发送到测试集的规则总是一样的,就像你计算 r 平方的方式会改变,因为在这里是这样的。 |
| 当我拥有所谓的条件测试集时。 我看到母公司未来的表现,因为当你有任何数据集时,这正是我们得到的,因为我们无法告诉真实的 |
| 我们没有你需要模拟的真实模型然后你有预期的测试集,它实际上是同一朵玫瑰,但现在我正在比较 |
| 期望值。 我可以说没有更好的词,真正的未来表现。 因此,表观表现不一定是未来的真实表现。 好的。 |
| 对于混合效果模型也是一样的。 现在我有另一种类型的 r 平方,因为在这里我将模拟值与我的值进行比较 |
| 这里有条件预测农田和使用估计来对随机效应有影响,但是当我想预测未来的时候。 所以,好吧,这里没有人打破测试集的两个条件,我这里有另一个方块 d,它正在比较 I 的整个模拟值 |
| 为什么 ij 与我的边际模型在这里。 我没有使用 be here right 和 Leslie 来使用我们的方块的第五种类型,这是我期望的 |
| 同样,测试集始终是我在这里使用的相同角色。 现在,预期价值与我的保证金。 很多。 所以问题是 |
| 如果你在那里不小心。 你可能会计算错误的人 r 平方。 |
| 所以我所做的是,只要我在这里。 如果我必须混合效果模式。 我不使用此报告中的任何内容,我所做的只是保存此处的列 我保存了我的 |
| Marginal model right prediction farm 在这里你已经保存了条件模型的预测公式,我将使用这个用于混合效应模型的无形式创建列。 现在为 |
| 在那附近,或者您也可以保存公式。 我喜欢说最重要的公式,因为我只想计算我们的平方。 所以我被保存为快速公式,然后你看到我在这里创建这五列。 |
| 好吧,让我去找他们。 |
| 所以现在我的类型 A,如果你记得这里的演示文稿中的台北,请输入我在该模型中比较模拟的 why ij 和 my near。 所以我在这里做什么。 对不起,我在这里做的是 |
| 我去称他们为信息,你在这里看到。 预测什么和预测dy AJ |
| 好的,就在这里。 现在我在这里拯救了德尼罗,并且从两倍于他的价值等于这个价值。 |
| 但现在我只想改变这里的预测。 这是预测期望值。 是的,这样我就可以使用这个公式了 |
| 然后你得到了什么。 这就是您需要的所有方块 |
| 从中看 |
| 从模拟一 |
| 一直到模拟 30,你已经有了它,所以你可以稍后组合数据表,你会得到所有的东西,对,因为那些是正方形。 所以对于其他的,我也在这里编写了脚本,例如 |
| 他是和平公式。 现在对这个专栏,我只预测为测试集设置 r 平方,而不是为建模,不是为验证集。 于是模拟。 一个是一年。 |
| 然后,如果你一直走到这里,你就会得到模拟 30。 同样,您始终可以组合数据表,并且您的数据就像所有这些都是正方形的相同表格格式一样。 |
| 丹尼尔,显然我可以在这里为共火方块类型准备另一个脚本,我们选择正确的混合效果模型和模拟模型集,一直到现代集到模拟 30,你知道做同样的事情。 |
| 现在在测试集上看,但现在我在预测为什么 ij,对。 所以,这个,说,这里的秘密是你有时甚至在湖里也有一个。 在这里,我再次使用相同的公式,因为它是我的边际模型 |
| 混合效应模型解决方案。 唯一改变的是你的专栏 me for you。 确保你已经预测到了什么,然后你可以用它来计算所有这些都是正方形。 |
| 好的。 |
| 让我回到演示文稿,现在因为我把所有这些都是正方形放在一起,所以你可以堆叠你的表格,然后你可以进行可视化,你想要 |
| 但在这里,我对这两种解决方案的条件测试集和此处所说的预期非常感兴趣,你知道,我可能会花 45 分钟来讨论这里显示的表格。 |
| 但是我对 r 平方的绝对值并不真正感兴趣,而是比较比较我们的平方的一种方式 |
| 但我需要几天时间来检查一件事,正如你在这里看到的,当你看到这里的数据大小时 |
| 他们在这里使用指针。 让它更容易。 我有所有的正方形。 我在这里创造了所有你做的因素。 正确的。 |
| 所以你看,当我有一个小数据集时,会发生什么,我是我的近亲,因为我的训练,它得到了正确的训练。 |
| 我的验证集有点像我们的正方形分布重叠。 但是当你看条件测试集时,它实际上是我们总是正确的数据,因为我们从来没有期望值。 |
| 当我有这个小数据集时,它总是处于较低级别,正如你看到的所有这些,但是当我有更大的数据集时。 |
| 1000 个角色的情况不同,然后所有角色都对齐,你知道,有点重叠。 所以我确实正确地训练了这些。 再一次,我们这里的广场的绝对价值没有太大的兴趣,他们真正关心的是如何,你知道,如果你回到 |
| 这里是一张较早的幻灯片,你看,现在我想比较一下。 你看,我必须,我希望你比较我的基准混合效应模型与我的神经网络的预测性能,以测试那个黑暗方块,对吧。 所以,这就是你得到的。 |
| 让我得到这个模具。 所以你在这里得到的又是所有的动词。 我不得不做我们,他们是否 |
| 病与贵净解或未混效解。 所以,你看到了条件测试集,这是性能的一部分。 所以如果你在那段时间里,你总是知道什么时候数据量很小。 |
| 当您包括 |
| 随机效应与你相反,那是因为总是有这个 |
| 他们的中位数甚至平均值都更高,但是当你拥有更大的数据集时,那么 |
| 你知道,在某种程度上,这种差异已经不存在了,即使是新的差异也只是在这里做得更好,但这就是目前的表现。 |
| 现在是真实的。 你现在看到混合效应模型比契约与互联网更好地工作 |
| 这里没有更多,你知道,甚至没有理由,你知道,因为在一天结束时,直接效果模型。 他做得更好,尤其是在这种大数据大数据的情况下。 |
| 最后一组或可变性以及更多之间的 den 与受邀现在找到我在这里要做的那些行这是要为每个模拟运行做的将要做的混合效果之间的差异。 |
| R 方形与新年和方形。 所以,我们开始吧。 |
| 这里我有四个正确的图,所以让我们只集中一个你在 y 轴上的是空调正方形。 然后混合减去护发素平方的差异,对不起, |
| 混合效果 r 平方减去你就在那个正方形里。 所以,这就是你在这里得到的,这就是未来表现模式的差异。 |
| 在 x 轴上,您所拥有的是我们选择您的真实未来表现(正确或偏差)的预期 R 平方的差异。 如果你想 |
| 现在我有四个街区。 为什么,因为如果您在没有技术的情况下拥有历史数据时考虑一下,您就会知道, |
| 你知道,如果你正在分析数据,你可能只能控制两件事,即数据大小和相对批量大小。 |
| 为什么,因为您无法控制数据中的可变性。 如果你的随机效应比你的随机空气大得多。 所以你唯一可能做的两件事 |
| 可以控制数据大小和相对批量大小。 如果您没有标签,您至少可以知道是否可以使用您的历史数据。 |
| 应该由很多很多卧室组成,只有一两批。 正确的。 这就是你拥有的那种控制 |
| 当您拥有统计数据时,您至少可以了解批量大小。 |
| 所以我在这里比较的是明显的性能问题差异,只是积极的差异,这意味着混合效果模型具有更好的性能。 |
| 如果这里的差异也是积极的。 这意味着混合效应作为更好的未来表现,对吧。 |
| 当你有一个小数据集时,正如你在这里看到的那样。 你做什么并不重要。 |
| 混合效应模型具有更好的性能,有时甚至更好,因为谈到 R 平方的差异,它可以超越那些。 |
| 是的,所以他的表现要好得多,你可以把它投入到一个或未来的一个中。 所以当数据量很小的时候,真的没有 |
| 不,这里没有解决方案。 但是,当您查看数据大小时,更大的数据面是正确的,但是当您拥有这么小的批次时。 正确的。 |
| 这里发生了一些有趣的事情,因为在这里你知道足够的资金未来表现 Y 轴的差异是负的,其中大部分。 |
| 这意味着在测试集 Tahrir Square 权利或有条件的专利方面做得更好 |
| 触摸那个黑色的方块。 所以,当你这样做的时候。 谁会看起来像新尿液。 那会比 |
| 混合效应模型。 但是,当您查看 x 轴的很多部分时,这是实际未来表现的差异,这可能会产生误导。 |
| 是的,所以当你有很多数据,但只有几批数据时,你会得到很好的测试,测试集是正方形。 但是,当您将来尝试部署模具时。 |
| 你可能会遇到麻烦。 但是当你看这里的时候。 在这里,我们有一个缓解情况,您有很多数据和很多批次。 所以他们往往没有太大的不同。 对,所以 |
| 作为结论,当数据集较小时,您应该使用不可忽略的随机效应机器学习,您知道,测试集的预测性能很可能很差。 |
| 无论如何,您有多少个批次集群。 那是因为机器学习需要最小的数据量才能成功。 正确的。 所以没有 |
| 没有办法在这里赢得比赛。 现在,当数据量很大并且您只有几个集群时。 这是一种误导性的情况,因为您的测试集预测性能可能很好,但是性能,我们可能会在稍后部署模型时成为 Brewer。 |
| 有些人告诉我,好吧,你为什么不使用正则化呢?即使你愿意,你也不会在这些情况下这样做,因为 |
| 你的测试集 R 平方会很好,但是你不知道你需要它,所以你无法分辨 |
| 你知道,你的长期未来表现是什么,只要看看你在黑方块上的测试或一些错误。 |
| 但是,当你的数据集很大时,你每天都有很多集群,整个情况就会得到缓解,并且更接近的那种偏差效应会被平均掉,因为每个随机效应,你知道,是所有这些效应的总和。 |
| 为零。 因此,您拥有的越多,越能获得最新的 |
| 最重要的是,你知道,我只是想说,我从中学到的是,当数据不是故意设计的时,有两件事我一直记得 |
| 机器领域不能仅仅因为数据很大就处理数据。 您必须拥有最低级别的设计权才能使其发挥作用。 |
| 但是数据越大,越有可能只是偶然地在数据中出现了最小级别的设计。 好的。 谢谢你,如果你想联系我们。 我们在跳跃社区。 这些是我们的地址。 谢谢。 |