神经网络和小数据集 - 验证和预测建模的解决方案是什么？亲爱的同事们，
这个问题可能比较哲学，我想听听专家的意见，以免引起猜测。
谈论小型数据集，例如大约 80-300 个实例（行）的数据集，一般应用神经网络就足够了吗？ 如果是，那么：
- 哪些指标对于绝对响应和连续响应最为关键？
- 除了 K 折交叉验证之外，哪种验证策略更可取？ 还是只有K折交叉验证？
我将非常感谢你的建议。
非常感谢，
迈克尔
质量和工艺工程回复：神经网络和小数据集 - 验证和预测建模的解决方案是什么？上面2位的回复真是太棒了！ 我几乎总是说大小并不重要（实际上是为了强调代表性问题）。 我举一个概念性的例子。 请问样本量哪个比较好？
A。 10,000 或
b. 5
现在需要解决的问题是日常变化。 10,000个样品是1天内采集的，5个是每天1个样品，持续5天。 那么哪个更好？...显而易见。
回复：神经网络和小数据集 - 验证和预测建模的解决方案是什么？只要数据集是来自某些感兴趣群体的样本，您就始终需要担心数据集的大小。 但这不仅仅是规模……规模影响统计风险，但对代表性风险几乎没有贡献。
为什么你总是要担心尺寸？ 因为无论样本大小如何，总会存在 I 类或 II 类错误的风险。 我记得几年前，在罗彻斯特理工学院应用数理统计理学硕士项目的广告宣传册中，他们将“统计”定义为“面对不确定性时做出决策的科学”。 这种不确定性由两个部分组成：统计风险（部分受样本量影响/控制）和代表性风险。 样本量仅代表统计风险……而不代表代表性风险。
统计和代表性风险相互作用的一个小但说明性的例子：假设我们有大量（这是一个不科学的术语，表示大量数据）对试点设备和规模的观察，并且我们有 p 值......几乎可以肯定的是，我们的模型中拥有所有关键 x 变量，并且没有任何非影响变量。 但是，这是一个很大的但是，我们现在要对制造工艺和制造规模进行预测……比如从烧杯（中试）规模到轨道车（制造）规模。 我们的结果被发现与预测相差甚远。 那么样本大小就毫无意义了。 代表风险会困扰你的大好时光。
为什么人们只关注样本量而忽略代表性风险，这让我感到难以置信。 我明白了……谈论统计风险、阿尔法、贝塔、检测差异、I 型和 II 型错误都很容易，所有这些都很容易让你明白，我们现在有了计算机来告诉我们需要做什么知道...不再需要那些讨厌的 ASQ/ANSI 查找表。
但永远不要忘记代表风险……咆哮结束。
回复：神经网络和小数据集 - 验证和预测建模的解决方案是什么？这是一个很大的话题，并不是一个容易回答的话题。我只想说，尝试对数据进行建模总是值得的 - 但数据集越小，您就越需要对您认为发现的任何事物保持谦逊。当然，从给定数量的变量中得出的观察数量并不一定是临界值，而且显然，变量越多，理解数据所需的观察数量就越多。事实上，相反的情况值得思考——如果你只有几个变量，你不需要那么多的观察来建立一个“合理的”模型，但这不应该成为信心的来源。恰恰相反——如果你只有几个变量，那么你就会错过大部分（或大部分）图片。这一难题的一个关键部分涉及您可以对数据强加多少理论结构。在物理科学中，通常有一个完善的理论或多或少直接导致数据建模的结构。在社会科学中，情况远非如此。但是，对我来说最重要的是，除了尝试构建模型之外别无选择（如果你不构建任何模型，那么决策将基于什么？）。（对我来说）关键是不要夸大模型的力量，这与你有多少变量和观察结果有关。
回复：神经网络和小数据集 - 验证和预测建模的解决方案是什么？你是对的。 现在出现了一个新问题：是否值得为一般的小型数据集创建一组模型？ 不只是NN。 我担心在这种情况下提出预测模型。
请让我重新表述这个问题：多少个实例（行）和/或属性（列）足以执行预测建模而无需担心数据集的大小？
谢谢
回复：神经网络和小数据集 - 验证和预测建模的解决方案是什么？特别是关于你关于神经网络的问题，我在小数据集上的神经网络方面并没有取得太大的成功——我认为当你有大量数据时它们通常效果最好。然而，无论如何，我建议您运行各种预测模型 - 决策树、提升树、随机森林、逻辑/多元回归等。我会根据它们的准确性（使用 ROC、R2、特定的兴趣错误分类等）以及它们认为最重要的变量来比较它们。虽然预测与理解问题很重要，但我认为缺乏理解的预测最终将不如拥有有意义的模型有价值。无需选择一种建模技术 - 可以轻松地在相同的数据上运行它们并比较/对比您获得的结果。
回复：神经网络和小数据集 - 验证和预测建模的解决方案是什么？这是一次很棒的采访，谢谢@P_巴特尔。 我会也是哲学的...我认为预测建模需要理解感兴趣的“现象”的因果关系。 一些理性的思维顺序可能如下所示：我们必须弄清楚如何量化感兴趣的现象（以及测量系统是否足够）。 然后我们构建关于现象为何变化的假设（我喜欢认为这些假设根源于自然科学）。 这导致通过定向抽样或实验来检验我们的假设。 是的，假设是在收集数据之前构建的。 如果你没有假设，那么你可以使用“数据挖掘”技术来刺激你的头脑创造/发展假设。 从我的角度来看，拥有一个描述手头数据集（例如神经网络）的模型而不提供对因果关系的洞察和理解，不会是一个有效的预测模型。
生存准则：所有可以回答的问题、用于分析的工具、对得出的结论的信心以及推断结果的能力都取决于数据的获取方式。
回复：神经网络和小数据集 - 验证和预测建模的解决方案是什么？我将把交叉验证对话留给其他人。 这是我对神经网络的适用性的看法，我也会从哲学角度来阐述。 我认为，没有上下文的适用性问题涉及当前的实际问题、数据（数据集是宽/窄、多重共线性等）、统计和表示的风险以及模型的最终用例，都将有一个与单独的样本大小相比，该方法的适用性影响更大。
例如：研究的目的是什么？ 预测还是探索？ 是否有机会进行额外的研究……也许是在设计实验的背景下？ 不断地。
对于关于预测与探索结构的一些富有洞察力的评论，我建议看一下：
https://www.jmp.com/en_us/events/ondemand/analytically-speaking/to-explain-or-predict-that-is-the-question.html
