需要帮助:对分类值进行分组,找到最佳数量的类别和例外伙计们,
我有一个问题,我希望有人能帮助我找到解决方案,或者至少让我朝着正确的方向前进。
所以,假设我们有 N 个工具。 它们有多个属性,比方说 10 个。 这可能是确切的型号、颜色、附加功能、修改等。
它们还有数百个参数。 有些可能在所有工具中都是相同的,有些可能取决于属性的组合或单个属性。
我需要管理所有数百个参数。 这些参数可能会发生变化,并且与应有的不同,我在任何时候都知道每个参数。
现在,方法如下:将所有工具分成几大组,我们称它们为类别,它们由属性组合定义。 假设A型和蓝色的所有工具都是一类,A型红色是第二类,B型是第三类,无论颜色如何。
现在,并非所有参数在一个类别中都是相同的。 Model A 红绿铃和 Model A 红黄铃的某些特定参数可能不同。 因此,我们找到最常见的组合并将其称为该类别的“默认”。 我们需要解释所有不同的部分,并为它们添加某种注释,以解释参数不同的原因。
最终,我们将有两个未知数:我们需要将其分成的类别数和我们需要为与“默认”参数不匹配的参数填充的异常注释数。
如果我们设置一个类别 - 维护一个类别会很容易,但我们将有太多来自“默认”的例外情况难以管理。 如果我们为几乎每个属性组合创建一个类别,我们将不必管理太多来自“默认”的异常,但我们将难以管理那么多类别。
问题是基于数据集,找到最佳类别数,其中类别数合理,异常数合理。
关于如何解决这个问题的任何想法?
谢谢,
M.
回复:需要帮助:对分类值进行分组,找到最佳数量的类别和例外全部,
感谢您的评论。
这是我选择解决这个问题的途径。
我的初始表是我的工具列,我的行是不同参数的值。 也是参数名称的列。
我做的第一件事是堆叠所有工具列。 所以我最终得到了三列:工具、参数标签、参数值。 没有提到任何属性 - 没有模型,什么都没有......!
参数值是一个字符标称值,因为很多值都是十六进制格式。
然后我启动了 Hierarchical Clustering 平台并选择了以下选项(列出了与默认值不同的选项):选择“Data is stacked”(因为我只是堆叠了它!),得到了几个可用的角色。 将参数值转换为 Y,将参数标记转换为属性 ID,将工具转换为对象 ID。
得到了一个很好的聚类树。
下面是距离图。
前几次拆分负责大部分参数。 并且基于集群之间的工具分布(请记住,在此分析中我们不知道每个工具的型号、颜色、功能是什么),它们负责以下内容:
第一部分:工具模型
第二次拆分:其中一个模型上的工具子模型
第三次拆分:主要子系统版本
等等。
下面的图——距离图,在我的理解中,基本上给出了所有集群成员与集群平均值的平均距离。 对于标称值,这是通过订购来定义的。 在某种意义上,这可以作为异常值的估计。 在三分之二分裂后它几乎饱和了。 这意味着如果我们要使用 2 或 3 个集群,我们将不得不解释很多异常。 对于 4 个集群,它在这个数据集上明显更少。 我们选择了 5 个集群。
可以保存一个聚类表(基本上应该是分类值的最频繁值),我相信如果我为每个聚类数保存这样的表,然后将这些表连接到主表(或虚拟连接 -向 gzmorgan 点头),我可以检测到特定值是否不同于 POR/默认/黄金值,因此可以为每个簇数计算异常的确切数量。
然后唯一要决定的是——你想管理多少集群(类别),以及你准备为这些异常做多少处置。
谢谢,
M.
回复:需要帮助:对分类值进行分组,找到最佳数量的类别和例外戴尔,
是的,你是对的,最终我停止了聚类分析。 唯一的细节是我有很多参数作为十六进制值。 其中,如果我想避免大量尝试解析它们的脚本,那么我只能使用可以处理标称值的层次聚类。 好事 - 我不必使用主要组件。
我将在单独的评论中描述更多。回复:需要帮助:对分类值进行分组,找到最佳数量的类别和例外非常感谢您的回复,给了我一些思考。 我想提的主要事情是,我只对匹配/不匹配感兴趣,无论值之间的距离如何。 正如我提到的,主要问题是管理数百个工具常量\参数。 从这个意义上说,我需要知道它是 POR 还是非 POR,或者换句话说,是否与 Golden Parameter List 不匹配。 问题基本上是找到最佳数量的黄金参数列表。 另一件事是许多参数都是十六进制格式。 如果没有有助于以十进制轻松解析它们的内置函数,这将保留为字符值,这意味着我只能进行分类分析。 一方面,这简化了事情,因为据我所知,参数之间的距离将根据值的排序来计算。 另一方面,这限制了我可以执行的分析类型。
在下面的单独评论中有更多相关信息。 我将描述一种方法,至少我是如何理解它的,然后可能是最终的解决方案。
再次感谢!回复:需要帮助:对分类值进行分组,找到最佳数量的类别和例外这对我来说听起来像是一个集群问题。您不确定聚类的数量及其构成,并希望识别聚类内的偏差。鉴于您拥有的变量数量,您可能必须在聚类之前降低维度,例如使用主成分。我要说的是,我自己在聚类方面的努力并不令人满意——聚类很少与任何可识别的群体相匹配(例如,我通常对个人消费者或大学申请者这样做)。在我看来,您想事先定义集群,例如将“相似”工具放在一起。问题在于,你认为可能“相似”的可能与数据所说的“相似”不同。如果您认为自己了解这些组,那么一种方法可能是将事前聚类与聚类算法生成的内容进行比较 - 然后探索两者之间的差异。
回复:需要帮助:对分类值进行分组,找到最佳数量的类别和例外米盖罗,
这让人想起剖面分析或 K 最近邻。 创建一个表,其中每一行都是一个实体,除了实体列之外,每个属性都有一列。 我建议有一个属性代码,如 1=red 和 2=green 等,然后根据您假设的示例,bell 的列将具有这些值。我建议您为值指定标签。
然后您可以定义一个或多个指标和权重。例如,某些规格必须匹配可能是最重要的:A 组必须是高容量喷雾器(> 一些立方单位),C 组必须是低容量(< 一些立方单位),B 组是其他。 要细化或细分您可能使用的组:
- 潜在类别分析——注意类别不需要编码,但编码可以简化其他分析。
- 多重对应分析,显示可能的属性配对
- k 最近邻方法,请参阅脚本索引函数:KDE(统计)和 KDTable(矩阵)。
也就是说,随着时间的推移,群体通常是由他们的结果来定义的。 由于临近美国中期选举,我将以它为例。 预测通常是在课堂上进行的。 这些类别根据年龄、性别、教育程度、城市与农村、哪个州、宗教、教堂出席率、中期投票的次数来定义/改进,换句话说,社会和空间人口统计数据以及行为的混合(#次投票,教堂出席)。
关于实体不匹配,需要格外小心。 假设 A 组实体与配置紧密匹配,除了较旧的实体没有 3 个原位传感器,而较新的实体具有从传感器读取的性能。 需要根据可用数据计算失配。 继续这个场景,假设所有 A 组工具都有 100 个指标,但较新的工具有 3 个额外的指标,即 103 个。 许多 JMP 平台可以轻松处理缺失值,但处理方式取决于您可能使用哪些分析/标准来识别不匹配。
我喜欢 JMP 虚拟连接。如果我正在做这个分析,我可能会创建我的实体属性表来定义类别,然后虚拟地将它与其他变量表连接起来。 如果其他变量每次运行有多个值(行),这也很容易。
这些只是面包屑。 祝你完成这个有趣的任务好运。