维数灾难下非对称数据集的数据挖掘
在大而嘈杂的数据集中查找最有影响力半导体产量预测极好的
介绍:
半导体制造是技术含量最高、最复杂的制造工艺之一。由于工艺步骤繁多、传感器数量众多,该行业面临着海量数据。除了生产数据量大之外,合格品和不合格品的不平衡也使得该数据集难以分析。
由于数据量如此之大,当时一个变量的标准技术可能会因为大量制造变量的影响而失败。
数据本身并没有什么用。要想有用,就必须将其转化为可操作的信息,以推动产量和产品质量的提高。
这就是机器学习(ML)的由来。
为了避免模型过度拟合问题,还需要降低样本维数。换句话说,为了提高可用数据的信噪比,我们需要在应用任何 ML 模型之前减少特征数量。一旦从数据库中提取出有趣的模式,它们将通过工程师的经验进行验证。
整个过程使用 JMP13 JSL 功能实现