你好, 我是 克里斯 Gotwalt 与 跳转, 和 我的 共同 主持人, 约瑟夫 的 马蒂诺 从 托普索 , 和 I 是 给予 a 推介会 那 告诉 这 故事 的 a 数据 分析 项目 那 展示柜 这 新的 小波 分析 在 这 功能 数据 探索者, 一 的 这 最多 令人兴奋的 新的 能力 在 跳转 17.
这 案件 学习 开始 和 a 产品 配方 问题 在哪里 最高额 你是 通缉 到 设计 a 催化剂 那 优化 二 回复 但 这 回应 是 在 冲突 和 一 其他 在 那 改善 一 回复 经常 来 在 这 费用 的 这 其他。
A 候选人 为了 这 最佳的 权衡 曾是 成立 和 模型 合身 经过 这 广义的 回归 平台, 和 这 最佳的 因素 设置 是 成立 使用 这 可取性 函数 在 这 分析器。 这 曾是 a 相当 标准 美国能源部 分析。 但 在 添加 到 这 测量 回复 近红外光谱 光谱 是 采取 从 一些, 但 不是 全部 的 这 样本 批次。 这 是 信息 那 能 是 用过的 到 给 a 线索 到 这 研发 团队 关于 什么 这 化学 结构 的 这 理想的 配方 应该 看 喜欢。
在 添加 到 这 通用注册 模型 的 这 回复 我们 还 用过的 小波 模型 作为 这 基础 功能 的 a 功能 美国能源部 分析 的 这 光谱 使用 这 美国能源部 因素 作为 输入。 我们 是 然后 有能力的 到 得到 a 合成的 光谱 的 这 最佳的 配方 经过 堵漏 在 这 最佳的 因素 设置 成立 在 这 最初的 分析 的 这 二 批判的 回应。
前 去 进入 这 推介会, I 想 到 观点 出去 那 在 这 开始 的 这 项目, 约瑟夫 曾是 非常 新的 到 跳转 和 没有 有 a 背景 在 这 类型 的 统计 分析。 约瑟夫 学到了 全部 他 需要 到 做 这 分析 在 他的 自己的 后 a 夫妻 的 网络 会议 和 我。
这 明显地 节目 他是 a 聪明的 家伙, 但 还 那 跳转 使 学习 如何 到 做 一些 非常 复杂的 数据 分析 项目 快的 和 简单的。 现在 我是 去 到 手 这 展示 超过 到 约瑟夫。
感谢 你, 克里斯。 这里 是 一些 背景 关于 我们的 项目。 它是 a 催化剂 发展 项目。 所以, 我们 是 发展 许多 不同的 食谱。 每个 食谱 有 a 独特的 放 的 生产 参数, 和 一次 这 样本 是 准备好了, 我们 表征 它 在 我们的 分析 实验室 在 托普索。 和 最后, 我们 做 a 表现 测试。
期间 这 表现 测试, 我们 看 为了 二 价值观 那 这里 我们 称呼 回复 1 和 回复 2. 在 这 具体的 案件, 我们 是 尝试 到 最小化 回复 1 一会儿 最大化 回复 2. 那 将要 带领 我们 到 这 理想的 空间 在 这 顶部 左边 角落 的 这 图形。 但 作为 你 能 看, 这 55 样品 那 我们已经 经过测试 得到 卡住 在 这 中间 的 这 图形。 那 是 因为 回应 1 和 回应 2 是 间 相关的, 意义 那 改善 一 来 和 这 开支 的 这 其他。
所以, 我们 移动 到 跳转, 和 我们 尝试 到 看 在 我们的 回复 数据 和 我们的 特性 数据, 尝试 到 看 如果 我们 能 移动 离开 从 这 线 在 这 中间 的 这 图形。 我们 已识别 二 目标 区域 那 我们 想 到 抵达, 和 一起 和 克里斯, 我们 想法 关于 使用 跳转 到 创造 a 模型 那 会 连接 这 生产 参数 到 这 回复 值。T 母鸡 我们 更远 看起来 进入 我们的 红外线的 光谱学 数据 到 尝试 到 证实 我们的 模型 和 到 得到 一些 额外的 信息 关于 这 目标 样品。
这里 是 一个 概述 的 这 数据 放。 我们 有 制作 112 样品。 每个 样本 有 a 独特的 放 的 生产 参数。 我们 有 分析 全部 这 样品 使用 红外线的 光谱学。 我们 有 一 光谱 为了 每个 样本。
然后 我们 有 用过的 许多 其他 特性 技术 那 我们 有 在- 房子 那 账户 为了 21 更多的 列 的 数据。 最后, 我们 有 经过测试 一半 的 这 样品 和 那 账户 为了 这 最后的 二 列 那 我们 称为 回复。
在 这 开始 的 我们的 项目, 我们 实际上 通缉 到 包括 这 红外线的 光谱 数据 在 我们的 更大 数据 放, 和 那是 为什么 我们 通缉 到 使用 跳转, 因为 现在 我们 有 这 新的 小波 模型 可能性。 和 那 会 使能够 我们 到 包括 这 主要的 成分 未来 从 这 小波 模型 在 我们的 数据 放。 和 我们 可以 使用 那 到 创造 模型 在 跳转。 但 前 我们 开始 我们的 分析, 我们 需要 到 有 a 看 在 这 专业版 数据 到 寻找 异常值。 我们 做 那 经过 点击 分析 和 这 多变量 方法, 多变量。
H 还 我们 能 选择 我们的 生产 参数 和 特性 数据 作为 Y 列, 和 我们 得到 这 散点图 矩阵。 这 是 一个 例子 的 只是 寻找 在 这 生产 参数 在 什么 我们 会 确认 作为 一个 异常值。 我们 能 看 那 那里 是 a 放 的 点 在 生产 参数 也 那 是 远的 离开 为了 全部 这 其他 點。 此外, 我们 有 背景 知识 关于 这些 样品 那 我们 知道 不会 是 最佳的 为了 我们的 催化剂 发展, 所以 我们 决定 到 正确的 点击 和 说 “排, 隐藏 和 排除。”
我们 做过 这 还 和 其他 点 寻找 在 这 散点图 指标 的 全部 这 特性 数据。 现在 那 我们 有 已清理 向上 这 数据, 我们 能 合身 a 模型。 我们 点击 分析 和 合身 模型, 和 我们 选择 这 生产 参数 作为 变量 在 我们的 模型。 我们 点击 宏 和 回复 表面 到 创造 a 第二 多项式 组合 的 这些 变量。 然后 我们 选择 我们的 回应 作为 Y 值。
然后 我们 决定 到 使用 广义的 回归。 H 还 克里斯 能 添加 一些 更多的 信息 关于 为什么 我们 决定 到 使用 这 具体的 类型 的 模型。
我们 用过的 a 二次函数 回复 表面 模型 因为 这 设计 有 三 或者 更多的 级别 为了 每个 因素, 所以 I 知道 那 我们 会 是 有能力的 到 合身 曲率 条款 如果 必要的 和 还 是 有能力的 到 合身 相当 a 种类 的 不同的 相互作用 條款。 我们 使用 这 广义的 回归 平台 因为 它 做 模型 选择 和 非 高斯 分布 喜欢 这 日志 普通的。 在 我的 观点, 那里 不是 许多 原因 不是 到 使用 这 广义的 回归 平台 如果 你 有 跳转 专业版 因为 它 是 所以 简单的 到 使用 尽管 在 许多 方法 存在 所以 很多 更多的 强大的 为了 美国能源部 分析 比 这 其他 选项 在 跳转 和 跳转 赞成。
后 那, 我们 能 选择 我们的 分配。 我们 知道 那 这 回应 是 去 到 是 严格 积极的, 所以 我们 选择 这 日志 普通的 分配 和 然后 我们 点击 跑步, 和 我们 说 不。
在 这 滑动, 我们 能 看 那 我们 有 现在 创建 a 模型, 但 我们 有 还 这 可能性 的 创造 其他 类型 的 模型 使用 不同的 估计 方法。 我们 决定 到 使用 最好的 子集。 这里, 克里斯 能 添加 一些 更多的 字 关于 它。
出色地, 所以 这里 我们 使用 最好的 子集 选择 因为 这 满的 模型 不是 可怕 大的, 所以 为什么 不是 尝试 每一个 可能的 子集 的 那 满的 模型 和 寻找 这 一 那 提供 这 绝对 最好的 权衡 之间 准确性 和 模型 简单?
在 这 其他 手, 有 那里 到过 八 或者 更多的 因素, I 会 有 用过的 a 快点 算法 喜欢 向前 选择 或者 修剪 向前 选择 因为 和 更大 根据 模型, 它 会 拿 a 非常 长的 时间 到 合身 每一个 可能的 子模型 到 这 数据。 是 去 到 是 使用 这 人工智能 模型 选择 标准 到 比较 通用注册 模型。
这 人工智能 允许 你 到 比较 模型 和 不同的 效果 在 他们 作为 出色地 作为 不同的 回复 分布。 和 这 AICc, 更小 价值观 是 更好的 和 这 规则 的 拇指 I 使用 是 那 如果 a 模型 有 一个 人工智能 价值 那 是 之内 4 的 这 最小 人工智能 价值 看到, 然后 那些 二 模型 是 几乎 完全相同的 在 质量 的 合身。
如果 这 二 模型 有 人工智能 价值观 之内 10 的 每个 其他, 然后 他们 是 统计上 相似的 到 一 其他。 这 主要的 观点 这里 存在 那 如果 我们 有 二 模型 和 他们的 AICc的 不同 经过 更多的 比 10, 然后 这 数据 是 漂亮的 强烈 建议 那 这 一 和 这 更小 人工智能 是 这 更好的 模型 到 是 在职的 和。
作为 和 任何 个人 统计, 你 应该 看法 这 A 集成电路 作为 a 建议。 如果 你的 主题 事情 经验 强烈 建议 一 模型 超过 这 其他, 你 可能 想 到 相信 你的 本能 和 忽略 这 推荐 的 这 A 国际刑事法院。
一次 我们 有 创建 这 新的 模型, 我们 能 看 那 这 非 零 参数 有 现在 掉落 从 16 到 九。 如果 我们 想 到 比较, 如果 这 模型 有 改进, 我们 能 看 在 这 A 集成电路 值。 我们 能 看 那 那里 是 一个 改进 的 更多的 比 10, 哪个 是 一个 重要的 不同之处。 所以, 我们 决定 到 去 和 这 最好的 子集。
我们 做过 这 相同的 为了 回应 2, 和 然后 我们 已移动 在。 现在 我们 能 点击 在 这 红色的 箭 和 说 分析器。 在 这 分析器, 我们 能 玩 大约 和 这 生产 参数 和 看 如何 这 模型 是 期待 回应 1 和 回应 2 到 改变。 这 是 已经 a 伟大的 工具 为了 这 科学家 到 理解 如何 这 模型 是 期待 这 回应 到 各不相同, 但 我们 能 做 更多的。 我们 能 点击 在 优化 和 可取性 和 可取性 功能。
自从 从 滑动 一, 我们 知道 那 我们 有 二 目标 那 我们 想 到 抵达, 我们 能 改变 这 可取性 功能 到 匹配 那些 目標。 所以 我们 双倍的 点击 在 这 可取性 功能和 我们 说 匹配 目标 和 选择 这 目标 区域 那 我们 想 到 抵达。 最后, 我们 能 点击 再次 在 优化 和 可取性 和 说 最大化 可取性。
这里, 这 分析器 将要 尝试 到 抵达 这 最佳的 点 为了 这 生产 参数。 到 总结, 我们 能 说 那 现在 我们 有 这 第一的 模型, 我们 去 从 生产 参数 到 回应 和 我们 有 放 二 目标 那 我们 想 到 抵达。 这 方式 我们 能 得到 理想的 生产 参数 那 我们 能 交流 到 这 发展 团队 和 他们 能 使用 到 移动 在 在 他们的 研究。
在 这 第二 部分 的 这 推介会, 我是 去 到 讲话 关于 如何 我们 使用 这 和 光谱。 这里 我们 有 a 文件 为了 每个 光谱 和 所以 我们 需要 到 点击 在 文件 和 进口 多种的 文件。 然后 我们 需要 到 指定 那 我们 想 这 文件 姓名 到 是 柱状 在 这 数据 放 和 然后 我们 能 使用 这 样本 姓名, 哪个 是 这 姓名 的 这 文件 作为 一个 ID 到 连接 它 到 这 其他 桌子 在哪里 我们 有 全部 这 数据。 我们 点击 在 这 柱子 和 说 关联 参考。
现在 那 这 二 表 是 已连接, 我们 能 点击 分析 和 专业化 造型 和功能性 数据 探险家。 在 这 功能 数据 探索者, 我们 想 到 使用 这 强度 价值 作为 这 Y 输出。 我们 能 使用 这 样本 姓名, 矩阵 姓名 作为 我们的 ID 功能。
然后 这 是 非常 重要的。 我们 使用 这 生产 参数 作为 补充 数据。 和 这 重量 数字 是, 的 课程, 这 X- 轴。 和 我们 说, “好的, 这里 我们 能 看 那 这 数据 是 已经 干净的。” 我们 进口 全部 这 光谱 和 这 数据 看起来 干净的 因为 我已经 完毕 这 预处理 外部 的 跳转。 I 用过的 Python 因为 我是 更多的 熟悉的 和 那 和 那里 是 a 非常 好的 模块 那 是 有能力的 到 消除 这 背景 和 减少 这 范围 那 我们 想 到 看 在。
跳转 曾是 好的 到 工作 和 作为 一个 额外的 工具 后 这 再加工。 然后 我们 决定 到 点击 在 模型 和 小波。 我们 移动 从 离散的 数据 到 连续的 数据。 现在 我们 能 还 看 在 这 诊断 地块。 这 是 为了 你, 克里斯, 到 进行交谈 关于。
它是 a 好的 主意 到 看 在 实际的 经过 预测 情节 作为 你 继续 通过 a 功能 数据 分析。 这些 有 这 实际的 观察到 价值观 在 这 数据 在 这 Y 轴 和 这 预测 价值观 在 这 X 轴。 我们 想 这 预测 价值观 到 是 作为 关闭 到 这 实际的 价值观 作为 可能的。 A 阴谋 喜欢 这 一 那 是 紧的 沿着 这 45 程度 线 表示 那 我们 有 a 好的 模型。
现在, 一些 的 你 可能 是 担心的 关于 过度拟合 自从 这 预测 合身 这 数据 所以 出色地。 在 我的 经验, I 没有 成立 那 到 是 a 问题 在 这 基础 功能 配件 和 功能 主要的 成分 步骤 的 功能 美国能源部 分析。 ID 还 喜欢 到 观点 出去 那 在 跳转 17, 我们已经 额外 a 很多 的 新的 特征 为了 光谱 预处理 喜欢 标准 普通的 变体, 乘法 分散 更正, 和 Savitzky-Golay滤波器 . 那些 的 你 那 不 知道 Python 有 使用权 到 这些 能力 在 跳转 专业版 17.
后 那, 我们 能 还 有 a 看 在 这 功能 主成分分析 分析。 这里, 出色地 花费 一些 更多的 字 在 它。
后 这 小波 模型 是 合身, 跳转 专业版 自动地 做 a 功能 主要的 成分 分析 的 这 小波 模型。 这 分解 这 光谱 进入 一个 全面的 意思是 光谱和 a 线性 组合 的 形状 成分 和 系数 那 是 独特的 到 每个 样本 光谱。 什么时候 我们 做 这 功能 美国能源部 分析, 通用注册 自动地 适合 模型 到 这些 系数 在后面 这 场景 和 结合 这 导致 模型 和 这 意思是 功能 和 这 形状 成分 到 预测 这 形状 的 这 光谱 在 新的 价值观 的 这 输入 参数。
如果 我们 看 在 这 主要的 成分 分析, 我们 能 看 那 这 小波 模型 有 创建 a 意思是 功能 的 全部 这 光谱 那 我们已经 放 作为 输入, 和 然后 它 有 创建 不同的 形状 功能。 我们 决定 到 停止 在 六。 什么 这 形状 功能 描述 是 这 变化 的 这 数据 那 我们 是 分析。
作为 你 能 看 从 这 左边, 这 第一的 形状 功能 是 会计 为了 72 % 的 这 变化, 尽管 这 第二 是 会计 为了 22 %。 一起, 这 帐户 称为 六 帐户 为了 99.5 % 的 这 变化。 作为 一个 例子, 我们 能 看 在 主要的 成分 2、 和 我们 能 看 那 大约 3,737, 那里 是 a 减少。 那里 是 a 减。 那 方法 那 增加 这 主要的 成分 2 将 减少 这 顶峰 在 3,737。
这 是 只是 一个 例子 到 说 那 已经 从 这些 六 形状 函数, 我们 能 得到 a 很多 的 信息。 如果 我们 有 主题 事情 知识, 关于 这 红外线的 光谱学 和 这 催化剂 系统。 已经 这里, 我们 花费 相当 a 很多 的 时间 寻找 在 这 主要的 成分, 但 这 是 不是 什么 我们 是 去 到 重点 在 在 这 下一个 幻灯片。
什么 我们 想 到 看 在 反而 是 这 功能 美国能源部 分析。 这里 我们 有 作为 出色地 a 分析器, 但 我们 能 现在 插头 这 生产 参数 那 我们 得到 从 这 第一的 模型 那 我们 发达。 所以, 会心 这 目标 生产 参数 那 我们 想 到 使用, 我们 能 产生 a 伪造的 光谱 或者 合成的 光谱, 我们 能 称呼 它。 这 是 a 光谱 的 a 样本 那 曾是 绝不 生產。 它 可以 是 错误的, 但 它 能 给 一些 想法 到 这 科学家 关于 什么 你 会 预计 到 得到 从 这些 新的 生产 参数。
到 和 向上, 我们 能 说 那 现在 我们 移动 从 生产 参数 到 红外线的 光谱。 我们 有 a 第二 模型 那 用途 这 小波 模型 到 产生 合成的 光谱。 I 想象 这 到 是 喜欢 什么时候 你是 烘烤 a 蛋糕, 现在 你 有 这 食谱 但 你 得到 还 a 快照 图片 的 这 最终的 蛋糕。 它 没有 解释 你 如何 到 做 它 但 它 添加 信息 关于 什么 你 想 到 达到。
最后, 我们 能 移动 从 模型 到 测试。 那 方法 那 我们 能 给 这 研发 团队 a 新的 食谱 和 还 这 合成的 光谱 的 那个食谱。 一起 和 这 信息, 他们 能 尝试 到 发展 这 新的 催化剂 和 看 如果 这 模型 是 已验证 或者 是 错误的。
其他 事物 这 团体 能 做 是 看 后退 在 这 以前的 样品。 现在 我们 有 一半 的 这 样品 那 是 不是 已測試。 那些 是 这 黑色的 点 在 这 滑动。 我们 能 看 为了 异常值。 是 那里 a 样本 那 可以 履行 真的 好的 那 我们 没有 看起来 在? 我们 实际上 有 一。 所以 那是 其他 测试 我们 能 做。
寻找 在 未来 工作, I 额外 这 滑动 那 曾是 在 这 开始 只是 到 说 那 我们 专注 在 这 生产 参数 和 这 和 光谱, 但 我们 没有 真的 看起来 在 这些 21 更多的 列 的 特性 数据。
在 这 未来, 我们 可以 花费 一些 时间 尝试 到 确认 这 最多 预测 参数 在 这些 21 列 和 创造 或许 a 新的 模型 从 这 特性 数据 到 这 回复 和 使用 这 模型 作为 a 筛查 模型 到 避免 测试 样品 那 会 不是 履行 作为 好的。 那是 这 结尾 的 这 推介会。