暗数据、专业知识、建模——我们在 Oct 上讨论了一系列主题. 1个从统计学上讲. 大卫汉德给了一个辉煌全体会议谈话和通过提醒我们为一个伟大的小组讨论奠定基础记住需要思考并意识到所有的黑暗数据在那里—这我们看不到但需要的数据考虑到. 暗数据:为什么你不知道米事实是他的最新著作(见博文关于它;如果你还没有读过,你可以得到一个样品摘抄).
小组成员包括卡梅伦威尔登, 统计员在工作组 支持工程师的戈尔和许多不同产品线的科学家; Sam Gardner,创始人野生统计咨询,拥有超过 30 年的统计问题经验解决为了政府和行业;和JMP的杰森威金斯,在美国 Synthetic 工作了 20 年,在流程优化、测量系统分析和预测建模/数据挖掘方面拥有专业知识。
我们没来得及回答所有问题直播观众提问,但我们的专家组成员已同意为其中许多问题提供答案,进一步分享他们集体经验的智慧. 这问题按主题分组- 有这么多,我们正在做两个帖子. 在这第一部分,我们将专注于有关专业知识和培训的所有问题。 部分吨我们将涵盖有关建模和数据的问题。
数据科学似乎允许很多没有接受过分析培训的人获得分析工作。 你对此有何看法?
卡梅伦:如果人们在做数据科学但他们只知道, “你把数据放在这一端,并在这一端得到答案,”根据这项工作做出决定的人处于受伤的世界。我不害怕将各种分析大众化,但人们仍然需要对统计数据和工具箱中每个工具的局限性有很好的基础理解。 更准确地说,他们应该能够可靠地识别出他们何时会与现实世界中的这些限制发生冲突。 到达那个点没有需要一个硕士统计学学位主义的或米机器升收入(毫升)但通过正规培训和非正式学徒的某种结合达到目标对我来说似乎是现实的。
山姆:总体上,我觉得这是一件好事。 创新者(如JMP !) 已经创造出来了真的很棒软件工具那实现了分析的“民主化”,其中主要技能需要关于较少涉及编程和数学,更多涉及解决问题、团队合作、业务或组织敏锐和沟通。 还有更多问题需要解决那n有人来解决目前,组织需要的是具有高“分析商数”(AQ)的人。 高 AQ 员工可能来自不同的背景并拥有不同的技能,但他们仍然都需要了解数据科学的基本思想.
我认为有一种观点认为数据科学家不需要了解统计数据。 我觉得这是一个危险的趋势。 你有什么意见?
山姆:虽然,正如我在上面回答的那样,拥有高 AQ 的人和获得好的软件工具可以使企业在整个企业中进行数据科学,但你仍然需要一群在数学科学方面具有深厚知识的人。 这样做的原因是他们是核心团队,将为数据科学开发更好的内部工具和流程. A业务增长我吨秒AQ,简单的问题就解决了,剩下的问题往往需要技术性更强的电子专长解决。 此外,统计学家通常对如何解决这些难题有着敏锐的洞察力。 所以,是的,我t的有利于您的组织访问统计学家,和d在假设您可以发展您的组织'没有统计学家帮助和服务的 AQ .
杰森:我观察过那些善良的人分析师有一种理解他们在做什么的冲动,这意味着学习统计主义的秒。 这是明显的在演示文稿或技术报告中,当某人对什么他们是沟通. 他们是否知道足以简单地交流发现和方法并回答随后的难题? 我不认为每个数据科学家都应该具备数学知识统计员,但他们应该在理论和应用方面有很好的基础他们使用的工具.我还认为作为分析师的数据科学家和作为数据架构师的数据科学家之间存在区别。 在一些我接触过的公司,这些是不同的工作职能,具有不同的领导,但他们都被称为数据科学家. 这数据架构师可能不需要对统计数据有太多了解主义的秒作为分析师,但他们应该有足够的能力来指导他们的工作。每个人都可以从更好的统计知识中受益! 为什么只需要数据科学家和统计学家呢?
我在 ML 和 AI 领域需要一些帮助。 我是否需要聘请具有业务领域专业知识的人,或者我是否可以将其提供给具有 ML 和 AI 专业知识的才华横溢的数据科学家? 我有一些基本的统计和数据科学技能。
卡梅伦:数据科学家通常被定义为具有强大统计能力的人主义的分析/分析,编程和域专业知识,但幸运的是,最后一个通常是在工作中获得的,并且达到了有效所需的水平。 作为 Gore 的一名工业统计学家,从这面料部门,我必须学习很多关于纺织品的知识,层压和网络处理;但几周后我就学到了足够多的知识,可以开始向工程师提问没有想问问他们的流程。 通过与他们合作,他们能够填补我的许多知识空白为了我们共同制定有效的策略来解决他们的问题。 我在我们的经历中经历了同样的经历米医疗的P产品事业部,人力资源部, 现在最近,小号供给C海恩。你可能会找到一个候选人,他在你的领域读过本科,但在统计专业完成了研究生学位主义的s/机器学习/数据科学。 在我看来,这似乎是一个罕见的例外,你可能要等上一辈子才能找到那个候选人。
杰森:我很少有幸雇用同时具有领域和数据科学甚至基本统计问题解决能力的人专业知识. 我寻找的人是有能力的学习者并且有证明成功学习新概念. 如果新员工有能力,您可以填补空缺专业知识与培训。 我相信有一个坚实的入职培训流程是新员工成功的基础。 我认为大多数公司拥有训练领域的知识专业知识但可能仍需要设计课程和结构交付它.如果您的公司不具备教授 ML 和统计问题解决技能所需的技能水平给有域名的人专业知识, 找到好的顾问合作直到这整体技能水平达到什么是需要内教。每个公司你可以受益于深 po经验值专业知识电子统计解决问题领域。
关于拥有领域知识并可能对数据/结果解释有“偏见”的“优秀”数据科学家与拥有可以与领域专家合作的“纯”数据科学家是否更好,一直存在争论。 想法?
卡梅伦:领域专业知识在我看来,总是会超过对潜在偏见的担忧. 领域知识可以帮助您预料问题,了解细微差别影响很大, 并正确解释结果。 然而,我认为它基于领域知识的分析和编码技能进行招聘更有意义自从通常可以在工作中获得,依靠团队中的其他人专业知识在过渡期。
杰森:我想先谈谈问题的第二部分。 如果您将数据科学家与领域专家配对来解决棘手的业务问题,数据科学家不会开发领域吗专业知识? 我同意协作/跨职能工作以架起桥梁是件好事专业知识差距。 我们需要依靠我们的同事WHO知道事情w电子大学教师't . 我还思考它有新鲜的观点很好. A同时,你怎么知道哪个没有领域知识要问的问题? 那一定来自某个地方。 为什么不发展域名n专长硒在每个人,包括这数据科学家?所有科学家都应该意识到认知偏差,并站在小心为了它个人和组织上。 一个好方法到处理这是为了受到纪律处分状态荷兰国际集团分析目标、假设、假设以及在着手之前的潜在差距实验或分析。 如果你不,我们的头脑很容易扭曲最初的想法或意图来匹配目前可见的东西. 这样的失真完全可以面具尤里卡!时刻 th我们都渴望。
山姆:通常需要一个团队来解决一个问题,团队中的每个人都发挥作用。 “纯”数据科学家可以专注于更多技术细节但是需要能够与团队其他成员沟通并获得他们的信任。 那个人也要有好生意敏锐, 为了能够看到大图了解局势和组织的政治。 一个好的数据科学家可以还学习业务领域知识使他们成为团队中更有效的成员.
你们都确认了数据科学家/机器学习工程师的最佳设置是团队环境。 在寻找该领域的工作时,职位描述中的危险信号是什么?
卡梅伦:主要的危险信号是职位描述描述了数据科学“独角兽”并且列出的职责包括数据工程师、应用程序工程师等。 ,通常会做。 寻找诸如“跨职能”和“团队”之类的短语,或者对您将与之共事的人员类型的描述,以表明该组织具有成熟的数据科学职能,或者至少已经考虑过他们的表现将发展这种能力。
甚至当人们谈论人工智能时,他们是否还在使用 JMP 等统计软件来分析数据和创建模型?
卡梅伦:人工智能并不总是需要定制的解决方案,当然也不总是深度神经网络!有很多用于监督和无监督学习的 ML 方法,可以使用点击式软件来很好地完成,例如JMP .
山姆:伟大的数据科学家可以授权的去做做得好如果他们拥有允许他们进行分析的工具. 是的,许多数据科学家的分析工具箱中都会有 JMP! JMP 的建模功能多样而全面,虽然您可能无法在 JMP 中完成您需要做的所有事情,但它仍然可以为您做很多事情。 结合其数据可视化和探索能力,它确实可以提高已完成的 AI 工作的速度和质量.
你能推荐一个介绍机器学习的在线课程吗?
卡梅伦:我非常喜欢 Andrew Ng 在 Coursera 上的机器学习课程作为介绍。 它涵盖神经网络,还包括回归、逻辑回归、支持向量机等。如果您想了解有关高级神经网络的更多信息,请通过也在 Coursera 中的 deeplearning.ai 进行深度学习专业化。Andrew Ng 的机器学习课程使用开源软件名为 Octave 的克隆,您可能永远不会再使用它。 您将通过以下方式使用 Python木星所有 deeplearning.ai 课程的笔记本,更有用,您还将了解 Python 中最流行的 ML 框架,例如凯拉斯和张量流。
杰森:我学习了几个 Coursera 模块。 我认为这个数据科学专业是一个很好的起点。 迈向数据科学是一个很好的资源,也。
我们感谢观众提出的许多问题提交在 Statistically Speaking 直播期间,以及我们很感激Cameron、Sam 和 Jason 花时间分享他们的有价值的观点在专业知识和培训。
我们还有一个训练建议:解决工业问题的统计思维可用来自 JMP也从Coursera 课程. 在下一篇文章中,我们的小组成员将要A回答问题关于数据和建模。
如果您没有机会现场观看面板,您可以观看大数据和机器学习方法够用吗?在我们的网站上。