黑暗数据,专业知识,建模-我们在10月涵盖了一系列主题。 1个统计学上讲。 大卫·汉德给了一个辉煌全体会议说话和通过警告我们为小组讨论奠定基础要记住需要思考并意识到所有黑暗的数据在那里-的我们看不到的数据,但我们需要考虑到。 黑暗数据:为什么不知道中号atter是他的最新著作(请参阅博客文章关于它;如果您还没有读过,你可以得到一个样品摘抄)。
嘉宾包括卡梅伦威尔登, 统计员在WL 支持工程师的戈尔和来自许多不同产品线的科学家; Sam Gardner,创始人Wildstats咨询服务,拥有30多年从事统计问题的经验解决对于政府和行业;和JMP的杰森·威金斯,拥有20年美国综合经验的资深人士,在流程优化,测量系统分析和预测建模/数据挖掘方面拥有专业知识。
我们没有时间来回答所有问题直播观众的问题,但我们的小组成员已经同意为其中许多人提供答案,进一步分享他们的集体经验中的智慧。 的问题按主题分组—太多了,我们正在做两个帖子。 在第一部分中,我们将专注于有关专业知识和培训的所有问题。 部分Ť我将介绍有关建模和数据的问题。
数据科学似乎允许很多未经分析培训的人员获得分析工作。 您对此有何看法?
卡梅伦:如果人们在做数据科学但他们所知道的是, “您将数据放在最后,然后从中得到答案。”基于这项工作做出决策的人们都充满了痛苦。我不害怕使各种分析民主化,但是人们仍然需要对统计数据以及工具箱中每个工具的局限性有很好的基础理解。 更准确地说,他们应该能够可靠地识别何时将要违反现实世界中的那些限制。 达到这一点不需要一个硕士统计学位主义的s或米机器升收入(ML )但对我来说,通过正规培训和非正式学徒培训相结合到达那里似乎很现实。
山姆:总体上,我觉得这是一件好事。 创新者(如JMP !) 已经创造出来了真的很棒软件工具那实现了分析的“民主化”,其中主要技能要求回覆较少涉及编程和数学,而是有关解决问题,团队合作,业务或组织的更多信息敏锐的和沟通。 还有更多要解决的问题tha ñ有人来解决他们当前,组织需要的是具有较高“分析商”(AQ)的人员。 高AQ的员工可能来自不同的背景并且拥有不同的技能,但是他们仍然都需要理解数据科学的基本思想。
我认为有一种观点认为数据科学家不需要了解统计信息。 我觉得这是一个危险的趋势。 你有什么意见?
山姆:尽管,正如我在上文中回答的那样,拥有高AQ并能使用良好软件工具的人员可以使企业在整个企业中进行数据科学,但您仍然需要一群精通数学科学知识的人员。 原因是他们是核心团队,将为数据科学开发更好的内部工具和流程。 一种业务增长一世Ť s AQ,简单的问题将得到解决,而剩余的问题通常需要更多的技术Ë特技解决。 另外,统计学家通常对如何解决这些难题有敏锐的洞察力。 所以,是的,一世的有利于您的组织访问统计员,以及d不只是假设您可以发展您的组织'没有统计学家的帮助和服务的AQ 。
杰森:我观察到那些好人分析师强迫自己了解自己在做什么,这意味着学习统计主义的s。 它是明显的在某人对演示文稿或技术报告有深刻了解的情况下什么他们是沟通。 他们是否知道足够简单地交流发现和方法并回答随后的难题? 我认为并不是每个数据科学家都应该具备数学知识统计员,但是他们应该在理论和应用上有很好的基础他们使用的工具。我还认为,作为分析师的数据科学家与作为数据架构师的数据科学家之间存在区别。 在一些公司,我与,这些是不同的工作职能,具有不同的领导,但他们都被称为数据科学家。 的数据架构师可能不需要太多了解统计信息主义的s如分析人员,但他们应该有足够的指导工作。每个人都可以从更好的统计知识中受益! 为什么只要求数据科学家和统计学家呢?
我在ML和AI领域需要帮助。 我是否需要雇用具有业务领域专业知识的人员,或者可以仅将其提供给具有ML和AI专业知识的才华横溢的数据科学家? 我掌握了一些基本的统计数据和数据科学技能。
卡梅隆:数据科学家通常被定义为具有强大统计能力的人主义的s /分析,程式设计和域专长,但幸运的是,最后一项通常是在工作中获得的,并达到了有效的水平。 作为戈尔(Gore)的工业统计学家,的面料部门,我不得不学习很多有关纺织品的知识,层压和网络处理;但是仅仅几个星期后,我就学到了足够的知识,开始向工程师提问没有想问问他们的过程。 通过与他们合作,他们可以填补我所拥有的许多知识空白为了我们共同创造有效的策略来解决他们的问题。 我经历了同样的经历中号前卫的P产品部人力资源,现在是最近,小号充实C哈恩。您可能会找到一个候选人,该候选人在您的域中取得了本科学位,但完成了统计专业的研究生学位主义的S / ML /数据科学。 在我看来,这是一个罕见的例外,您可能要等待永恒才能找到该候选人。
杰森:我很少聘请具有领域和数据科学甚至基本的统计问题解决能力的人来做专长。 我寻找的人是能学习者并有证明的成功学习新概念。 如果新员工具备此才能,则可以填补专长经过培训。 我相信扎实的登机过程和培训是新员工成功的基础。 我认为大多数公司有训练领域的知识专长但可能仍需要设计课程和结构交付。如果您的公司不具备教授机器学习和统计问题解决能力所需的技能水平给有域名的人专长,找到可以与之合作的优秀顾问,直到的整体技能水平达到什么是需要内部教学。每个公司可以受益于深经验值证书统计的解决问题领域。
对于拥有领域知识的“好”数据科学家是否更好,相对于拥有能够与领域专家合作的“纯”数据科学家,对数据/结果解释是否有“偏见”,目前仍在争论。 有什么想法吗?
卡梅隆:域专长我认为总是会超过对潜在偏见的担忧。 领域知识可以帮助您预料问题,了解存在的细微差别影响很大,并正确解释结果。 然而,我认为它基于对领域知识的分析和编码技能聘用更有意义以来通常可以在工作中获得,依靠团队中的其他人专长在过渡期。
杰森:我想首先解决问题的第二部分。 如果您将数据科学家与领域专家配对以解决棘手的业务问题,数据科学家不会发展领域专长? 我同意以协作/跨职能的方式进行沟通是很好的专长差距。 我们需要依靠我们的同事WHO知道事Ë不要t 。 一世也认为它有新鲜的见解是很好的。 一种同时,你怎么知道的哪一个没有领域知识要问的问题? 那一定来自某个地方。 为什么不发展domai ñ专家SE在每个人中,包含的数据科学家?所有科学家都应意识到认知偏见,并保持小心对于它个人和组织上。 一个好方法至处理这是为了受到纪律处分统计ing分析目标,假设,假设和着手之前的潜在差距实验或分析。 如果你别,这很容易使我们的思维扭曲原始思想或意图以匹配当前可见的事物。 这样的失真完全可以面具尤里卡!时刻我们都渴望。
山姆:通常需要团队来解决问题,团队中的每个人都扮演着角色。 “纯”数据科学家可以专注于更多技术细节但是需要能够与团队中其他成员进行交流并获得他们的信任。 那个人也需要做生意敏锐的,以便能够看到大图景并了解局势和组织的政治。 一个好的数据科学家可以也学习业务领域知识使他们成为团队中更有效的成员。
你们都确认数据科学家/机器学习工程师的最佳设置是团队环境。 在该地区寻找工作时,工作描述中的红色标记是什么?
卡梅隆:主要危险信号是工作描述描述数据科学“独角兽”且列出的职责包括数据工程师,应用工程师等。 ,通常会做。 查找诸如“跨职能”和“团队”之类的短语,或与您一起工作的人员类型的描述,以表明该组织具有成熟的数据科学职能,或者至少对他们的工作状况有所考虑要发展这种能力。
即使人们谈论AI,他们是否仍在使用诸如JMP之类的统计软件来分析数据并创建模型?
卡梅伦: AI并不总是需要定制的解决方案,当然也不一定总是深度神经网络!诸如此类的点击式软件可以很好地完成用于监督和无监督学习的ML方法JMP 。
山姆:大数据科学家可以授权的去做做得好如果他们拥有允许他们进行分析的工具。 是的,许多数据科学家将在他们的分析工具箱中使用JMP! JMP的建模功能是多样且全面的,尽管您可能无法完成JMP中需要做的所有事情,但它仍然可以为您做很多事情。 结合其数据可视化和探索功能,它确实可以提高完成的AI工作的速度和质量。
您可以推荐一门在线课程来介绍机器学习吗?
卡梅隆:我是Coursera上Andrew Ng的机器学习课程的忠实拥护者。 它涵盖了神经网络,还涉及了回归,逻辑回归,支持向量机等。如果您想了解有关高级神经网络的更多信息,请通过也在Coursera中的deeplearning.ai进行“深度学习专业化”。Ng的机器学习课程使用开源Matlab的名为Octave的克隆,您可能永远不会再使用。 您将通过以下方式使用Python朱皮特适用于所有deeplearning.ai课程的笔记本,它的用处要大得多,并且还将向您介绍Python中最受欢迎的ML框架,例如凯拉斯和TensorFlow。
杰森:我已经学习了几个Coursera模块。 我认为这个数据科学专业是一个很好的起点。 走向数据科学是很棒的资源,太。
我们感谢观众的许多疑问已提交在统计演讲的直播过程中,以及我们很感激Cameron,Sam和Jason花时间分享他们的知识有价值观点上专长和培训。
我们又接受了一次培训建议:工业问题解决的统计思维可用来自JMP以及从Coursera 。 在下一篇文章中我们的小组成员将一种nswer问题关于数据和建模。
如果您没有机会现场观看该面板,则可以观看大数据和机器学习方法是否足够?在我们的网站上。