你听说过波士顿住房数据中的道德问题吗?当我尝试在 Python 的 scikit-learn(通过 load_boston 模块)中使用 Boston Housing 数据时,我收到了以下错误消息,这让我感到很惊讶。 我认为我们应该避免在向用户和潜在客户演示时使用这些数据。 我在 JIRA ticket JMP-16844 中输入我们应该从 JMP 中删除 Boston Housing 样本数据表。我经常天真地使用这个数据集。
`load_boston` has been removed from scikit-learn since version 1.2.
The Boston housing prices dataset has an ethical problem: as
investigated in [1], the authors of this dataset engineered a
non-invertible variable "B" assuming that racial self-segregation had a
positive impact on house prices [2]. Furthermore the goal of the
research that led to the creation of this dataset was to study the
impact of air quality but it did not give adequate demonstration of the
validity of this assumption.
The scikit-learn maintainers therefore strongly discourage the use of
this dataset unless the purpose of the code is to study and educate
about ethical issues in data science and machine learning.
回复:您是否听说过波士顿住房数据中的道德问题?无论如何,我们的目标是“传播统计发现的使用和影响科学的和工程社区”,我们真的应该使用更多相关的例子。
回复:您是否听说过波士顿住房数据中的道德问题?感谢您提供信息和回复。
似乎右数第 3 列的“b”比“lstat”有更严重的道德问题。
回复:您是否听说过波士顿住房数据中的道德问题?感谢你的回复。
我同意。 “公平”在机器学习和科学领域必须非常重要。
回复:您是否听说过波士顿住房数据中的道德问题?更正。在 JMP 示例数据表中,它是变量“B”,它与非裔美国人的人口百分比相关。请记住时间这项研究起源于种族歧视和偏见在美国更为普遍的时候。我认为 LSTAT 变量也与种族或民族有关。
虽然种族或民族可能是用于预测建模的重要人口统计变量,但此示例有目的地定义了一个变量,该变量暗示一个特定的种族群体决定了一个地理区域的整体经济状况。此示例数据在使用 JMP Pro 构建更好的模型一书中使用,但在第 2 版(目前正在进行中)中,我们希望替换此示例数据集。
在我看来,我认为最好避免在演示和文档中使用这些数据。
回复:您是否听说过波士顿住房数据中的道德问题?@yusuke_ono谢谢你提出这个问题。我想让您知道,我们正在对此进行密切评估,并且开发人员正在积极查看我们的示例数据集,以确定那些数据来源或背景不适合我们使用的示例。
我认为这也强调了我们在展示和演示 JMP 时应该注意了解我们使用的数据的来源和背景。
回复:您是否听说过波士顿住房数据中的道德问题?我同意上面所说的。 目前的一种“解决方法”是删除或者隐藏&排除那些有问题的变量。多年前,当我在 AT&T 工作时,我们在使用美国人口普查人口统计数据为我们的客户建模时遇到了类似的问题,我们的律师建议我们不要在评分模型中使用它们。