你聽說過波士頓住房數據中的道德問題嗎?當我嘗試在 Python 的 scikit-learn(通過 load_boston 模塊)中使用 Boston Housing 數據時,我收到了以下錯誤消息,這讓我感到很驚訝。 我認為我們應該避免在向用戶和潛在客戶演示時使用這些數據。 我在 JIRA ticket JMP-16844 中輸入我們應該從 JMP 中刪除 Boston Housing 樣本數據表。我經常天真地使用這個數據集。
`load_boston` has been removed from scikit-learn since version 1.2.
The Boston housing prices dataset has an ethical problem: as
investigated in [1], the authors of this dataset engineered a
non-invertible variable "B" assuming that racial self-segregation had a
positive impact on house prices [2]. Furthermore the goal of the
research that led to the creation of this dataset was to study the
impact of air quality but it did not give adequate demonstration of the
validity of this assumption.
The scikit-learn maintainers therefore strongly discourage the use of
this dataset unless the purpose of the code is to study and educate
about ethical issues in data science and machine learning.
回复:您是否聽說過波士頓住房數據中的道德問題?無論如何,我們的目標是“傳播統計發現的使用和影響科學的和工程社區”,我們真的應該使用更多相關的例子。
回复:您是否聽說過波士頓住房數據中的道德問題?感謝您提供信息和回复。
似乎右數第 3 列的“b”比“lstat”有更嚴重的道德問題。
回复:您是否聽說過波士頓住房數據中的道德問題?感謝你的回复。
我同意。 “公平”在機器學習和科學領域必須非常重要。
回复:您是否聽說過波士頓住房數據中的道德問題?更正。在 JMP 示例數據表中,它是變量“B”,它與非裔美國人的人口百分比相關。請記住時間這項研究起源於種族歧視和偏見在美國更為普遍的時候。我認為 LSTAT 變量也與種族或民族有關。
雖然種族或民族可能是用於預測建模的重要人口統計變量,但此示例有目的地定義了一個變量,該變量暗示一個特定的種族群體決定了一個地理區域的整體經濟狀況。此示例數據在使用 JMP Pro 構建更好的模型一書中使用,但在第 2 版(目前正在進行中)中,我們希望替換此示例數據集。
在我看來,我認為最好避免在演示和文檔中使用這些數據。
回复:您是否聽說過波士頓住房數據中的道德問題?@yusuke_ono謝謝你提出這個問題。我想讓您知道,我們正在對此進行密切評估,並且開發人員正在積極查看我們的示例數據集,以確定那些數據來源或背景不適合我們使用的示例。
我認為這也強調了我們在展示和演示 JMP 時應該注意了解我們使用的數據的來源和背景。
回复:您是否聽說過波士頓住房數據中的道德問題?我同意上面所說的。 目前的一種“解決方法”是刪除或者隱藏&排除那些有問題的變量。多年前,當我在 AT&T 工作時,我們在使用美國人口普查人口統計數據為我們的客戶建模時遇到了類似的問題,我們的律師建議我們不要在評分模型中使用它們。