ボストンの住宅データに倫理的な問題があることを聞いたことがありますか?Python の scikit-learn (load_boston モジュールによる) でボストン ハウジング データを使用しようとしたときに、次のエラー メッセージが表示されて驚きました。 ユーザーや見込み客に対してデモを行う際には、このデータを使用することは避けるべきだと思います。 JIRA チケット JMP-16844 に、Boston Housing サンプル データ テーブルを JMP から削除する必要があると入力しました。私はこのデータセットを無邪気によく使用してきました。
`load_boston` has been removed from scikit-learn since version 1.2.
The Boston housing prices dataset has an ethical problem: as
investigated in [1], the authors of this dataset engineered a
non-invertible variable "B" assuming that racial self-segregation had a
positive impact on house prices [2]. Furthermore the goal of the
research that led to the creation of this dataset was to study the
impact of air quality but it did not give adequate demonstration of the
validity of this assumption.
The scikit-learn maintainers therefore strongly discourage the use of
this dataset unless the purpose of the code is to study and educate
about ethical issues in data science and machine learning.
Re: ボストンの住宅データに倫理的な問題があることを聞いたことがありますか?いずれにせよ、私たちの目標は「統計的発見の使用と影響を国内に広めるため科学的とエンジニアリングコミュニティ」では、もっと適切な例を使用する必要があります。
Re: ボストンの住宅データに倫理的な問題があることを聞いたことがありますか?情報とご返信ありがとうございます。
「lstat」よりも右から3列目の「b」のほうが倫理的に深刻な問題があると思われます。
Re: ボストンの住宅データに倫理的な問題があることを聞いたことがありますか?お返事ありがとうございます。
同意します。 機械学習や科学の分野では「公平性」が非常に重要なはずです。
Re: ボストンの住宅データに倫理的な問題があることを聞いたことがありますか?修正。JMP のデータ テーブルの例では、変数「B」が、人口に占めるアフリカ系アメリカ人の割合に関連しています。その時間を念頭に置いてくださいこの研究これは、米国で人種差別と偏見がはるかに一般的だったときに始まりました。LSTAT 変数も人種や民族に関連していると思います。
人種や民族は予測モデリングに使用する重要な人口統計変数になる可能性がありますが、この例では、特定の人種グループが地理的地域の全体的な経済的地位を決定することを意味する変数を意図的に定義しています。このサンプル データは、『Building Better Models with JMP Pro』ブックで使用されていますが、第 2 版 (現在進行中) では、このサンプル データ セットを置き換えることを検討しています。
私の意見では、このデータをデモやドキュメントで使用することは避けた方がよいと思います。
Re: ボストンの住宅データに倫理的な問題があることを聞いたことがありますか?@yusuke_onoこの件について取り上げていただきありがとうございます。これは綿密に評価されており、開発ではサンプル データセットを積極的に調べて、データのソースや背景が使用に適さない例を特定していることをお知らせしたいと思います。
これは、JMP のプレゼンテーションやデモを行うときに、使用するデータのソースと背景を理解することに注意する必要があることも強調していると思います。
Re: ボストンの住宅データに倫理的な問題があることを聞いたことがありますか?私は上記の内容に同意します。 当面の「回避策」の 1 つは、消去また隠れる&除外する問題の変数。何年も前、私が AT&T で働いていたとき、顧客のモデル化に米国国勢調査の人口統計データを使用することに関して同様の問題に直面しました。弁護士は、スコアリング モデルに米国国勢調査の人口統計データを使用しないようアドバイスしました。
