Hai mai sentito parlare di un problema etico nei dati di Boston Housing?Sono stato sorpreso di aver ricevuto il seguente messaggio di errore quando ho provato a utilizzare i dati di Boston Housing in scikit-learn di Python (dal modulo load_boston). Penso che dovremmo evitare di utilizzare questi dati durante la demo per utenti e potenziali clienti. Ho inserito nel ticket JIRA JMP-16844 che dovremmo rimuovere la tabella dei dati di esempio di Boston Housing da JMP. Ho spesso usato ingenuamente questo set di dati.
`load_boston` has been removed from scikit-learn since version 1.2.
The Boston housing prices dataset has an ethical problem: as
investigated in [1], the authors of this dataset engineered a
non-invertible variable "B" assuming that racial self-segregation had a
positive impact on house prices [2]. Furthermore the goal of the
research that led to the creation of this dataset was to study the
impact of air quality but it did not give adequate demonstration of the
validity of this assumption.
The scikit-learn maintainers therefore strongly discourage the use of
this dataset unless the purpose of the code is to study and educate
about ethical issues in data science and machine learning.
Re: Hai mai sentito parlare di un problema etico nei dati di Boston Housing?In ogni caso, con il nostro obiettivo di " diffondere l'uso e l'impatto di Statistical Discovery all'interno del scientifico E ingegneria comunità", dovremmo davvero usare esempi più pertinenti.
Re: Hai mai sentito parlare di un problema etico nei dati di Boston Housing?Grazie per le informazioni e per la risposta.
Sembra che "b", la 3a colonna da destra, abbia un problema etico più serio di "lstat".
Re: Hai mai sentito parlare di un problema etico nei dati di Boston Housing?Grazie per la risposta.
Sono d'accordo. La "correttezza" deve essere molto importante nell'apprendimento automatico e nell'area scientifica.
Re: Hai mai sentito parlare di un problema etico nei dati di Boston Housing?Correzione.Nella tabella dati di esempio di JMP, è la variabile "B", che è correlata alla percentuale della popolazione che è afroamericana.Tieni presente il tempo in cui questo studio origine, quando la discriminazione razziale e il pregiudizio erano molto più comuni negli Stati Uniti.Penso che anche la variabile LSTAT sia correlata alla razza o all'etnia.
Mentre la razza o l'etnia possono essere un'importante variabile demografica da utilizzare per la modellazione predittiva, questo esempio definisce intenzionalmente una variabile che implica che un particolare gruppo razziale determina lo stato economico complessivo di una regione geografica.Questi dati di esempio vengono utilizzati nel libro Building Better Models with JMP Pro, ma nella 2a edizione (attualmente in corso) stiamo cercando di sostituire questo set di dati di esempio.
A mio parere, penso che sia meglio evitare di utilizzare questi dati nelle demo e nella documentazione.
Re: Hai mai sentito parlare di un problema etico nei dati di Boston Housing?@yusuke_ono grazie per aver sollevato la questione.Volevo farti sapere che questo viene valutato attentamente e lo sviluppo sta esaminando attivamente i nostri set di dati di esempio per identificare quegli esempi in cui la fonte o il background dei dati non sarebbe appropriato per noi da utilizzare.
Penso che ciò evidenzi anche che dovremmo fare attenzione a comprendere l'origine e il background dei dati che utilizziamo quando presentiamo e dimostriamo JMP.
Re: Hai mai sentito parlare di un problema etico nei dati di Boston Housing?Concordo con quanto detto sopra. Un "work-around" per il momento è farlo eliminare O nascondere & escludere quelle variabili in questione.Anni fa, quando lavoravo presso AT&T, abbiamo affrontato problemi simili per quanto riguarda l'utilizzo dei dati demografici del censimento degli Stati Uniti nel modellare i nostri clienti, i nostri avvocati ci hanno consigliato di non utilizzarli nei modelli di punteggio.
