239317_it-IT

liliconcom

Funzionalità di preelaborazione

Ciao,

 

Mi piacerebbe iniziare a pre-elaborare le mie funzionalità in un database prima di iniziare l'analisi. Sto cercando aiuto per quanto riguarda i passaggi da seguire.

Cosa viene prima dopo la pulizia dei dati? Rimozione valori anomali, ridimensionamento (normalizzazione dei dati) o imputazione dati mancanti?

 

Quale ordine suggeriresti?

 

Saluti

 

Lu

Re: Funzionalità di preelaborazione

Credo che la standardizzazione sia fatta per il clustering.La documentazione di JMP dice che per KNN, ogni variabile viene scalata in base alla sua deviazione standard, proprio per evitare il tipo di problema a cui alludi.Quindi, penso ancora che non sia necessaria alcuna preelaborazione aggiuntiva per fare ciò che desideri: confrontare una serie di diversi modelli predittivi.

Re: Funzionalità di preelaborazione

Grazie Dale per la risposta,

 

In effetti, è importante esaminare i tuoi dati graficamente prima di preelaborarli.

Voglio confrontare le prestazioni predittive di diversi modelli di machine learning (modelli lineari come KNN e modelli non lineari come Random Forest, ecc...) sui miei dati. I modelli lineari trattano le caratteristiche come se fossero della stessa scala. Ma le variabili fisiologiche hanno valori su scale molto diverse come il pH e la frequenza cardiaca. Pertanto voglio ridimensionarli tramite la normalizzazione Z. Inoltre, l'algoritmo di clustering (clustering K-mean) non attribuisce automaticamente i valori mancanti in JMPpro. Ecco perché prima volevo preelaborare i miei dati

Re: Funzionalità di preelaborazione

Ci proverò, anche se penso che probabilmente dovrai essere più specifico per ottenere consigli migliori.Non sono sicuro di come distinguere i dati di "pulizia" dalla "preelaborazione", ma sconsiglio il passaggio che elenchi.Non consiglio mai di rimuovere i valori anomali, almeno fino a quando non si è abbastanza bene in un'analisi quando si ha una certa comprensione del motivo per cui i valori anomali sono, in effetti, valori anomali. Inoltre, non consiglierei la normalizzazione o il ridimensionamento dei dati come pratica generale (sebbene possa diventare utile per contesti particolari): molte piattaforme di analisi JMP normalizzano automaticamente i dati dove è utile.Allo stesso modo, l'imputazione dei dati mancanti non è necessaria nella maggior parte delle piattaforme JMP poiché viene eseguita automaticamente (di solito semplicemente selezionando una casella per includere i dati mancanti).Ci sono volte in cui vorrai imputare i valori mancanti con maggiore attenzione, magari usando la tua metodologia (ad esempio, costruendo un modello di regressione per imputare i dati mancanti), ma anche questo dipenderà dal contesto.Quindi, non consiglio di fare nessuna delle cose che elenchi come una cosa automatica.Invece, inizierei esaminando graficamente i tuoi dati per assicurarmi di capire cosa viene misurato, quali tipi di relazioni sembrano esistere e sono potenzialmente importanti e per accertare se qualche "preelaborazione" è una buona idea.