239317_fr-FR

liliconcom

Fonctionnalités de prétraitement

Bonjour,

 

J'aimerais commencer à prétraiter mes fonctionnalités dans une base de données avant de commencer l'analyse. Je cherche de l'aide concernant les démarches à suivre.

Qu'est-ce qui vient en premier après le nettoyage des données ? Suppression des valeurs aberrantes, mise à l'échelle (normalisation des données) ou imputation des données manquantes ?

 

Quelle commande proposeriez-vous ?

 

Salutations

 

Lu

Re : Fonctionnalités de prétraitement

Je crois que la normalisation est faite pour le clustering.La documentation JMP indique que pour KNN, chaque variable est mise à l'échelle par son écart type - précisément pour éviter le type de problème auquel vous faites allusion.Donc, je pense toujours qu'aucun prétraitement supplémentaire n'est nécessaire pour que vous fassiez ce que vous voulez - comparez un certain nombre de modèles prédictifs différents.

Re : Fonctionnalités de prétraitement

Merci Dale pour la réponse,

 

En effet, il est important d'examiner graphiquement vos données avant de les pré-traiter.

Je souhaite comparer les performances prédictives de plusieurs modèles de machine learning (modèles linéaires tels que KNN et modèles non linéaires tels que Random Forest, etc...) sur mes données. Les modèles linéaires traitent les entités comme si elles étaient à la même échelle. Mais les variables physiologiques ont des valeurs sur des échelles très différentes telles que le pH et la fréquence cardiaque. Par conséquent, je veux les mettre à l'échelle par normalisation Z. De plus, l'algorithme de clustering (K-mean clustering) n'impute pas automatiquement les valeurs manquantes dans JMPpro. C'est pourquoi je voulais d'abord prétraiter mes données

Re : Fonctionnalités de prétraitement

Je vais essayer de le faire, même si je pense que vous devez probablement être plus précis pour obtenir de meilleurs conseils.Je ne sais pas comment vous distinguez les données de "nettoyage" du "prétraitement", mais je vous déconseille l'étape que vous énumérez.Je ne recommande jamais de supprimer les valeurs aberrantes - du moins jusqu'à ce que l'analyse soit assez avancée lorsque vous comprenez pourquoi les valeurs aberrantes sont, en fait, des valeurs aberrantes. Je ne recommanderais pas non plus la normalisation ou la remise à l'échelle des données en tant que pratique générale (bien que cela puisse devenir utile dans des contextes particuliers) - de nombreuses plates-formes d'analyse JMP normalisent automatiquement les données lorsque cela est utile.De même, l'imputation des données manquantes n'est pas nécessaire sur la plupart des plates-formes JMP car elle est effectuée automatiquement (généralement en cochant simplement une case pour inclure les données manquantes).Il y a des moments où vous souhaiterez imputer les valeurs manquantes avec plus de soin, peut-être en utilisant votre propre méthodologie (par exemple, en construisant un modèle de régression pour imputer les données manquantes), mais cela dépendra encore une fois du contexte.Donc, je ne recommande pas de faire l'une des choses que vous énumérez comme une chose automatique.Au lieu de cela, je commencerais par examiner graphiquement vos données pour m'assurer que vous comprenez ce qui est mesuré, quels types de relations semblent exister et sont potentiellement importants, et pour déterminer si un "prétraitement" est une bonne idée.