rechercher et supprimer les lignes en doubleJ'ai 2462 lignes sur 13 colonnes. Certaines de ces lignes contiennent des valeurs en double dans 12 des 13 colonnes. La colonne qui contient toujours un texte unique s'appelle PK.SAMPLE. Comment puis-je trouver ces lignes de doublons presque exacts et les supprimer de l'ensemble de données ?
Merci,
mgmRe : rechercher et supprimer les lignes en doubleIl existe une fonction appelée Select Duplicate Rows() en JSL, ou elle peut être utilisée de manière interactive dans les menus déroulants.
Lignes ==> Sélection de lignes ==> Sélectionner les lignes en double
Re : rechercher et supprimer les lignes en doubleExcel dispose d'un seul bouton "Supprimer les doublons"
Pandas a un drop_duplicates à une seule ligne https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.drop_duplicates.html
Nous devons vraiment écrire une boucle et vérifier chaque valeur nous-mêmes ?
Re : rechercher et supprimer les lignes en doubleJ'ai récemment écrit un script pour vérifier que je n'ajoutais pas de lignes en double à une table de données. Peut-être que cela aidera.
Le script parcourt toutes les lignes du tableau (compteur i) et chacune de mes 9 colonnes (compteur k) en comparant les valeurs à celles de la dernière ligne. S'il trouve des lignes égales, il supprimera la dernière ligne.
dt << CurrentDataTable;
TotalRows = NRows(dt);
eqFlag = 1;
deleteFlag = 0;
For(i=1, i<TOTALROWS></TOTALROWS>
Re : rechercher et supprimer les lignes en doubleJe suis sûr qu'il existe de nombreuses façons de procéder, en fonction du degré d'interaction par rapport à l'automatisation (script) souhaité.
Une façon interactive à laquelle je peux penser est d'utiliser Tables:Summary et d'attribuer les 12 variables dupliquées comme variables de regroupement et sans statistique. Cela créera un nouveau tableau répertoriant le nombre d'occurrences de chaque combinaison de 12 variables. La nouvelle table est liée à l'original, donc si vous sélectionnez des lignes dans la nouvelle table avec NRows supérieur à 1, vous verrez des dupes sélectionnées dans l'original.
Faire avec Big Class sur la taille et le poids, par exemple, révèle une combinaison dupliquée : taille=64, poids=99.
Data Table( "Big Class" ) << Summary( Group( :height, :weight ) )
Re : rechercher et supprimer les lignes en doubleLa fonction de recherche n'a pas fonctionné ? Alternativement, vous pouvez sélectionner les données que vous souhaitez ignorer, faire un clic droit dans la colonne la plus à gauche, puis choisir d'exclure les données de votre analyse.
