trova e rilascia le righe duplicateHo 2462 righe per 13 colonne. Alcune di queste righe contengono valori duplicati in 12 delle 13 colonne. La colonna che contiene sempre testo univoco è denominata PK.SAMPLE. Come posso trovare queste righe di duplicati quasi esatti e rimuoverle dal set di dati?
Grazie,
mgmRi: trova e rilascia righe duplicateEsiste una funzione chiamata Select Duplicate Rows() in JSL, oppure può essere utilizzata in modo interattivo nei menu a discesa
Righe==>Selezione riga==>Seleziona righe duplicate
Ri: trova e rilascia righe duplicateExcel ha un pulsante "Rimuovi duplicati"
Pandas ha un drop_duplicates a una riga https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.drop_duplicates.html
Dobbiamo davvero scrivere un ciclo e controllare noi stessi ogni valore?
Ri: trova e rilascia righe duplicateDi recente ho scritto uno script per verificare di non aggiungere righe duplicate a una tabella di dati. Forse questo aiuterà.
Lo script scorre tutte le righe della tabella (contatore i) e ciascuna delle mie 9 colonne (contatore k) confrontando i valori con quelli dell'ultima riga. Se trova righe uguali, eliminerà l'ultima riga.
dt << CurrentDataTable;
TotalRows = NRows(dt);
eqFlag = 1;
deleteFlag = 0;
For(i=1, i<TOTALROWS></TOTALROWS>
Ri: trova e rilascia righe duplicateSono sicuro che ci sono molti modi per farlo a seconda del grado di interazione rispetto all'automazione (scripting) che desideri.
Un modo interattivo a cui riesco a pensare è l'uso di Tables:Summary e l'assegnazione delle 12 variabili duplicate come variabili di raggruppamento e nessuna statistica. Verrà creata una nuova tabella che elenca il numero di occorrenze di ciascuna combinazione di 12 var. La nuova tabella è collegata all'originale, quindi se selezioni le righe nella nuova tabella con NRows più di 1, vedrai i duplicati selezionati nell'originale.
Facendo Big Class su altezza e peso, ad esempio, si scopre una combinazione duplicata: altezza=64, peso=99.
Data Table( "Big Class" ) << Summary( Group( :height, :weight ) )
Ri: trova e rilascia righe duplicateLa funzione di ricerca non ha funzionato? In alternativa, puoi selezionare i dati che desideri ignorare, fare clic con il pulsante destro del mouse sulla colonna all'estrema sinistra e quindi scegliere di escludere i dati dalla tua analisi.
