Suchen und löschen Sie doppelte ZeilenIch habe 2462 Zeilen mal 13 Spalten. Einige dieser Zeilen enthalten doppelte Werte in 12 der 13 Spalten. Die Spalte, die immer eindeutigen Text enthält, heißt PK.SAMPLE. Wie kann ich diese Zeilen mit nahezu exakten Duplikaten finden und aus dem Datensatz entfernen?
Danke,
mgmBetreff: Doppelte Zeilen finden und löschenIn JSL gibt es eine Funktion namens Select Duplicate Rows(), die auch interaktiv in den Pulldown-Menüs verwendet werden kann
Zeilen==>Zeilenauswahl==>Doppelte Zeilen auswählen
Betreff: Doppelte Zeilen finden und löschenExcel verfügt über eine Ein-Tasten-Funktion zum Entfernen von Duplikaten.
Pandas hat ein einzeiliges drop_duplicates https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.drop_duplicates.html
Müssen wir wirklich eine Schleife schreiben und jeden Wert selbst überprüfen?
Betreff: Doppelte Zeilen finden und löschenIch habe kürzlich ein Skript geschrieben, um zu überprüfen, ob ich einer Datentabelle keine doppelten Zeilen hinzufüge. Vielleicht hilft das.
Das Skript durchläuft alle Zeilen in der Tabelle (i-Zähler) und jede meiner 9 Spalten (k-Zähler) und vergleicht die Werte mit denen in der letzten Zeile. Wenn es gleiche Zeilen findet, wird die letzte Zeile gelöscht.
dt << CurrentDataTable;
TotalRows = NRows(dt);
eqFlag = 1;
deleteFlag = 0;
For(i=1, i<TOTALROWS></TOTALROWS>
Betreff: Doppelte Zeilen finden und löschenIch bin mir sicher, dass es viele Möglichkeiten gibt, dies zu tun, je nachdem, welchen Grad an Interaktion oder Automatisierung (Skripterstellung) Sie wünschen.
Eine interaktive Möglichkeit, die ich mir vorstellen kann, ist die Verwendung von „Tabellen:Zusammenfassung“ und die Zuweisung der 12 gefälschten Variablen als Gruppierungsvariablen und nicht als Statistik. Es wird eine neue Tabelle erstellt, in der die Häufigkeit des Vorkommens jeder 12-Variablen-Kombination aufgeführt ist. Die neue Tabelle ist mit dem Original verknüpft. Wenn Sie also Zeilen in der neuen Tabelle mit NRows von mehr als 1 auswählen, werden im Original Duplikate ausgewählt.
Betrachtet man beispielsweise „Big Class“ zu Größe und Gewicht, kommt eine doppelte Kombination zum Vorschein: Größe=64, Gewicht=99.
Data Table( "Big Class" ) << Summary( Group( :height, :weight ) )
Betreff: Doppelte Zeilen finden und löschenHat die Suchfunktion nicht funktioniert? Alternativ können Sie die Daten auswählen, die Sie ignorieren möchten, mit der rechten Maustaste in die Spalte ganz links klicken und dann die Daten aus Ihrer Analyse ausschließen.
