重複行を見つけて削除する2462 行 × 13 列のデータがあります。これらの行の一部には、13 列のうち 12 列に重複した値が含まれています。常に一意のテキストが含まれている列は PK.SAMPLE と呼ばれます。これらのほぼ完全に重複した行を見つけて、データ セットから削除するにはどうすればよいでしょうか。
ありがとう、
ミリグラムRe: 重複行を見つけて削除するJSLにはSelect Duplicate Rows()という関数があり、プルダウンメニューでインタラクティブに使用することもできます。
行==>行の選択==>重複行の選択
Re: 重複行を見つけて削除するExcelには「重複を削除」ボタンが1つあります
Pandas にはワンライナーの drop_duplicates がありますhttps://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.drop_duplicates.html
本当にループを書いて、すべての値を自分でチェックする必要があるのでしょうか?
Re: 重複行を見つけて削除する最近、データ テーブルに重複した行を追加していないことを確認するためのスクリプトを作成しました。これが役立つかもしれません。
スクリプトは、テーブル内のすべての行 (i カウンター) と 9 つの列 (k カウンター) のそれぞれを反復処理して、値を最後の行の値と比較します。等しい行が見つかった場合は、最後の行を削除します。
dt << CurrentDataTable;
TotalRows = NRows(dt);
eqFlag = 1;
deleteFlag = 0;
For(i=1, i<TOTALROWS></TOTALROWS>
Re: 重複行を見つけて削除する必要な対話と自動化 (スクリプト) の程度に応じて、これを行う方法はたくさんあると思います。
私が思いつく対話的な方法の 1 つは、Tables:Summary を使用して、12 個の重複した変数をグループ化変数として割り当て、統計は割り当てないことです。これにより、12 個の変数の組み合わせの発生回数をリストする新しいテーブルが作成されます。新しいテーブルは元のテーブルにリンクされているため、新しいテーブルで NRows が 1 を超える行を選択すると、元のテーブルで重複が選択されていることがわかります。
たとえば、Big Class で身長と体重を調べると、身長 = 64、体重 = 99 という重複した組み合わせが 1 つ見つかります。
Data Table( "Big Class" ) << Summary( Group( :height, :weight ) )
Re: 重複行を見つけて削除する検索機能が動作しませんでしたか? または、無視するデータを選択し、左端の列を右クリックして、分析からデータを除外することを選択できます。
