一条命令实现:删除文件中的重复项


在Linux系统中,如果你想给一个包含重复项(以行为一个单位)的文件去重,那么你只需要一条命令即可实现;

以 test.txt 文件为例:

awk '!x[$0]++' test.txt

该命令不会修改源文件的内容,只会讲去重后的内容输出到屏幕,如果你想要将去重后的内容保存,那你可以这样做:

awk '!x[$0]++' test.txt > 1.txt

如需转载,请注明出处,本文地址:https://www.perfcode.com/p/remove-duplicate-entries.html