Linux一条命令删除文件中的重复项
在Linux系统中,如果你想给一个包含重复项(以行为一个单位)的文件去重,那么你只需要一条命令即可实现;
以 test.txt 文件为例:
awk '!x[$0]++' test.txt
该命令不会修改源文件的内容,只会将去重后的内容输出到屏幕,如果你想要将去重后的内容保存,那你可以这样做:
awk '!x[$0]++' test.txt > 1.txt
在Linux系统中,如果你想给一个包含重复项(以行为一个单位)的文件去重,那么你只需要一条命令即可实现;
以 test.txt 文件为例:
awk '!x[$0]++' test.txt
该命令不会修改源文件的内容,只会将去重后的内容输出到屏幕,如果你想要将去重后的内容保存,那你可以这样做:
awk '!x[$0]++' test.txt > 1.txt
原创内容,如需转载,请注明出处;
本文地址: https://www.perfcode.com/p/remove-duplicate-entries.html
关注微信公众号,免费向我提问;