Linux一条命令删除文件中的重复项

在Linux系统中,如果你想给一个包含重复项(以行为一个单位)的文件去重,那么你只需要一条命令即可实现;

以 test.txt 文件为例:

awk '!x[$0]++' test.txt

该命令不会修改源文件的内容,只会将去重后的内容输出到屏幕,如果你想要将去重后的内容保存,那你可以这样做:

awk '!x[$0]++' test.txt > 1.txt

原创内容,如需转载,请注明出处;

本文地址: https://www.perfcode.com/p/remove-duplicate-entries.html

分类: 计算机技术
推荐阅读:
Matlab如何设置默认工作目录? 要设置 MATLAB 的默认工作目录,可以按照以下步骤进行操作:
Python any()函数 any()是 Python 内置函数之一,接受一个可迭代对象(例如列表、元组、集合或生成器)作为参数,如果至少有一个元素在逻辑上等价于 True,则返回 True,否则返回 False。
Python complex()函数 在Python中,complex()函数用于创建一个复数对象,它可以接受两个参数,表示复数的实部和虚部,也可以只传入一个参数,此时表示复数的实部为该参数,虚部为0。
Python打印有颜色的字符串 使用Python在命令行或shell终端输出有颜色的字符串,效果如下:
Golang生成一个整数范围内的随机整数 在Golang中,可以通过math/rand包的Intn(n)函数生成一个0~n之间的随机整数,碰到100~200、-10~10这样的整数段却无能为力了;
Kali国内源 Kali是一个开源的、基于Debian的Linux发行版,旨在进行高级渗透测试和安全审计;Kali 包含数百个针对各种信息安全任务的工具,例如渗透测试、安全研究、计算机取证和逆向工程。