Linux一条命令删除文件中的重复项

在Linux系统中,如果你想给一个包含重复项(以行为一个单位)的文件去重,那么你只需要一条命令即可实现;

以 test.txt 文件为例:

awk '!x[$0]++' test.txt

该命令不会修改源文件的内容,只会将去重后的内容输出到屏幕,如果你想要将去重后的内容保存,那你可以这样做:

awk '!x[$0]++' test.txt > 1.txt

原创内容,如需转载,请注明出处;

本文地址: https://www.perfcode.com/p/remove-duplicate-entries.html

分类: 计算机技术
推荐阅读:
Python实现列表去重的多种方法及性能对比 本文将通过多种方法实现列表(List)去重(将列表中的重复项删除);其中包括使用常规方法去重、set()集和去重、使用enumerate()去重、和使用collections.OrderedDict.fromkeys()实现去重;并编写了测试代码来测试这些去重方法的性能、以及去重后元素的排序是否改变;
Python tuple()函数 tuple() 函数用于将一个可迭代对象转换为元组,其语法如下:
gin及其依赖库完整下载和安装方法 因为在线安装Gin需要科学访问外网,所以你无法使用最简单的方式安装Gin;虽然有其它方法可以安装成功,但那些方法对萌新朋友们不够友好。所以我打包了Gin及其依赖库并上传到了百度网盘,并附上了安装方法。
PySide6 设置按钮(QPushButton)是否可点击(禁用) QPushButton 类有一个名为 enabled 的属性,它用于控制按钮的可用状态。当按钮可用时,用户可以与之交互,点击它执行操作。当按钮不可用时,用户无法与之交互,点击它也不会触发点击事件。
Rust函数返回多个值 在Rust中,函数可以返回一个元组,这个元组可以包含多个值;
Python reversed()函数 在 Python 中,reversed() 函数用于反转序列(例如列表、元组、字符串等)中的元素,并返回一个迭代器。可以将这个迭代器转换为列表、元组或其他类型的序列。