Linux一条命令删除文件中的重复项

在Linux系统中,如果你想给一个包含重复项(以行为一个单位)的文件去重,那么你只需要一条命令即可实现;

以 test.txt 文件为例:

awk '!x[$0]++' test.txt

该命令不会修改源文件的内容,只会将去重后的内容输出到屏幕,如果你想要将去重后的内容保存,那你可以这样做:

awk '!x[$0]++' test.txt > 1.txt

原创内容,如需转载,请注明出处;

本文地址: https://www.perfcode.com/p/remove-duplicate-entries.html

分类: 计算机技术
推荐阅读:
在Linux终端右上角实时显示时间 在Linux系统下,可以通过一条命令在终端的右上角显示当前系统的时间:
在Windows系统下启动和终止MySQL服务 Windows平台下要启动MySQL服务只需以管理员权限运行命令net start mysql80,要关闭服务运行net stop mysql80;
Python使用集合实现内容去重 有这么一个场景,某个文件用于记录人名(也可以是URL或者其他的),编辑发现,出现了重复的内容。那么我们如何使用Python来进行去重呢?
Rust实现字符串sha1、sha256、sha512加密 本文将在Rust语言中使用sha1、sha256、sha512等安全散列算法对字符串进行加密;
Rust获取代码的运行时间 在 Rust 中,你可以使用 std::time::Instant 模块来测量代码的运行时间。以下是一个简单的示例代码,演示如何在 Rust 中测量代码的运行时间:
使用pip安装Python PIL库的正确方法 正确使用pip工具安装Python中PIL库的方法如下: