Linux一条命令删除文件中的重复项

Linux
shell
2023-02-22 13:36:42

在Linux系统中，如果你想给一个包含重复项（以行为一个单位）的文件去重，那么你只需要一条命令即可实现；

以 test.txt 文件为例：

awk '!x[$0]++' test.txt

该命令不会修改源文件的内容，只会将去重后的内容输出到屏幕，如果你想要将去重后的内容保存，那你可以这样做：

awk '!x[$0]++' test.txt > 1.txt

原创内容，如需转载，请注明出处；

本文地址： https://www.perfcode.com/p/remove-duplicate-entries.html

分类： 计算机技术
推荐阅读:
在Linux终端右上角实时显示时间 在Linux系统下，可以通过一条命令在终端的右上角显示当前系统的时间：
在Windows系统下启动和终止MySQL服务 Windows平台下要启动MySQL服务只需以管理员权限运行命令net start mysql80，要关闭服务运行net stop mysql80；
Python使用集合实现内容去重 有这么一个场景，某个文件用于记录人名（也可以是URL或者其他的），编辑发现，出现了重复的内容。那么我们如何使用Python来进行去重呢？
Rust实现字符串sha1、sha256、sha512加密 本文将在Rust语言中使用sha1、sha256、sha512等安全散列算法对字符串进行加密；
Rust获取代码的运行时间 在 Rust 中，你可以使用 std::time::Instant 模块来测量代码的运行时间。以下是一个简单的示例代码，演示如何在 Rust 中测量代码的运行时间：
使用pip安装Python PIL库的正确方法 正确使用pip工具安装Python中PIL库的方法如下：