Linux一条命令删除文件中的重复项

在Linux系统中,如果你想给一个包含重复项(以行为一个单位)的文件去重,那么你只需要一条命令即可实现;

以 test.txt 文件为例:

awk '!x[$0]++' test.txt

该命令不会修改源文件的内容,只会将去重后的内容输出到屏幕,如果你想要将去重后的内容保存,那你可以这样做:

awk '!x[$0]++' test.txt > 1.txt

原创内容,如需转载,请注明出处;

本文地址: https://www.perfcode.com/p/remove-duplicate-entries.html

分类: 计算机技术
推荐阅读:
通过两个已知点,找出直线(y = kx + b)的方程式 解决方程组 y1 = kx1 + b和y2 = kx2 + b;其中x1,y1,x2,y2是已知变量;k和b是要找到的系数。
QtSpim: Attempt to execute non-instruction at 0x00400030 错误解决方法 使用QtSpim运行MIPS32汇编代码时提示Attempt to execute non-instruction at 0x00400030 错误表示你的程序没有正确退出;
Python实现冒泡排序(Bubble Sort) 冒泡排序(Bubble Sort)是一种比较简单的排序算法。它重复遍历要排序的元素,依次比较两个相邻的元素,如果顺序错误,则将他们交换;直到所有元素顺序正确。
Python eval()函数 在Python中,eval()是一个内置函数,用于将一个字符串作为Python表达式执行,并返回表达式的结果。
Rust语言计算斐波那契数列(Fibonacci) 本文将使用Rust语言递归实现斐波那契数列的计算;
Python Qt库PySide和PyQt哪个好? Qt是一个跨平台的GUI程序开发框架;使用Qt可以轻松的开发出GUI程序;而想在Python中创建Qt应用,则需一套用于调用Qt API的库;这里主要介绍两个比较成熟的python Qt库,PyQt和PySide;