Linux一条命令删除文件中的重复项
在Linux系统中，如果你想给一个包含重复项（以行为一个单位）的文件去重，那么你只需要一条命令即可实现；
以 test.txt 文件为例：
awk '!x[$0]++' test.txt
该命令不会修改源文件的内容，只会将去重后的内容输出到屏幕，如果你想要将去重后的内容保存，那你可以这样做：
awk '!x[$0]++' test.txt > 1.txt
原创内容，如需转载，请注明出处；
本文地址： https://www.perfcode.com/p/remove-duplicate-entries.html
分类：
计算机技术
推荐阅读:
Rust panic宏的用法和示例
在Rust中，当你使用panic宏时，表明程序遇到了一个不可恢复的错误，因此需要立即停止执行并打印错误信息；
reCAPTCHA verification failed, please try again. 解决方法
简单来说，reCAPTCHA是用于识别你是人类还是机器的一个强大系统，有点类似于验证码；当你碰到 reCAPTCHA verification failed, please try again. 的提示时，说明验证失败了；
gin及其依赖库完整下载和安装方法
因为在线安装Gin需要科学访问外网，所以你无法使用最简单的方式安装Gin；虽然有其它方法可以安装成功，但那些方法对萌新朋友们不够友好。所以我打包了Gin及其依赖库并上传到了百度网盘，并附上了安装方法。
Linux结束正在锁定文件的进程
在Linux系统下，当你想删除或更改某个文件，却发现该文件正在被某个进程访问，处于锁定状态，导致你无法删除或更改；这时你只需要一条命令即可实现结束这个进程：
python chr()函数
chr() 是 Python 内置函数之一，用于将整数转换为对应的 Unicode 字符。
pip安装和更新scikit-learn（sklearn）
scikit-learn（sklearn）是一个Python第三方提供的一个非常强大的机器学习库；使用pip工具安装方法如下：