Linux uniq 命令

Linux 中的 uniq 命令主要用于识别和移除文本文件中重复的行，通常会配合 sort 命令一起使用。

uniq 可以用来查找文本文件中重复出现的行内容。

语法

uniq [-cdu][-f][-s][-w][--help][--version][输入文件][输出文件]

参数说明：

• -c或--count 在每行前面显示该行重复的次数。
• -d或--repeated 只显示那些重复出现的行。
• -f或--skip-fields= 忽略指定栏位的比较。
• -s或--skip-chars= 忽略指定数量字符的比较。
• -u或--unique 仅显示没有重复的行。
• -w或--check-chars= 设置要比较的字符数。
• --help 显示帮助信息。
• --version 查看版本号。
• [输入文件] 指定一个已经排序好的文本文件。如果不设置，则从标准输入读取；
• [输出文件] 指定结果输出的文件。如不指定，则输出到终端界面。

示例

假设在 testfile 文件中，第 2、3、5、6、7、9 行为相同内容，可以使用以下命令来去重：

uniq testfile 

testfile 的原始内容如下：

$ cat testfile      #原始内容  
test 30  
test 30  
test 30  
Hello 95  
Hello 95  
Hello 95  
Hello 95  
Linux 85  
Linux 85 

运行 uniq 命令后，输出结果为：

$ uniq testfile     #去重后的结果  
test 30  
Hello 95  
Linux 85 

若想查看每一行重复的次数，并在行前显示该次数，可使用以下命令：

uniq -c testfile 

输出如下：

$ uniq -c testfile      #显示重复次数  
3 test 30             #表示该行出现了3次  
4 Hello 95            #表示该行出现了4次  
2 Linux 85            #表示该行出现了2次 

需要注意的是，如果重复的行不是连续的，uniq 命令将无法正确识别，例如下面这种情况：

$ cat testfile1      #原始内容 
test 30  
Hello 95  
Linux 85 
test 30  
Hello 95  
Linux 85 
test 30  
Hello 95  
Linux 85 

此时应先使用 sort 命令排序，再结合 uniq 命令处理：

$ sort testfile1 | uniq
Hello 95  
Linux 85 
test 30

统计各行在文件中的出现频率：

$ sort testfile1 | uniq -c
   3 Hello 95  
   3 Linux 85 
   3 test 30

查找文件中重复的行内容：

$ sort testfile1 | uniq -d
Hello 95  
Linux 85 
test 30