Linux 文本去重 之 命令sort 与 uniq

 sort [-fbMnrtuk] [file or stdin]
选项与参数:
-f :忽略大小写的差异,例如 A 与 a 视为编码相同;
-b :忽略最前面的空格符部分;
-M :以月份的名字来排序,例如 JAN, DEC 等等的排序方法;
-n :使用『纯数字』进行排序(默认是以文字型态来排序的);
-r :反向排序;
-u :就是 uniq ,相同的数据中,仅出现一行代表;
-t :分隔符,默认是用 [tab] 键来分隔;
-k :以那个区间 (field) 来进行排序的意思 sort -u 可以去重
[root@www ~]# uniq [-icu]
选项与参数:
-i :忽略大小写字符的不同;
-c :进行计数
-u :只显示唯一的行
 

uniq命令可以去除排序过的文件中的重复行,但是重复行必须是相邻的

所以去重还是推荐sort -u

 
上一篇:C#中获得机器的字符编码webName信息


下一篇:真正意义上的spring环境中的单元测试方案spring-test与mokito完美结合