Linux -- 文件统计常用命令

标签(空格分隔): Linux


sort -- 文件内排序命令

sort将文件的每一行作为一个单位,相互比较,比较原则是从首字符向后,依次比较其ASCII码。

  • 按每行升序排序:
  • sort seq.txt
  • 在输出行中去除重复行:
  • sort -u seq.txt
  • 输出行按降序排序:
  • sort -r seq.txt
  • 将输出结果重定向写入新的文件:
  • sort seq.txt > seq1.txt
  • 将输出结果重定向写入原来文件:
  • sort seq.txt -o seq.txt
  • 输出结果以数值而非ASCII码排序:
  • sort -n seq.txt
  • 按照指定列排序:
  • sort -t ':' -k 2, 2nb seq.txt
  • -t指定分隔符,-k指定按照哪一列排序
  • 如果分隔符为制表符,则使用 -t $'\t'

  • 稳定排序:
  • sort -s seq.txt
  • 合并多个有序文件
  • sort -m seq.txt seq1.txt

uniq

对于连续重复出现的行,只会打印第一行,而不会打印其他重复行。与sort连用。

  • 一般用法:
  • uniq seq.txt
  • 打印出每行重复出现的次数:
  • uniq -c seq.txt
  • 打印出出现多次(大于1次)的行:
  • uniq -d seq.txt
  • 打印不存在重复行的行:
  • uniq -u seq.txt
  • 忽略掉前n个域:(忽略掉前n个域,将第(n+1)以及之后的域当做关键字)
  • uniq -f n seq.txt
  • 忽略掉前n个字符:
  • uniq -s n seq.txt
  • 忽略掉前n个域和前m个字符:
  • uniq -f n -s m seq.txt
  • d最多比较n个字符:
  • uniq -w n seq.txt

cut

cut命令用于打印出一个文件中指定的某几个域,或某几个字符,或某几个字节。

按字节打印

  • 打印每行的第n个字节:
  • cut -b n seq.txt
  • 打印每行的第1-n这个范围的字节:
  • cut -b -n seq.txt
  • 打印每行的第n-最后范围的字节:
  • cut -b n- seq.txt
  • 打印每行的第m-n这个范围的字节:
  • cut -b m-n seq.txt
  • 打印多个范围的字节:
  • cut -b m-n,t-s seq.txt

按字符打印

  • 打印每行的第n个字符:
  • cut -c n seq.txt
    剩下的情况如按字节打印。

按域打印

cut 命令默认以制表符为一个分隔符。如果要自定义分隔符,用-d指定。cut -d '分隔符'

  • 打印每行的第n个域:
  • cut -d '分隔符' -f n seq.txt

paste

paste命令用来将多个文件中的内容并列打印,或横排打印。每行有多个域,每个域对应一个文件中相应行的内容。任意两个域之间默认用一个制表符隔开。如果某一行中,某个文件没有内容,则相应域为一个空串。

  • 一般语法:
  • paste filename1 filename2 filename3
  • 指定分隔符:
  • paste -d '分割符' filename1 filename2 filename3
  • 横排打印:(先打印完一个文件中的所有行到一行中,再打印另外一个文件中的所有行到下一行)
  • paste -s -d '分隔符' filename1 filename2 filename3

split

split命令用来将一个文件按字节或者按行分割成多个小文件。

  • 按字节分割成多个文件:
  • split -b m -a p -d --additional-suffix='额外的后缀字符串' filename output
  • -b指定字节数,可以带单位,如K, M, G, T, P, E, Z, Y;
  • -a指定分割成的子文件的文件名的后缀长度。默认情况下后缀为[a-z]的字符串。
  • -d指定后缀名为数字字符串,比如长度为2的数字字符串后缀为00,01,02...
  • -additional-suffix指定额外的字符串;
  • output 为所分割成的子文件的文件名的前缀。
  • 按行数分割成多个文件:
  • split -l m -a p -d --additional-suffix='额外的字符串' filename output
  • 如:aplit -l 2 -a 2 seq.txt output

cat

将多个文件连接在一起并打印。一个文件连接到前一个文件的尾部。

  • 一般语法:
  • cat filename1 filename2 filename3
  • 显示行号:
  • cat -n filename1 filename2 filename3

join

  • 左连接:
  • join -a 1 -t '分隔符' -1 m -2 n filename1 filename2
  • -a指定文件编号(只能为1或者2)。命令行中第一个文件的编号为1,第二个文件的编号为2.
  • 如果不指定,则表示进行内连接。只会打印出匹配并合并后的行;
  • 如果指定为1,则表示进行左连接
  • 如果指定为2,则表示进行右连接
  • 如果既指定为1,又指定为2,则表示进行全连接。除了会打印出两个文件中匹配并合并后的行外,还会打印出第一个文件和第二个文件中不匹配的行。
  • -1是参数,用于指定需要进行匹配的第一个文件中的域的编号;
  • -2是参数,用于指定需要进行匹配的第二个文件中的域的编号。
  • 在打印合并后的内容的过程中,会先打印匹配的域,然后分别打印第一个文件和第二个文件中的剩余部分
  • 右连接:
  • join -a 2 -t ':' -1 1 -2 1 seq.txt seq1.txt
  • 全连接:
  • join -a 1 -a 2 -t ':' -1 1 -2 1 seq.txt seq1.txt
  • 内连接:
  • join -1 1 -2 1 seq.txt seq1.txt
上一篇:SQL Server 聚合函数算法优化技巧


下一篇:linux系统和依赖包常用下载地址