Linux命令-xargs

xargs命令


xargs 是给命令传递参数的一个过滤器,也是组合多个命令的一个工具。

xargs 可以将管道或标准输入(stdin)数据转换成命令行参数,也能够从文件的输出中读取数据。

xargs 也可以将单行或多行文本输入转换为其他格式,例如多行变单行,单行变多行。

xargs 默认的命令是 echo,这意味着通过管道传递给 xargs 的输入将会包含换行和空白,不过通过 xargs 的处理,换行和空白将被空格取代。

xargs 是一个强有力的命令,它能够捕获一个命令的输出,然后传递给另外一个命令。之所以能用到这个命令,关键是由于很多命令不支持|管道来传递参数,而日常工作中有有这个必要,所以就有了xargs 命令,例如:

  1. 命令格式:
## 文档中
xargs  [-0prtx]  [-E  eof-str]  [-e[eof-str]]  [--eof[=eof-str]]  [--null]  [-d  delimiter]  [--delimiter  delimiter] [-I replace-str]
       [-i[replace-str]] [--replace[=replace-str]] [-l[max-lines]] [-L max-lines] [--max-lines[=max-lines]]  [-n  max-args]  [--max-args=max-
       args]   [-s   max-chars]   [--max-chars=max-chars]   [-P   max-procs]  [--max-procs=max-procs]  [--interactive]  [--verbose]  [--exit]
       [--no-run-if-empty] [--arg-file=file] [--show-limits] [--version] [--help] [command [initial-arguments]]

## 一般使用形式
somecommand | xargs -item  command
  1. 命令功能
    xargs命令可以通过管道接受字符串,并将接收到的字符串通过空格分割成许多参数(默认情况下是通过空格分割)然后将参数传递给其后面的命令,作为后面命令的命令行参数。

  2. 命令参数
    -a file 从文件中读入作为sdtin
    -e flag ,注意有的时候可能会是-E,flag必须是一个以空格分隔的标志,当xargs分析到含有flag这个标志的时候就停止。
    -p 当每次执行一个argument的时候询问一次用户。
    -n num 后面加次数,表示命令在执行的时候一次用的argument的个数,默认是用所有的。
    -t 表示先打印命令,然后再执行。
    -i 或者是-I,这得看linux支持了,将xargs的每项名称,一般是一行一行赋值给 {},可以用 {} 代替。
    -r no-run-if-empty 当xargs的输入为空的时候则停止xargs,不用再去执行了。
    -s num 命令行的最大字符数,指的是 xargs 后面那个命令的最大命令行字符数。
    -L num 从标准输入一次读取 num 行送给 command 命令。
    -l-L
    -d delim 分隔符,默认的xargs分隔符是回车,argument的分隔符是空格,这里修改的是xargs的分隔符。
    -x exit的意思,主要是配合-s使用。
    -P 修改最大的进程数,默认是1,为0时候为as many as it can。

  3. 使用实例

    ## 1. -d 选项
    # 默认情况下xargs将其标准输入中的内容以空白(包括空格、Tab、回车换行等)分割成多个之后当作命令行参数传递给其后面的命令,并运行,我们可以使用 -d 命令指定分隔符,例如:
    $ echo ‘11@22@33‘ | xargs echo 
    11@22@33
    
    # 默认情况下以空白分割,那么11@22@33这个字符串中没有空白,所以实际上等价于echo 11@22@33, 其中字符串 ‘11@22@33‘ 被当作echo命令的一个命令行参数
    $ echo ‘11@22@33‘ | xargs -d ‘@‘ echo 
    11 22 33
    ## 指定以@符号分割参数,所以等价于 echo 11 22 33, 相当于给echo传递了3个参数,分别是11、22、33
    
    ## 2. -p 选项
    # 使用该选项之后xargs并不会马上执行其后面的命令,而是输出即将要执行的完整的命令(包括命令以及传递给命令的命令行参数),询问是否执行,输入 y 才继续执行,否则不执行。这种方式可以清楚的看到执行的命令是什么样子,也就是xargs传递给命令的参数是什么,例如:
    $ echo ‘11@22@33‘ | xargs -p -d ‘@‘  echo 
    echo 11 22 33
     ?...y      # ==>这里询问是否执行命令 echo 11 22 33 输入y并回车,则显示执行结果,否则不执行
     11 22 33   # ==>执行结果
    
    ## 3. -n 选项
    # 该选项表示将xargs生成的命令行参数,每次传递几个参数给其后面的命令执行,例如如果xargs从标准输入中读入内容,然后以分隔符分割之后生成的命令行参数有10个,使用 -n 3 之后表示一次传递给xargs后面的命令是3个参数,因为一共有10个参数,所以要执行4次,才能将参数用完。例如:
    $ echo ‘11@22@33@44@55@66@77@88@99@00‘ | xargs -d ‘@‘ -n 3 echo 
    11 22 33
    44 55 66
    77 88 99
    00
    # 实际上运行了4次,每次传递3个参数,最后还剩一个,就直接传递一个参数。
    
    ## 4. -E 选项,有的系统的xargs版本可能是-e  eof-str
    # 该选项指定一个字符串,当xargs解析出多个命令行参数的时候,如果搜索到-e指定的命令行参数,则只会将-e指定的命令行参数之前的参数(不包括-e指定的这个参数)传递给xargs后面的命令
    $ echo ‘11 22 33‘ | xargs -E ‘33‘ echo 
    11 22
    ## 可以看到正常情况下有3个命令行参数 11、22、33 由于使用了-E ‘33‘ 表示在将命令行参数 33 之前的参数传递给执行的命令,33本身不传递。等价于 echo 11 22 这里-E实际上有搜索的作用,表示只取xargs读到的命令行参数前面的某些部分给命令执行。
    ## 注意:-E只有在xargs不指定-d的时候有效,如果指定了-d则不起作用,而不管-d指定的是什么字符,空格也不行。
    
    
    ## -0 选项表示以 ‘\0‘ 为分隔符,一般与find结合使用
    $ find . -name "*.txt"
    ./2.txt
    ./3.txt
    ./1.txt     
    # => 默认情况下find的输出结果是每条记录后面加上换行,也就是每条记录是一个新行
    $ find . -name "*.txt" -print0
    ./2.txt./3.txt./1.txt     
    # => 加上 -print0 参数表示find输出的每条结果后面加上 ‘\0‘ 而不是换行
    $ find . -name "*.txt" -print0 | xargs -0 echo 
    ./2.txt ./3.txt ./1.txt
    $ find . -name "*.txt" -print0 | xargs -d ‘\0‘ echo 
    ./2.txt ./3.txt ./1.txt
    ## xargs的 -0 和 -d ‘\0‘ 表示其从标准输入中读取的内容使用 ‘\0‘ 来分割,由于 find 的结果是使用 ‘\0‘ 分隔的,所以xargs使用 ‘\0‘ 将 find的结果分隔之后得到3个参数: ./2.txt ./3.txt ./1.txt  注意中间是有空格的。上面的结果就等价于 echo ./2.txt ./3.txt ./1.txt
    
    ## xargs -i选项
    ## 使用xargs -i时以大括号{}作为替换符号,传递的时候看到{}就将被结果替换。可以将{}放在任意需要传递的参数位上,如果多个地方使用{}就实现了多个传递。xargs -I(大写字母i)和xargs -i是一样的,只是-i默认使用大括号作为替换符号,-I则可以指定其他的符号、字母、数字作为替换符号,但是必须用引号包起来。man推荐使用-I代替-i,但是一般都使用-i图个简单,除非在命令中不能使用大括号,如touch {1..1000}.log时大括号就不能用来做替换符号。
    
    ## 例如下面的重命名备份过程。
    $ ls logdir/
    10.log  1.log  2.log  3.log   4.log  5.log  6.log  7.log  8.log  9.log
    $ ls logdir/ | xargs -i mv ./logdir/{} ./logdir/{}.bak 
    $ ls logdir/
    10.log.bak  1.log.bak  2.log.bak  3.log.bak   4.log.bak  5.log.bak  6.log.bak  7.log.bak  8.log.bak   9.log.bak
    
    ## 但是我将“-i”选项划分在分批选项里,它默认一个段为一个批,每次传递一个批也就是传递一个段到指定的大括号{}位上。
    ## 由于-i选项是按分段来传递的。所以尽管看上去等价的xargs echo和xargs -i echo {}并不等价。
    $ ls | xargs echo
    a b c d logdir one space.log shdir sh.txt test vmware-root
    $ ls | xargs -i echo {}
    a
    b
    c
    d
    logdir
    one space.log
    shdir
    sh.txt
    test
    vmware-root
    
    ## 既然使用-i后是分段传递的,这就意味着指定了它就无法实现按批传递多个参数(如-n)了;并且如果使用多个大括号,意味着必须使用-i,那么也无法分批传递。
    
    ## 例如,想将数字1-10每3个数显示在start和end之间。效果如下:
    start 1 2 3 end
    start 4 5 6 end
    start 7 8 9 end
    start 10 end
    
    ## 由于指定了参数传递位置,所以必须使用-i,那么就无法一次传递3个数。要解决这个问题,就要想办法让每三个数分一次段然后使用-i传递,方法也就随之而来了。可以将每三个数分一次行写入一个文件。如:
    $ cat <<eof>logdir/1.log
    > 1 2 3
    > 4 5 6
    > 7 8 9
    > 10
    > eof
    ## 再使用xargs -i分批传递。
    $ cat logdir/1.log | xargs -i echo "start {} end"
    start 1 2 3 end
    start 4 5 6 end
    start 7 8 9 end
    start 10 end
    
    ## 也可以使用多次xargs。很多时候无法解决分段的问题都可以通过多次使用xargs来解决。
    $ echo {1..10} | xargs -n 3 | xargs -i echo "start {} end"
    
    
  4. xargs命令和管道有什么不同--举例说明
    xargs与管道有什么不同呢,这是两个很容易混淆的东西,看了上面的xargs的例子还是有点云里雾里的话,我们来看下面的例子弄清楚为什么需要xargs:

    echo ‘--help‘ | cat 
    输出:
    --help
    
    echo ‘--help‘ | xargs cat 
    输出:
    
    Usage: cat [OPTION]... [FILE]...
    Concatenate FILE(s), or standard input, to standard output.
     
      -A, --show-all           equivalent to -vET
      -b, --number-nonblank    number nonempty output lines
      -e                       equivalent to -vE
      -E, --show-ends          display $ at end of each line
      -n, --number             number all output lines
      -s, --squeeze-blank      suppress repeated empty output lines
      -t                       equivalent to -vT
      -T, --show-tabs          display TAB characters as ^I
      -u                       (ignored)
      -v, --show-nonprinting   use ^ and M- notation, except for LFD and TAB
          --help     display this help and exit
          --version  output version information and exit
     
    With no FILE, or when FILE is -, read standard input.
     
    Examples:
      cat f - g  Output f‘s contents, then standard input, then g‘s contents.
      cat        Copy standard input to standard output.
     
    Report cat bugs to bug-coreutils@gnu.org
    GNU coreutils home page: <http://www.gnu.org/software/coreutils/>
    General help using GNU software: <http://www.gnu.org/gethelp/>
    For complete documentation, run: info coreutils ‘cat invocation‘
    

    可以看到 echo ‘--help‘ | cat 该命令输出的是echo的内容,也就是说将echo的内容当作cat处理的文件内容了,实际上就是echo命令的输出通过管道定向到cat的输入了。然后cat从其标准输入中读取待处理的文本内容。这等价于在test.txt文件中有一行字符 ‘--help‘ 然后运行 cat test.txt 的效果。

    而 echo ‘--help‘ | xargs cat 等价于 cat --help 什么意思呢,就是xargs将其接受的字符串 --help 做成cat的一个命令参数来运行cat命令,同样 echo ‘test.c test.cpp‘ | xargs cat 等价于 cat test.c test.cpp 此时会将test.c和test.cpp的内容都显示出来。

Linux命令-xargs

上一篇:Linux命令-find


下一篇:Linux命令-grep