subprocess是python在2.4引入的模块, 主要用来替代下面几个模块和方法:
os.system
os.spawn*
os.popen*
popen2.*
commands.*
可以参考PEP324: http://legacy.python.org/dev/peps/pep-0324/
这是一个用来调用外部命令的模块, 替代了一些旧的模块, 提供了更加友好统一的接口.
三个封装方法
使用下面三个方法的时候, 注意两个问题: 1. shell=True或False, 两种解析方式是不同的 2. 注意PIPE的使用, 可能导致卡死
subprocess.call 运行命令, 等待完成, 并返回returncode
subprocess.check_call 运行命令, 等待完成, 如果返回值为0, 则返回returncode, 否则抛出带有returncode的CalledPorcessError异常.
subprocess.check_output 和check_call类似, 会检查返回值是否为0, 返回stdout.
卡死常见的原因
这个模块在使用的时候, 可能会出现子进程卡死或hang住的情况. 一般出现这种情况的是这样的用法.
|
1
2
3
4
5
6
7
|
import
subprocess
import
shlex
proc =
subprocess.Popen(shlex.split(cmd), stdin=subprocess.PIPE,
stdout=subprocess.PIPE, stderr=subprocess.PIPE,
shell=False, universal_newlines=True)
print
proc.stdout.read()
|
这里的直接读取了Popen对象的stdout, 使用了subprocess.PIPE. 这种情况导致卡死的原因是PIPE管道的缓存被充满了, 无法继续写入, 也没有将缓存中的东西读出来.
官方文档的提示(Popen.wait()方法的Warning)
This will deadlock when using stdout=PIPE and/or stderr=PIPE and the child process generates enough output to a pipe such that it blocks waiting for the OS pipe buffer to accept more data. Use communicate() to avoid that.
为了解决这个问题, Popen有一个communicate方法, 这个方法会将stdout和stderr数据读入到内存, 并且会一直独到两个流的结尾(EOF). communicate可以传入一个input参数, 用来表示向stdin中写入数据, 可以做到进程间的数据通信.
注意: 官方文档中提示, 读取的数据是缓存在内存中的, 所以当数据量非常大或者是无限制的时候, 不要使用communicate, 应该会导致OOM.
一般情况下, stdout和stderr数据量不是很大的时候, 使用communicate不会导致问题, 量特别大的时候可以考虑使用文件来替代PIPE, 例如stdout=open("stdout", "w")[参考1].
参考2中给出了另一种解决的思路, 使用select来读取Popen的stdout和stderr中的数据, select的这种用法windows下是不支持的, 不过可以做到比较实时的读取数据.
Popen中的shell参数含义
官方文档中推荐shell=False, 这种方式更加安全, 我们来看一下官方给出的例子.
|
1
2
3
4
5
|
>>> from
subprocess import
call
>>> filename =
input("What file would you like to display?\n")
What file
would you like to display?
non_existent; rm -rf /
#
>>> call("cat "
+ filename, shell=True) # Uh-oh. This will end badly...
|
上面这种命令拼写的方式会导致一个安全问题, 就是用户可以进行类似sql注入的shell注入, 删除整个系统的文件, 这个是极其危险的.
shell=False会屏蔽shell中的很多特性, 所以可以避免上述这种安全问题, 当需要暴露给用户去使用的时候, 尤其要注意上述的安全问题.
shell=True的时候就是按照shell的方式解析和运行的.
Popen的一些简单调优思路
有个bufsize的参数, 这个默认是0, 就是不缓存, 1表示行缓存, 其他正数表示缓存使用的大小, 负数-1表示是使用系统默认的缓存大小.
在运行性能遇到问题时, 可能是缓存区未开启或者太小, 导致了子进程被卡住, 效率低下, 可以考虑配置为-1或4096.
需要实时读取stdout和stderr的, 可以查阅[参考2], 使用select来读取stdout和stderr流.
参考:
- 小心subprocess的PIPE卡住你的python程序: http://noops.me/?p=92
- pipe large amount of data to stdin while using subprocess.Popen: http://*.com/questions/5911362/pipe-large-amount-of-data-to-stdin-while-using-subprocess-popen
- python docs: http://docs.python.org/2/library/subprocess.html