多进程概念:
进程是程序在计算机上的一次执行活动。当你运行一个程序,你就启动了一个进程。显然,程序是死的(静态的),进程是活的(动态的)。进程可以分为系统进程和用户进程。凡是用于完成操作系统的各种功能的进程就是系统进程,它们就是处于运行状态下的操作系统本身;用户进程就不必我多讲了吧,所有由你启动的进程都是用户进程。进程是操作系统进行资源分配的单位。
它的思想简单介绍如下:在操作系统的管理下,所有正在运行的进程轮流使用CPU,每个进程允许占用CPU的时间非常短(比如10毫秒),这样用户根本感觉不出来CPU是在轮流为多个进程服务,就好象所有的进程都在不间断地运行一样。但实际上在任何一个时间内有且仅有一个进程占有CPU。
#多进程允许我们充分的利用cpu
多进程和多线程的区别:
多进程使用的是CPU的多个核,适合运算密集型
充分利用多个CPU跑进程,系统执行率会更高
进程的范围比线程的范围大,进程是相互独立的个体,一个进程挂了,不会影响其他进程的使用。
多线程使用的是CPU的一个核,适合IO密集型
线程是属于进程下面的,线程之间存在共享资源,当一个线程挂了,会导致相关的线程挂掉。
组件:
multiprocess模块
支持创建子进程,通信,共享数据,执行不同形式的同步,提供Process(创建子进程)、Pipe(管道[默认为双向,可以单向])、Lock(进程锁[当一个进程读文件,会锁定不让其他进程读,当这个进程读完,会解开锁,让其他进程读文件])等组件。
多进程 multiprocess模块方法:
1
2
3
4
5
|
import multiprocessing
p = multiprocessing.cpu_count() #统计cpu的个数
m = multiprocessing.active_children() #统计存在的子进程
print (p)
print (m)
|
常用的进程方法:
is_alive() 判断进程是否存活
run() 启动进程
start() 启动进程,会自动调用run方法,这个常用
join(timeout) 等待进程结束或者直到超时
常用的属性:
name 进程名字
pid 进程的pid
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
|
import multiprocessing
import time
def worker_1(interval):
time.sleep(interval)
print ( "hello world" )
if __name__ = = "__main__" :
c = multiprocessing.Process(target = worker_1, args = ( 5 ,))
#target 代表目标函数名字,没有括号
#args 代表worker_1所需要的参数,args所接收的参数类型是tuple,单元素要加逗号
c.start() #启动进程
print (c.is_alive()) #确定进程是否存活
c.join(timeout = 1 ) #等待子进程执行完毕,或者超时退出
print ( "end main" )
|
多进程实例:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
import time
import multiprocessing
def worker(name, interval):
print ( "work {0} start" . format (name))
time.sleep(interval)
print ( "work {0} end" . format (name))
if __name__ = = "__main__" :
print ( "main start" )
print ( "统计cpu有{0}核" ). format (multiprocessing.cpu_count())
p1 = multiprocessing.Process(target = worker, args = ( "worker1" , 2 ))
p2 = multiprocessing.Process(target = worker, args = ( "worker2" , 3 ))
p3 = multiprocessing.Process(target = worker, args = ( "worker3" , 4 ))
p1.start()
p2.start()
p3.start()
for p in multiprocessing.active_children():
print ( "pid名称{0},pid号{1}" . format (p.name, p.pid))
print ( "main end" )
|
打印结果:
main start
统计cpu有4核
pid名称Process-1,pid号6388
pid名称Process-3,pid号3176
pid名称Process-2,pid号1268
main end
work worker1 start
work worker3 start ## p1,p2,p3启动以后都是独立运行的,先后可以不是顺序,有的启动快,有的启动慢
work worker2 start
work worker1 end
work worker2 end
work worker3 end ## 关闭进程必须按照启动的顺序P1,P2,P3的顺序。