多线程——multiprocess

2022-07-29 18:56:17

先看个误打误撞的写的代码

import os

import time

import multiprocessing

def func():

    print('我是func函数1','现在的father进程号为：',os.getppid())

    time.sleep(2)

    print('我是func函数2，但是我休息了2秒','现在的father进程号为：',os.getppid())

print('打酱油1','现在的进程号为：',os.getpid())

p=multiprocessing.Process(target=func())

if __name__=='__main__':

    p.start()

    print('打酱油2','现在的进程号为：',os.getpid())

print('end-------','现在的进程号为：',os.getpid())

'''输出结果

打酱油1 现在的进程号为： 7112

我是func函数1 现在的father进程号为： 4088

我是func函数2，但是我休息了2秒 现在的father进程号为： 4088

打酱油2 现在的进程号为： 7112

end------- 现在的进程号为： 7112

打酱油1 现在的进程号为： 3456

我是func函数1 现在的father进程号为： 7112

我是func函数2，但是我休息了2秒 现在的father进程号为： 7112

end------- 现在的进程号为： 3456'''

自己不小心把函数名给行进去了，然后发现很奇怪，就一直在这里改啊改，然后就出现了上面的一串奇怪的代码，所以说很奇怪。好吧，先看看下边的发现总结。

说明 4088 是pycharm的运行的进程号

7112是父的进程号

3456是子的进程号

1.运行的顺序是先父然后子进程。

2.因为在给子进程写的时候，不小心把子进程的（）也写进去了，所以调用了子进程。这样的调用而且好像是子进程是全部父进程的的代码（后面试验后发现确实如此），不知道不加if __name__=='__main__'是不是全部运行父进程的代码。

3.老师特别强调在windows中才必需加上if __name__=='__main__'，然后放在下面执行，不知道什么意思，所以以后用其他系统检验下。老师说不加这段代码可能会报错。

下面开始进入正题

process 的模块的介绍

process模块是一个创建进程的模块，借助这个模块，就可以完成进程的创建。

Process([group [, target [, name [, args [, kwargs]]]]])，由该类实例化得到的对象，表示一个子进程中的任务（尚未启动）

强调： 1. 需要使用关键字的方式来指定参数

2. args指定的为传给target函数的位置参数，是一个元组形式，必须有逗号

参数介绍： 1 group参数未使用，值始终为None

2 target表示调用对象，即子进程要执行的任务

3 args表示调用对象的位置参数元组，args=(1,2,'egon',)

4 kwargs表示调用对象的字典,kwargs={'name':'egon','age':18}

5 name为子进程的名称

1 p.start()：启动进程，并调用该子进程中的p.run()

2 p.run():进程启动时运行的方法，正是它去调用target指定的函数，我们自定义类的类中一定要实现该方法

3 p.terminate():强制终止进程p，不会进行任何清理操作，如果p创建了子进程，该子进程就成了僵尸进程，使用该方法需要特别小心这种情况。如果p还保存了一个锁那么也将不会被释放，进而导致死锁

4 p.is_alive():如果p仍然运行，返回True

5 p.join([timeout]):主线程等待p终止（强调：是主线程处于等的状态，而p是处于运行的状态）。timeout是可选的超时时间，需要强调的是，p.join只能join住start开启的进程，而不能join住run开启的进程

1 p.daemon：默认值为False，如果设为True，代表p为后台运行的守护进程，当p的父进程终止时，p也随之终止，并且设定为True后，p不能创建自己的新进程，必须在p.start()之前设置

2 p.name:进程的名称

3 p.pid：进程的pid

4 p.exitcode:进程在运行时为None、如果为–N，表示被信号N结束(了解即可)

5 p.authkey:进程的身份验证键,默认是由os.urandom()随机生成的32字符的字符串。这个键的用途是为涉及网络连接的底层进程间通信提供安全性，这类连接只有在具有相同的身份验证键时才能成功（了解即可）

多进程的几种方法：

1.用函数去调

import time

from multiprocessing import Process

def process():

    print('woshozojinchen')

if __name__=='__main__':

    print('it is father process')

    p=Process(target=process)

    p.start()

    time.sleep(5)

    print('end')

2.用类方法去调

import os

import time

from multiprocessing import Process

class Myserver(Process):

    def __init__(self,name,age):

        super(Myserver,self).__init__()

        self.name=name

        self.age=age

    def run(self):

        print('this is a Preocess and it is Process number',os.getpid())

        print('father process number:',os.getppid())

        time.sleep(0.1)

        print(self.__dict__)

if __name__=='__main__':

    print('it is father Process',os.getpid())

    p1=Myserver('alex',1)

    p1.start()

    time.sleep(0.09)

    print('end')

比较两种的差异：

1.用函数去调时不要加上括号，传时候用元祖去传，而用类的方法去调时，直接是实例化即可，注意用类去掉时一定要加上run的方法，因为start其实就是在调用类的start的方法，但是要注意在__init__时要写上super来继承父类的参数

join的用法

import os

from multiprocessing import Process

from time import sleep

class myserver(Process):

    def __init__(self,filename,i):

        super(myserver,self).__init__()

        self.i =i

        self.filename=filename

    def run(self):

        with open(self.filename,'w')as f:

            f.write('it is a question ')

        # sleep(0.2)

        print('*'*10*self.i,self.i)

if __name__=='__main__':

    lis=[]

    for i in range(10):

        p=myserver('info%s'%i,i)

        p.start()

        print('p nameL:',p.name)

        print(p)

        lis.append(p)

    print(lis)

    print('it is end')
p nameL: myserver-1

<myserver(myserver-1, started)>

p nameL: myserver-2

<myserver(myserver-2, started)>

p nameL: myserver-3

<myserver(myserver-3, started)>

p nameL: myserver-4

<myserver(myserver-4, started)>

p nameL: myserver-5

<myserver(myserver-5, started)>

p nameL: myserver-6

<myserver(myserver-6, started)>

p nameL: myserver-7

<myserver(myserver-7, started)>

p nameL: myserver-8

<myserver(myserver-8, started)>

p nameL: myserver-9

<myserver(myserver-9, started)>

p nameL: myserver-10

<myserver(myserver-10, started)>

[<myserver(myserver-1, started)>, <myserver(myserver-2, started)>, <myserver(myserver-3, started)>, <myserver(myserver-4, started)>, <myserver(myserver-5, started)>, <myserver(myserver-6, started)>, <myserver(myserver-7, started)>, <myserver(myserver-8, started)>, <myserver(myserver-9, started)>, <myserver(myserver-10, started)>]

it is end

******************** 2

********** 1

****************************** 3

**************************************** 4

********************************************************************** 7

************************************************************ 6

****************************************************************************************** 9

******************************************************************************** 8

************************************************** 5

输出结果

从上面可以看出来输出的结结果比较混乱，而且注意P的输出是个方法，不是p

如果想等子进程的代码执行完毕之后在执行后面的代码，这时就需要join的登场了

第一种方法

import os

from multiprocessing import Process

from time import sleep

class myserver(Process):

    def __init__(self,filename,i):

        super(myserver,self).__init__()

        self.i =i

        self.filename=filename

    def run(self):

        with open(self.filename,'w')as f:

            f.write('it is a question ')

        # sleep(0.2)

        print('*'*10*self.i,self.i)

if __name__=='__main__':

    lis=[]

    for i in range(10):

        p=myserver('info%s'%i,i)

        p.start()

        print('p nameL:',p.name)

        print(p)

        lis.append(p)

    a=[i.join()for i in lis]

    print(a)

    print(lis)

    print('it is end')
p nameL: myserver-1

<myserver(myserver-1, started)>

p nameL: myserver-2

<myserver(myserver-2, started)>

p nameL: myserver-3

<myserver(myserver-3, started)>

p nameL: myserver-4

<myserver(myserver-4, started)>

p nameL: myserver-5

<myserver(myserver-5, started)>

p nameL: myserver-6

<myserver(myserver-6, started)>

p nameL: myserver-7

<myserver(myserver-7, started)>

p nameL: myserver-8

<myserver(myserver-8, started)>

p nameL: myserver-9

<myserver(myserver-9, started)>

p nameL: myserver-10

<myserver(myserver-10, started)>

********************************************************************** 7

************************************************************ 6

******************** 2

******************************************************************************** 8

****************************** 3

********** 1

****************************************************************************************** 9

 0

************************************************** 5

**************************************** 4

[None, None, None, None, None, None, None, None, None, None]

[<myserver(myserver-1, stopped)>, <myserver(myserver-2, stopped)>, <myserver(myserver-3, stopped)>, <myserver(myserver-4, stopped)>, <myserver(myserver-5, stopped)>, <myserver(myserver-6, stopped)>, <myserver(myserver-7, stopped)>, <myserver(myserver-8, stopped)>, <myserver(myserver-9, stopped)>, <myserver(myserver-10, stopped)>]

it is end

输出结果

可以看见实现了上诉的功能，用列表的形式去实现所得join功能。相当于实现了列表里面的join代码

第二种方法

import os

from multiprocessing import Process

from time import sleep

class myserver(Process):

    def __init__(self,filename,i):

        super(myserver,self).__init__()

        self.i =i

        self.filename=filename

    def run(self):

        with open(self.filename,'w')as f:

            f.write('it is a question ')

        # sleep(0.2)

        print('*'*10*self.i,self.i)

if __name__=='__main__':

    for i in range(10):

        p=myserver('info%s'%i,i)

        p.start()

        print('p nameL:',p.name)

        print(p)

        p.join()
i

p name: myserver-1

<myserver(myserver-1, started)>

 0

p name: myserver-2

<myserver(myserver-2, started)>

********** 1

p name: myserver-3

<myserver(myserver-3, started)>

******************** 2

p name: myserver-4

<myserver(myserver-4, started)>

****************************** 3

p name: myserver-5

<myserver(myserver-5, started)>

**************************************** 4

p name: myserver-6

<myserver(myserver-6, started)>

************************************************** 5

p name: myserver-7

<myserver(myserver-7, started)>

************************************************************ 6

p name: myserver-8

<myserver(myserver-8, started)>

********************************************************************** 7

p name: myserver-9

<myserver(myserver-9, started)>

******************************************************************************** 8

p name: myserver-10

<myserver(myserver-10, started)>

****************************************************************************************** 9

it is end

输出结果

可以看见在循环中加入join，这样在每次的循环中就能依次输出了。但是通过输出结果可以发现输出的结果很有顺序，也就是说每次执行完了，才开始下次的循环，因为相当于join的后面是跟着for循环的，所以我不太推荐这种循环，还不如直接写在主程序里，感觉区别不大。这样写完全没有体现多线程的有优点。

注意join一定要写在for循环里面，否则只有最后一个子线程跟在主线程的后面。

数据隔离

import os

from multiprocessing import Process

def func():

    global n   # 声明了一个全局变量

    n = 0       # 重新定义了一个n

    print('pid : %s'%os.getpid(),n)

if __name__ == '__main__':

    n = 100

    p = Process(target=func)

    p.start()

    p.join()

    print(os.getpid(),n)
pid : 4148 0

7636 100

输出结果

父进程的变量是不与子进程共享的

守护进程

import time

from multiprocessing import Process

def func():

    while True:

        time.sleep(0.2)

        print('我还活着')

def func2():

    print('in func2 start')

    time.sleep(8)

    print('in func2 finished')

if __name__ == '__main__':

    p = Process(target=func)

    p.daemon = True   # 设置子进程为守护进程

    p.start()

    p2 = Process(target=func2)

    p2.start()

    # time.sleep(1.1)

    p2.terminate()     # 结束一个子进程

    time.sleep(1)

    print(p2.is_alive())  # 检验一个进程是否还活着

    print(p2.name)

    time.sleep(0.9)
我还活着

我还活着

我还活着

我还活着

False

Process-2

我还活着

我还活着

我还活着

我还活着

我还活着

输出结果

守护进程 会 随着 主进程的代码执行完毕 而 结束
在主进程内结束一个子进程 p.terminate()
结束一个进程不是在执行方法之后立即生效,需要一个操作系统响应的过程，即刚执行结束代码时，在检验is alive可能返回的是Ture.所以上面的代码是先睡上1秒后在检验使才返回的的是false
检验一个进程是否活着的状态 p.is_alive()

必须在p.start()之前设置

p.name p.pid 这个进程的名字和进程号

lock锁

import json

from time import sleep

from multiprocessing import Process

from multiprocessing import Lock

def buy_ticket(i,lock):

    lock.acquire()

    sleep(1)

    with open('ticket','r')as f:

        msg=json.load(f)

    if msg['ticket']>0:

        msg['ticket']-=1

        print('\033[32myou buy a ticket\033[0m')

    elif msg['ticket']<=0:

        print('\033[31myou not buy a ticket\033[0m')

    with open('ticket','w')as f:

        json.dump(msg,f)

    lock.release()

if __name__=='__main__':

    lock=Lock()

    with open('ticket','w')as f:

        msg={'ticket':1}

        json.dump(msg,f)

    for i in range(10):

        p = Process(target=buy_ticket,args=(i,lock))

        p.start()

lock

you buy a ticket

you not buy a ticket

you not buy a ticket

you not buy a ticket

you not buy a ticket

you not buy a ticket

you not buy a ticket

you not buy a ticket

you not buy a ticket

you not buy a ticket

输出结果

上面的代码是模仿买火车票，买火车票是必须是一个一个的买，如果所有人有一下能进入数据库的话，那么可能会造成数据的更新不够及时，而造成票被多买。所以需要一把锁来约束，让用户一个一个的买，注意的是上锁的过程必须是先导入模块，然后在定义这个模块，然后定义的函数就必须多传两个参数，及（i,lock），然后在函数中的必须写上一个拿锁的过程和释放锁的过程。

。

上一篇：es6 Map，Set 和 WeakMap，WeakSet


下一篇：Javascript赋值语句中的“&&”操作符和＂||＂操作符