ps:人工智能相关参考网站
图灵机器人:http://www.turingapi.com/
百度大脑:http://ai.baidu.com/creation/main/demo
作为一名python程序员当你遇到一个功能的时候,第一时间你可以考虑是否有对应的模块已经帮你实现了该功能
今日内容概要
进程对象及其他方法
僵尸进程与孤儿进程
守护进程
互斥锁
进程间通信
队列介绍
IPC机制
生产者消费模型
线程相关知识点
今日内容详细
如果你的pycharm老是过期,你可以直接下载最新版本的pycharm,然后加入一个网站获取激活码即可
http://idea.medeming.com/jets/
进程对象及其他方法
一台计算机上面运行着很多进程,那么计算机是如何区分并管理这些进程服务端的呢? 计算机会给每一个运行的进程分配一个PID号 如何查看? windows电脑 进入cmd输入tasklist即可查看
tasklist | findstr PID查看具体的进程
强制杀死进程 taskkill /F /PID PIP号
mac电脑,进入终端之后输入ps aux
ps aux | grep PID查看具体的进程
查看当前进程的进程号
from multiprocessing import Process,current_process current_process().pid # 查看当前进程的进程号 import os os.getpid() # 查看当前进程的进程号 os.getppid() # 查看当前进程的父进程号
current_process
from multiprocessing import Process,current_process import time import os def task(): print('%s is running' %current_process().pid) # 查看当前进程的进程号 time.sleep(30) if __name__ == '__main__': p = Process(target=task) p.start() print('主',current_process().pid) # 主 13496 # 13352 is running
os
from multiprocessing import Process,current_process import time import os def task(): print('%s is running' %os.getpid()) # 查看当前进程的进程号 print('子进程的主进程号%s' %os.getppid()) time.sleep(30) if __name__ == '__main__': p = Process(target=task) p.start() print('主',os.getpid()) print('主主',os.getppid()) # 获取父进程的pid号 # 主 7864 # 主主 10108 # 3356 is running # 子进程的主进程号7864
了解:
p.start() p.terminate() # 杀死当前进程 # 这句话是告诉操作系统帮你取杀死当前进程,但是需要一定的时间,而代码的运行速度极快 time.sleep(1) print(p.is_alive()) # 判断当前进程是否存活 ''' 一般情况下我们会默认将 存储布尔值的变量名 和返回的结果是布尔值的方法名 都起成is_开头 '''
僵尸进程与孤儿进程(了解)
僵尸进程
死了,但是没有死透
当你开设了子进程之后,该进程死后不会立刻释放占用的进程号
因为我要让父进程能够查看到它开设的子进程的一些基本信息,占用的pid号,运行时间
所有的进程都会步入僵尸进程
父进程不死,并且在无限制的创建子进程并且子进程也不结束
回收子进程占用的pid号
父进程等待子进程运行结束
父进程调用join方法
孤儿进程
子进程存活,父进程意外死亡
操作系统会开设一个"儿童福利院",专门管理孤儿进程回收相关资源
守护进程
from multiprocessing import Process import time def task(name = 'egon'): print('%s总管正常活着' %name) time.sleep(3) print('%s总管正在死亡' %name) if __name__ == '__main__': # p = Process(target=task,args=('egon',)) p = Process(target=task,kwargs={'name':'egon'}) p.daemon = True # 将进程p设置成守护进程 这句话一定要放在start方法上面才有效果,否则报错 p.start() print('皇帝jason寿终正寝')
互斥锁
多个进程操作同一份数据的时候,会出现数据错乱的问题
针对上述问题,解决方法就是加锁处理,将并发变成串行,牺牲效率但是保证了数据的安全
扩展:
行锁 表锁
注意:
1、锁不要轻易的使用,容易造成死锁现象(我们一般写代码不会用到,都是内部封装好的)
2、锁只在处理数据的部分加起来保证数据安全(只在争抢数据的环节加锁处理即可)
文件
data.txt
{"ticket_num": 1}
代码
from multiprocessing import Process,Lock import json import time import random # 查票 def search(i): # 文件操作,读取票数 with open('data','r',encoding='utf-8') as f: dic = json.load(f) print('用户%s查询余票%s' %(i,dic.get('ticket_num'))) # 字典取值不要用[]的形式,推荐使用get 你写的代码打死都不能报错!!! # 买票 1、先查 2、再买 def buy(i): # 先查票 with open('data','r',encoding='utf-8') as f: dic = json.load(f) # 模拟网络延迟 time.sleep(random.randint(1,3)) # 判断当前是否有票 if dic.get('ticket_num') > 0: # 修改数据库,,买票 dic['ticket_num'] -= 1 # 写入数据库 with open('data','w',encoding='utf-8') as f: json.dump(dic,f) print('用户%s 买票成功' %i) else: print('用户%s 买票失败' %i) # 整合上面两个函数 def run(i,mutex): search(i) # 给买票环节加锁处理 # 抢锁 mutex.acquire() buy(i) # 释放锁 mutex.release() if __name__ == '__main__': # 在主进程中生成一把锁,让所有的子进程抢,谁先抢到谁先买票 mutex = Lock() for i in range(1,11): p = Process(target=run, args=(i, mutex)) p.start()
进程间通信
队列Queue模块
管道:subprocess
stdin stdout stderr
队列:管道+锁
队列:先进先出
堆栈:先进后出
from multiprocessing import Queue # 创建一个队列 q = Queue(5) # 括号内可以传数据,标示生成的队列最大可以同时存放的数据量 # 往队列中存数据 q.put(111) q.put(222) q.put(333) print(q.full()) # 判断当前队列是否满了 print(q.empty()) # 判断当前队列是否空了 q.put(444) q.put(555) print(q.full()) # 判断当前队列是否满了 # q.put(666) # 当队列数据放满了之后,如果还有数据,程序会阻塞,直到有位置让出来,不会报错 ''' 存取数据 存是为了更好的取 千方百计的存,简单快捷的取 同在一个屋檐下 差距为何那莫大 ''' # 去队列中取数据 v1 = q.get() v2 = q.get() v3 = q.get() v4 = q.get() v5 = q.get() print(q.empty()) # 判断当前队列是否空了 # v6 = q.get_nowait() # 没有数据直接报错 queue.Empty # v6 = q.get(timeout=3) # 没有数据之后原地等待三秒之后再报错 queue.Empty # v6 = q.get() # 队列中如果已经没有数据的话,get方法会原地阻塞 try: v6 = q.get(timeout=3) print(v6) except Exception as e: print('一滴都没有了!') # print(v1,v2,v3,v4,v5,v6) ''' q.full() 判断当前队列是否满了 q.empty() 判断当前队列是否空了 q.get_nowait() 没有数据直接报错 在多进程的情况下是不精确的 '''
IPC机制
from multiprocessing import Queue,Process ''' 研究思路: 1、主进程跟子进程借助于队列通信 2、子进程跟子进程借助于队列通信 ''' def producer(q): q.put('我是23号技师,很高兴为您服务!') print('hello big baby~') def consumer(q): print(q.get()) if __name__ == '__main__': q = Queue() p = Process(target=producer,args=(q,)) p1 = Process(target=consumer,args=(q,)) p.start() p1.start() # print(q.get())
生产者消费者模型
生产者:生产/制造东西的
消费者:消费/处理东西的
该模型除了上述两个之外,还需要一个媒介
生活中的例子:做包子的将包子做好之后放在蒸笼(媒介)里面,买包子的去蒸笼里面拿
厨师做菜做完之后用盘子装着给消费者端过去
生产者和消费者之间不是直接做交互的,而是借助于媒介做交互
生产者(做包子的) + 消息队列(蒸笼) + 消费者(吃包子的)
from multiprocessing import Queue,Process,JoinableQueue import random import time # 生产者 def producer(name,food,q): for i in range(5): data = '%s生产的%s%s' %(name,food,i) # 模拟延迟 time.sleep(random.randint(1,3)) print(data) # 将数据放入队列 q.put(data) # 消费者 def consumer(name,q): # 消费者胃口很大,光盘行动 while True: food = q.get() # 没有数据就会卡住 # 判断当前是否有结束的标识 # if food is None: # break time.sleep(random.randint(1,3)) print('%s吃了%s' %(name,food)) q.task_done() # 告诉队列你已经从里面取出了一个数据并且处理完毕了 if __name__ == '__main__': # q = Queue() q = JoinableQueue() p1 = Process(target=producer,args=('大厨egon','包子',q)) p2 = Process(target=producer,args=('马叉虫tank','煲汤',q)) c1 = Process(target=consumer,args=('春哥',q)) c2 = Process(target=consumer,args=('星哥',q)) p1.start() p2.start() # 将消费者设置守护进程 c1.daemon = True c2.daemon = True c1.start() c2.start() p1.join() p2.join() # 等待生产者生产完毕之后,往队列中添加特定的结束符号 # q.put(None) # 肯定在所有生产者生产的数据的末尾 # q.put(None) # 肯定在所有生产者生产的数据的末尾 q.join() # 等待队列中所有的数据被取完在执行往下执行的代码 ''' JoinableQueue 每当你往该队列中存入数据的时候,内部会有一个计数器+1 每当你调用task_done的时候,计数器-1 q.join() 当计数器为0的时候,才往后执行 ''' # 只有q.join执行完毕,说明消费者已经处理完数据了,消费者就没有存在的必要了
线程理论
致命三问:
什么是线程
进程:资源单位 线程:执行单位 将操作系统比喻成一个大的工厂 那么进程就相当于工厂里面的车间 而线程就是车间里面的流水线 每一个进程肯定自带一个线程 再次总结: 进程:资源单位(起一个进程仅仅只是在内存空间中开辟一块独立的空间) 线程:执行单位(真正被cpu执行的其实是进程里面的线程,线程指的就是代码执行的过程,执行代码中所需要使用到的资源都找所在的进程索要)
进程和线程都是虚拟单位,只是为了我们更加方便的描述问题
为何要有线程
开设进程 1、申请内存空间 耗资源 2、"拷贝代码" 耗资源 开线程 一个进程内可以开设多个线程,在同一个进程内开设多个线程无需再次申请内存空间的操作 总结:开设线程的开销要远远小于进程的开销
同一个进程下的多个线程数据是共享的
举例:
我们要开发一款文本编辑器
获取用户输入的功能
实时展示到屏幕的功能
自动保存到硬盘的功能
针对上面这三个功能,开设进程还是线程合适???
开三个线程处理上面的三个功能更加的合理