一、subprocess模块
subprocess模块
- 可以通过python代码给操作系统终端发送命令,并且可以返回结果。
1 import subprocess 2 while True: 3 # 让用户输入终端命令 4 cmd_str = input('请输入终端命令:').strip() 5 # Popen(cmd命令, shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE) 6 # 调用Popen就会将用户的终端命令发送给本地操作系统的终端 7 # 得到一个对象,对象中包含着正确或错误的结果。 8 popen_obj = subprocess.Popen( 9 cmd_str, shell=True, 10 stdout=subprocess.PIPE, stderr=subprocess.PIPE 11 ) 12 success = popen_obj.stdout.read().decode('gbk') 13 if success: 14 print('正确命令!\n', success) 15 error = popen_obj.stderr.read().decode('gbk') 16 if error: 17 print('错误命令!\n', error)
二、re模块
re模块:
在python中,若想使用正则表达式,必须通过re模块来实现。
1、什么是正则表达式
- 正则表达式:
正则表达式是一门独立的技术, 任何语言都可以使用正则表达式,
正则表达式是由一堆特殊的字符组合而来的。
- 字符组
- 元字符
- 组合使用
2、为什么要使用正则?
比如要获取“一堆字符串”中的“某些字符”,
正则表达式可以帮我们过滤,并提取出想要的字符数据。
# 比如过滤并获取 一段字符串中指定的字符串
- 应用场景:
- 爬虫: re, BeautifulSoup4, Xpath, selector
- 数据分析过滤数据: re, pandas, numpy...
- 用户名与密码、手机认证:检测输入内容的合法性
3、如何使用
检测手机号码的合法性, 需求: 11位、开头13/14/15/18
1 # 纯python校验 2 # 需求: 11位、开头13/14/15/18 3 while True: 4 phone_number = input('输入手机号:').strip() 5 if phone_number.isdigit() and len(phone_number) == 11 and ( 6 phone_number.startswith('13') or 7 phone_number.startswith('14') or 8 phone_number.startswith('15') or 9 phone_number.startswith('18') 10 ): 11 print('手机号码合格') 12 else: 13 print('手机号码不合格')
1 # re效验 2 import re 3 while True: 4 phone_number = input('输入手机号:').strip() 5 # 需求: 11位、开头13/14/15/18 6 # 参数1: 正则表达式 '' 7 # 参数2: 需要过滤的字符串 8 # ^: 代表“开头” 9 # $: 代表“结束” 10 # |: 代表“或” 11 # (13|14): 可以获取一个值,判断是否是13或14. 12 # {1}: 需要获取1个值 限制数量 13 # []: 分组限制取值范围 14 # [0-9]: 限制只能获取0——9的某一个字符。 15 re_obj = re.match('^(13|14|15|18)[0-9]{9}', phone_number) 16 # print(re_obj) 17 if re_obj: 18 print('手机号码合格') 19 else: 20 print('手机号码不合格')
1 """ 2 - 字符组: 3 - [0-9] 可以匹配到一个0-9的字符 4 - [9-0]: 报错, 必须从小到大 5 - [a-z]: 从小写的a-z 6 - [A-Z]: 从大写A-Z 7 - [z-A]: 错误, 只能从小到大,根据ascii表来匹配大小。 8 - [A-z]: 总大写的A到小写的z。 9 10 注意: 顺序必须要按照ASCII码数值的顺序编写。 11 """ 12 import re 13 res = re.match('[A-Za-z0-9]{8}', 'yang1234') 14 print(res.group())
1 """ 2 - 元字符: 3 *******根据博客的表格来记 (看一眼) 4 https://www.icode9.com/i/i/?n=15&i=blog/1036857/201705/1036857-20170529203214461-666088398.png 5 6 - 组合使用 7 - \w\W: 匹配字母数字下划线与非字母数字下划线,匹配所有。 8 - \d\D: 无论是数字或者非数字都可以匹配。 9 - \t: table 10 - \n: 换行 11 - \b: 匹配单词结尾,tank jasonk 12 - ^: startswith 13 - '^'在外面使用: 表示开头。 14 - [^]: 表示取反的意思。 15 16 - $: endswith 17 18 - ^$: 配合使用叫做精准匹配,如何限制一个字符串的长度或者内容。 19 - |: 或。ab|abc如果第一个条件成立,则abc不会执行,怎么解决,针对这种情况把长的写在前面就好了,一定要将长的放在前面。 20 - [^...]: 表示取反的意思。 21 - [^ab]: 代表只去ab以外的字符。 22 - [^a-z]: 取a-z以外的字符。 23 """
""" re模块三种比较重要的方法: - findall(): ----> [] 可以匹配 "所有字符" ,拿到返回的结果,返回的结果是一个列表。 'awfwaghowiahioawhio' # a ['a', 'a', 'a', 'a'] - search():----> obj ----> obj.group() 'awfwaghowiahioawhio' # a 在匹配一个字符成功后,拿到结果后结束,不往后匹配。 'a' - match():----> obj ----> obj.group() 'awfwaghowiahioawhio' # a 'a' 'wfwaghowiahioawhio' # a None 从匹配字符的开头匹配,若开头不是想要的内容,则返回None。 """
1 import re 2 str1 = '1234 abcd 5678 efgh ==++' 3 # findall 4 # res = re.findall('[0-9]{4}', str1) 5 # print(res) # ['1234', '5678'] 6 7 # search 8 # res = re.search('[0-9]{4}', str1) 9 # print(res.group()) # 1234 10 11 # match 12 res = re.match('[0-9]{4}', str1) 13 # print(res.group()) 14 if res: 15 print(res.group())
4、爬虫应用
1 """ 2 爬蟲四部原理: 3 1.发送请求: requests 4 2.获取响应数据: 对方机器直接返回的 5 3.解析并提取想要的数据: re 6 4.保存提取后的数据: with open() 7 8 爬蟲三部曲: 9 1.发送请求 10 2.解析数据 11 3.保存数据 12 """ 13 14 import requests 15 import re 16 17 # 爬蟲三部曲: 18 # 1.发送请求 19 def get_page(url): 20 response = requests.get(url) 21 # response.content # 获取二进制流数据,比如图片、视频、音频 22 # response.text # 获取响应文本,比如html代码 23 return response 24 25 # 2.解析数据 26 # 伪代码: 27 # response = get_page('url地址') 28 # parser_page(response.text) 29 def parser_page(text): # response.text 30 # re.findall('正则表达式', '过滤的文本') 31 res_list = re.findall( 32 '<table width="100%" border="0".*?<a href="(.*?)" class="ulink">(.*?)</a>', 33 text, 34 re.S # 全局匹配 35 ) 36 for moive_tuple in res_list: 37 yield moive_tuple 38 39 # 3.保存数据 40 # 伪代码: 41 # res_list = parser_page(text) 42 # save_data(res_list) 43 def save_data(res_list_iter): 44 with open('电影天堂.txt', 'a', encoding='utf-8')as f: 45 for movie_tuple in res_list_iter: 46 movie_url, name = movie_tuple 47 str1 = f""" 48 电影地址:{movie_url} 49 电影名字:{name} 50 """ 51 f.write(str1) 52 53 # 获取10个链接 54 n = 1 55 for line in range(10): 56 url = f'https://www.ygdy8.net/html/gndy/dyzz/list_23_{n}.html' 57 n += 1 58 print(url) 59 60 response = get_page(url) 61 res_list_iter = parser_page(response.text) 62 save_data(res_list_iter)
三、logging模块
""" logging模块的使用 - 是用来记录日志的模块,一般记录用户在软件中的操作。 def get_logger(user_type): # 1.加载log配置字典到logging模块的配置中 logging.config.dictConfig(LOGGING_DIC) # 2.获取日志对象 logger = logging.getLogger(user_type) return logger logger = get_logger('user') logger.info('日志消息') """
1 import os 2 import logging.config 3 4 # 定义三种日志输出格式 开始 5 standard_format = '[%(asctime)s][%(threadName)s:%(thread)d][task_id:%(name)s][%(filename)s:%(lineno)d]' \ 6 '[%(levelname)s][%(message)s]' #其中name为getlogger指定的名字 7 8 simple_format = '[%(levelname)s][%(asctime)s][%(filename)s:%(lineno)d]%(message)s' 9 10 id_simple_format = '[%(levelname)s][%(asctime)s] %(message)s' 11 12 # 定义日志输出格式 结束 13 # 注意1: log文件的目录 14 BASE_PATH = os.path.dirname(os.path.dirname(__file__)) 15 logfile_dir = os.path.join(BASE_PATH, 'log_dir') 16 17 # 注意2: log文件名 18 logfile_name = 'user.log' 19 20 # 如果不存在定义的日志目录就创建一个 21 if not os.path.isdir(logfile_dir): 22 os.mkdir(logfile_dir) 23 24 # log文件的全路径 25 logfile_path = os.path.join(logfile_dir, logfile_name) 26 27 # 注意3: log配置字典,直接拿来用就可以了 28 LOGGING_DIC = { 29 'version': 1, 30 'disable_existing_loggers': False, 31 'formatters': { 32 'standard': { 33 'format': standard_format 34 }, 35 'simple': { 36 'format': simple_format 37 }, 38 }, 39 'filters': {}, 40 'handlers': { 41 #打印到终端的日志 42 'console': { 43 'level': 'DEBUG', 44 'class': 'logging.StreamHandler', # 打印到屏幕 45 'formatter': 'simple' 46 }, 47 # 打印到文件的日志,收集info及以上的日志 48 'default': { 49 'level': 'DEBUG', 50 'class': 'logging.handlers.RotatingFileHandler', # 保存到文件 51 'formatter': 'standard', 52 'filename': logfile_path, # 日志文件 53 'maxBytes': 1024*1024*5, # 日志大小 5M 54 'backupCount': 5, 55 'encoding': 'utf-8', # 日志文件的编码,再也不用担心中文log乱码了 56 }, 57 }, 58 'loggers': { 59 #logging.getLogger(__name__)拿到的logger配置 60 '': { 61 'handlers': ['default', 'console'], # 这里把上面定义的两个handler都加上,即log数据既写入文件又打印到屏幕 62 'level': 'DEBUG', 63 'propagate': True, # 向上(更高level的logger)传递 64 }, 65 }, 66 } 67 68 # 注意4 使用模块 69 def get_logger(user_type): 70 # 1.加载log配置字典到logging模块的配置中 71 logging.config.dictConfig(LOGGING_DIC) 72 73 # 2.获取日志对象 74 logger = logging.getLogger(user_type) 75 return logger 76 77 logger = get_logger('yang') 78 logger.info('登录成功')