Python学习笔记--每日健康打卡及出校报备

每日健康打卡及出校报备

前言

距离上次练习已经过去了大半年,现在终于有时间接着进行一些其他方面的练习了。上次的弹幕练习属于为爱发电,这回更注重实用性,在练习的同时顺便解决一下生活中的实际问题,一举两得~

这次主要有两个内容,分别是学校的每日健康打卡以及外出报备的自动化处理,通过seleniumrequest库两种不同的方法实现,省去了每次都要手动填表的麻烦。如果有时间,还会涉及到UI以及exe打包相关内容。

话不多说,开始!

一、通过selenium实现自动化外出报备

1.1 思路

报备出校流程为:登录-填表-提交-得到结果,其中表格部分内容为自动生成,其余通过selenium配合xpath即可完成。

虽然也可以用requests实现,但相对要麻烦很多(登录就要麻烦不少,headers的选择,密码也经过MD5处理过。。。)

1.2 selenium相关

要使用selenium,必须配置好系统环境变量以及对应浏览器的webdriver,且版本要相匹配。

例如要使用Chrome浏览器则需要对应的driver,国内镜像地址为:下载地址

需要注意的是,如果电脑上有多个Chrome核心的浏览器,在使用以下代码时可能会出现调用失败的情况:

driver = webdriver.Chrome()

此时指定webdriver所在路径即可解决:

driver = webdriver.Chrome(r'X:\xxxxxxx\chromedriver.exe')

正常运行时,浏览器页面会一直出现,便于观察代码执行过程,这在测试阶段是十分必要的。当程序测试完毕后,就不再需要监测过程,得到结果便可。此时可以使浏览器在后台静默运行,不再出现浏览器窗口,代码如下:

option = webdriver.ChromeOptions()
option.add_argument('headless')  # 设置静默执行
option.add_argument("window-size=1920x1080")  # 最大化,便于截图
driver = webdriver.Chrome(r'X:\xxxxxxx\chromedriver.exe', options=option)

当使用静默模式运行时,最大化窗口不能使用driver.maximize_window(),而要用option.add_argument("window-size=Width x Height"),如1920x1080。

至此,driver相关设置完成。

1.3 xpath的获取

通过find_element_by_xpath()可以很方便的实现元素的定位,只需找出对应元素的xpath即可进行操作。通过浏览器查看网页源码即可获取目标元素的xpath:

Python学习笔记--每日健康打卡及出校报备

得到xpath如下:

	uid_xpath = './/input[@name="username"]'
    pwd_xpath = './/input[@name="password"]'
    button1_xpath = './/span[@class="password_arrows"]'
    button2_xpath = './/a[@id="preview_start_button"]'
    phonenum_xpath = './/input[@name="fieldSQlxdh"]'
    reason_xpath = './/textarea[@name="fieldSQqjsy"]'
    schedule_xpath = './/textarea[@name="fieldSQxcap"]'
    button3_xpath = './/label[@for="V1_CTRL69"]'
    timestart_xpath = './/input[@name="fieldQJqjkssj"]'
    timeend_xpath = './/input[@name="fieldQJqjjssj"]'
    dayend_xpath = './/input[@name="fieldQJqjrqTo"]'
    button4_xpath = './/a[@class="command_button_content"]'
    button5_xpath = './/button[@class="dialog_button default fr"]'

以上为需要填入数据或选择类型以及提交按钮的xpath。

1.4 通过xpath操作相关元素

通过find_element_by_xpath()定位元素后,即可进行相关操作。本次主要涉及点击清空内容以及填写数据这三种操作,分别对应:

	driver.find_element_by_xpath().click()
	driver.find_element_by_xpath().clear()
    driver.find_element_by_xpath().send_keys()

需要进行填写的数据有:账号,密码,手机号,出校原因,出校安排,开始时间,结束时间以及结束日期,离校类型为点选。

Python学习笔记--每日健康打卡及出校报备

Python学习笔记--每日健康打卡及出校报备

需要注意的是,若操作速度过快可能会因为元素未加载完成无法定位而导致失败,因此需要进行延时处理。

最简单的办法是通过time.sleep()进行等待,每次执行语句前后强制等待,确保相应元素有足够的时间完成加载:

	time.sleep(1)
    driver.find_element_by_xpath(uid_xpath).clear()  #清空已存在内容
    driver.find_element_by_xpath(uid_xpath).send_keys(username)  #传入用户名

    time.sleep(1)
    driver.find_element_by_xpath(pwd_xpath).clear()
    driver.find_element_by_xpath(pwd_xpath).send_keys(pwd)  #传入密码

    time.sleep(1)
    driver.find_element_by_xpath(button1_xpath).click()  #登录

    time.sleep(5)
    driver.find_element_by_xpath(button2_xpath).click()  #开始办理

    time.sleep(2)
    driver.find_element_by_xpath(phonenum_xpath).clear()   #手机号
    driver.find_element_by_xpath(phonenum_xpath).send_keys(phonenum)

    time.sleep(1)
    driver.find_element_by_xpath(reason_xpath).clear()  #原因
    driver.find_element_by_xpath(reason_xpath).send_keys(reason)

    time.sleep(1)
    driver.find_element_by_xpath(schedule_xpath).clear()  #行程
    driver.find_element_by_xpath(schedule_xpath).send_keys(schedule)

    time.sleep(1)
    driver.find_element_by_xpath(button3_xpath).click()  #离校类型

    time.sleep(1)
    driver.find_element_by_xpath(timestart_xpath).clear()  #起始时间
    driver.find_element_by_xpath(timestart_xpath).send_keys(timestart)

    time.sleep(1)
    driver.find_element_by_xpath(timeend_xpath).clear()  #结束时间
    driver.find_element_by_xpath(timeend_xpath).send_keys(timeend)

    time.sleep(1)
    driver.find_element_by_xpath(dayend_xpath).clear()  #结束日期
    driver.find_element_by_xpath(dayend_xpath).send_keys(dayend)

    time.sleep(1)
    driver.find_element_by_xpath(button4_xpath).click()  #提交

    time.sleep(1)
    driver.find_element_by_xpath(button5_xpath).click()  #最终确定

    time.sleep(1)
    driver.find_element_by_xpath(button6_xpath).click()

可以发现,这种方式缺点很明显:

  1. 重复代码过多,不够简洁。
  2. 若设置较长等待时间会延长程序运行时间而降低效率,若等待时间过短则无法达到目的。

selenium的显式等待可以准确判断等待时间,既能达到确定元素的目的,也能缩短延时时间,提高效率,但其用法较为复杂,还需要导入相关的库:

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

使用显式等待方式的同时,为精简代码,可以把不同元素及其对应的xpath存为dict,待填写数据存为list:

	xpath_dict = {
        'uid_xpath': './/input[@name="username"]',  # 账号
        'pwd_xpath': './/input[@name="password"]',  # 密码
        'button1_xpath': './/span[@class="password_arrows"]',  # 登录按钮
        'button2_xpath': './/a[@id="preview_start_button"]',  # 开始办理
        'phone_num_xpath': './/input[@name="fieldSQlxdh"]',  # 电话号码
        'reason_xpath': './/textarea[@name="fieldSQqjsy"]',  # 出校事由
        'schedule_xpath': './/textarea[@name="fieldSQxcap"]',  # 出校日程
        'button3_xpath': './/label[@for="V1_CTRL69"]',  # 离校类型
        'time_start_xpath': './/input[@name="fieldQJqjkssj"]',  # 开始时间
        'time_end_xpath': './/input[@name="fieldQJqjjssj"]',  # 结束时间
        'day_end_xpath': './/input[@name="fieldQJqjrqTo"]',  # 结束日期
        'button4_xpath': './/a[@class="command_button_content"]',  # 提交
        'button5_xpath': './/button[@class="dialog_button default fr"]'  # 最终确定
    }
    
	data_list = [
     username,
     pwd,
     phone_num,
     reason,
     schedule,
     time_start,
     time_end,
     day_end
     ]

此处利用for循环即可自动判断操作类型为点击或填写数据,并按顺序自动完成。

	count = 0
    for i in xpath_dict:
        if 'button' in i:  # 判断操作类型
            try:
                WebDriverWait(driver, 10).until(
                    EC.presence_of_element_located((By.XPATH, xpath_dict[i]))
                )
            finally:
                driver.find_element_by_xpath(xpath_dict[i]).click()

        else:
            try:
                WebDriverWait(driver, 10).until(
                    EC.presence_of_element_located((By.XPATH, xpath_dict[i]))
                )
            finally:
                driver.find_element_by_xpath(xpath_dict[i]).clear()
                driver.find_element_by_xpath(xpath_dict[i]).send_keys(data_list[count])
                count += 1

填报完成后,可根据需要通过截图(driver.get_screenshot_as_file())等方式留存并发送报备结果,或继续填加自动运行等功能。

1.5 UI及exe文件的打包

施工中。。。

二、通过requests库实现自动化健康打卡

2.1 思路

这个项目利用requests库来进行处理,之前的练习主要使用了get(),本次则主要涉及post(),具体流程与上文相同,区别在于不使用selenium模拟操作,直接进行数据的获取与提交。

还有一个不使用selenium的原因是,打卡需要获取定位,然而pc端总是无法定位,只能换用requests的方法。

系统使用的是腾讯的api接口,通过抓包发现确实可以获取正确定位,但是系统却无法读取,原因未知。

Python学习笔记--每日健康打卡及出校报备
位置都出来了,为什么不用呢。。。
Python学习笔记--每日健康打卡及出校报备
通过多次抓包试验,最终确定整个打卡过程共存在三次post行为,分别为登录,请求日期以及提交,对应三个不同的url。其中登录和提交带有数据,请求日期为单纯的post

2.2 requests.post()的使用

和get的用法差不多,以登陆系统为例,本次需要注意的有请求的headers以及data:

  1. headers必须包含Content-Type。涉及到的系统的数据交换都是以json格式进行的,必须声明Content-Type,否则会返回错误的response。
  2. data所传输的数据必须为json格式。一般post的数据有form datarequest payload两种形式,前者一般可以直接使用,而后者需要进行格式的转换。此处需要用到json.dumps()将python对象转换为json格式。(顺便一提,这系统登录时提交的密码是明文的,都不处理下吗。。。)

2.3 登录

登录时提交账号密码等数据即可:

	headers = {
        'User-Agent': 'xxx',
        'Content-Type': 'application/json'
        }

    data_origin = {user_account,
                   user_password}

    login_url = 'xxxxxxxx'

    login_res = requests.post(login_url, headers=headers, data=json.dumps(data_origin)) 
    login_res_json = login_res.json()

通过返回的response可以判断登录是否成功,200为成功,其他则为不同情况的错误:

Python学习笔记--每日健康打卡及出校报备

若不传入cookie,则会返回:{'code': 405, 'msg': '凭据已经过期,请重新认证', 'datas': ''}。这会导致请求日期和提交无法进行,因此需要在登陆后获取cookie并在接下来的post中传入。(尝试过单独使用session()而不传入cookie,无效,原因未知。)

	cookies = login_res.cookies  # 获取登陆后cookie
    cookie = requests.utils.dict_from_cookiejar(cookies)  # 转换为可传入参数格式

2.4 获取日期及打卡状态

Python学习笔记--每日健康打卡及出校报备

Python学习笔记--每日健康打卡及出校报备

可以看出,相关数据都储存在datas的hunch_list中,其中date1为打卡当天日期,state为打卡状态,1为已打卡,0为未打卡。

对日期进行请求:

	date_res = requests.post(date_url, headers=headers, cookies=cookie)
    date_res_json = date_res.json()

将date1提取出来,提交时要用到:

today = date_res_json['datas']['hunch_list'][0]['date1']

接下来根据state的值判断是否继续打卡:

	statue = 0  # 是否继续执行,0为继续
    if date_res_json['datas']['hunch_list'][0]['state'] == 1:
        statue += 1
        print('今日已打卡!')
    else:
        print('今日未打卡,将自动打卡。。。')

2.5 提交数据

Python学习笔记--每日健康打卡及出校报备

提交时,数据主要包括两部分:date和punch_form。其中date的值就是之前提取过的date1,punch_form为需要进行填报的内容,包括所在地,联系方式,体温等。最后将这两部分数据打包提交即可:

    if statue == 0:
        res_submit = requests.post(submit_url, headers=headers, data=json.dumps(data_punch), cookies=cookie)
        res_submit_json = res_submit.json()

        if res_submit_json['code'] == 200:
            print('打卡成功!')
        else:
            print('打卡失败!')
            print('错误!:%s' % (res_submit_json['msg']))

2.6 UI及exe打包

施工中。。。

上一篇:Java|“ Java”来爬取小说章节


下一篇:ionic