PC 端自动化最佳方案

2023-11-12 17:24:46

https://www.cnblogs.com/xingag/p/15196124.html

1. 前言

大家好，我是安果！

一提到自动化，可能大家想到的是 App 端的 Appium、Airtest、AutoJS，亦或是 Selenium、Puppeteer、Cypress 等 Web 端的自动化框架

本篇文章，我将和大家聊聊 PC 端的自动化工具 - WinAppDriver

2. 准备

WinAppDriver，全称为 Windows Application Driver，它是 Windows 上一个类似 Selenium 的 UI 自动化驱动服务框架

它支持 Appium，可以使用 Appium-Python-Client 依赖库完成对 Windows 桌面程序的自动化操作

项目地址：https://github.com/Microsoft/WinAppDriver

需要注意的是，要使用 WinAppDriver 服务框架完成 Windows 的自动化，需要满足 Windows10 或 Windows Server 2016 以上系统

另外，它支持的应用程序包含：

UWP - Universal Windows Platform
WinForms - Windows Forms
WPF - Windows Presentation Foundation
Win32 - Classic Windows

在实现之前，我们需要做好以下准备工作

2-1 开启「开发者模式」

关键字搜索「开发者设置」，选择开启「开发者模式」

2-2 安装窗口组件元素识别工具

常用的 2 种窗口元素识别工具为：inspect.exe、FlaUInspect

其中

作为官方的组件元素识别工具，inspect.exe 集成于 Windows SDK

如果本地不存在该文件，可以通过下面链接进行安装

https://download.microsoft.com/download/4/d/2/4d2b7011-606a-467e-99b4-99550bf24ffc/windowssdk/winsdksetup.exe

相比 inspect.exe，FlaUInspect 界面更简洁，功能更易用（推荐）

项目地址：https://github.com/FlaUI/FlaUInspect

2-3 安装 WinAppDriver

通过下面链接下载 WinAppDriver 应用程序，并在本地运行起来

https://github.com/Microsoft/WinAppDriver/releases

2-4 搭建 Appium 环境

这部分内容涉及 NodeJS 安装及 Appium-Server 环境的搭建

可以参考：https://www.cnblogs.com/amoyshmily/p/10500687.html

2-5 安装依赖

最后安装 Python 依赖库 Appium-Python-Client

# 安装依赖 Appium-Python-Client
pip3 install Appium-Python-Client

3. 实战一下

我们以操作 PC 端的微信为例，聊聊自动化的常见步骤

首先，我们在本机打开 WinAppDriver 服务，让它在后台运行

然后，我们使用 Python 编写自动化脚本

通过 ip 地址、端口号及 PC 版微信的绝对路径，使用 Appium 打开微信

import time, os
from appium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver.common.keys import Keys
from time import sleep

class Auto():

    def open_weixin(self, host=‘localhost‘, port=4723):
        # 打开WinAppDriver服务
        # 注意：如果手动开启，则可以注释掉
        # os.system(r‘start "" /d "C:\Program Files\Windows Application Driver\"  "WinAppDriver.exe"‘)

        # 配置信息
        # 包含：平台名、系统、应用程序绝对路径
        desired_caps = {‘platformName‘: ‘Windows‘, ‘deviceName‘: ‘WindowsPC‘,
                        ‘app‘: r"D:\Program Files (x86)\Tencent\WeChat\WeChat.exe"}

        try:
            # 连接WinAppDriver服务，打开目标软件
            self.driver = webdriver.Remote(‘http://{}:{}‘.format(host, port), desired_caps)
        except Exception as e:
            raise AssertionError(e)

接着，通过「组件元素识别工具」拿到界面元素的属性值，执行常见的点击、移动、滑动等操作

比如：点击「文件传输助手」，发送一条信息

# 给文件传输助手发送一条信息
def send_msg(self, element_name, msg):
    """
    :param element_name:元素name值
    :param msg:
    :return:
    """
    # 通过name属性，找到目标元素
    chat_element = self.weixin_driver.find_element_by_name(target_name)

    # 点击元素，进入聊天界面
    chat_element.click()

    # 找到输入框，并输入
    self.weixin_driver.find_element_by_name("输入").send_keys(msg)

    # 点击右下角的发送，发送消息出去
    self.weixin_driver.find_element_by_name("发送(S)").click()

需要注意的是，如果涉及界面的滑动，可以使用「 ActionChains 」移动鼠标，然后使用 win32api 和 win32con 模拟屏幕滑动即可

import win32api
import win32con
from appium import webdriver
from selenium.webdriver import ActionChains

# 模拟屏幕滑动
# 1、移动到某个元素区域
ActionChains(self.weixin_driver).move_to_element(
self.weixin_driver.find_element_by_name("element_name")).perform()

# 2、滑动界面
# 比如，向上滚动，模拟滑动
win32api.mouse_event(win32con.MOUSEEVENTF_WHEEL, 0, 0, -500)

完成自动化操作后，就可以主动释放资源、关闭 WinAppDriver 服务

# 释放资源及关闭服务
def tearDownFunc(self):
    print("准备退出")
    sleep(2)

    # 1、释放资源
    self.weixin_driver.quit()

    # 2、关闭WinAppDriver应用程序
    os.system(‘ @taskkill /f /im WinAppDriver.exe‘)

4. 最后

在实际使用过程中，可能会遇到复杂的桌面应用程序，这时我们可以通过打印驱动对象的「 page_source」元素控制树值，以此来帮助我们进行快速定位元素，进而完善自动化脚本

=============================================================================

1. 前言

大家好，我是安果！

上一篇文章，聊到 PC 端的一种自动化方案：WinAppDriver

聊聊 PC 端自动化最佳方案 - WinAppDriver

有小伙伴后台给我留言，说「 pywinauto 」作为 WinAppDriver 的替代方案，也能完美完成 PC 端的自动化

2. 介绍

Pywinauto，完全由 Python 构建的一个模块，可以用于自动化 Windows 上的 GUI 应用程序

同时，它支持鼠标、键盘操作，在元素控件树较复杂的界面，可以辅助我们完成自动化操作

项目地址：https://github.com/pywinauto/pywinauto

支持的应用为下面 2 大类：

Win32 API

包含 MFC、VB6、VCL、simple WinForms controls and most of the old legacy apps
MS UI Automation

包含 WinForms、WPF、Store apps、Qt5, browsers

其中

win32 API 的 backend 为「 win32 」

MS UI Automation 的 backend 为「 uia 」

3. 元素控件

和 WinAppDriver 类似，在编写自动化脚本之前，我们需要先获取元素控件的各类属性值

获取元素控件有 2 种方式：

窗口内置方法
检查工具

其中

窗口对象内置的 2 个方法都可以打印出当前页面的元素控件树

# 窗口对象中内置方法，打印窗体内所有元素控件
# 方式一：
窗体对象.print_control_identifiers()

# 方式二
窗体对象.dump_tree()

常用的检查工具也包含 2 种，分别是：Inspect.exe、Spy++

4. 实战一下

在实战之前，我们先安装依赖包 pywinauto

# 安装依赖
pip3 install pywinauto

接下来，我们还是以上篇文章中的例子来讲解完整的实现过程

4-1 打开微信客户端

首先，通过检查工具判断应用的 backend 属性值，PC 端微信的 backend 为「 uia 」

然后，实例化一个「 Application 」类

最后，使用该对象内置的函数创建一个应用对象

import pywinauto
from pywinauto.application import Application

# 获取应用对象
# 三种方式任选一种
# 方式一：应用进程pid（连接）
app = Application(backend=‘uia‘).connect(process=pid)

# 方式二：应用完整路径（连接）
app = Application(backend=‘uia‘).connect(path="D:\Program Files (x86)\Tencent\WeChat\WeChat.exe")

# 方式三：打开应用（打开）
app = Application(backend=‘uia‘).start(‘D:\Program Files (x86)\Tencent\WeChat\WeChat.exe‘)

需要指出的是，获取应用对象有上面 3 种方式，可以按需使用

4-2 获取窗体对象

通过检查工具获取窗体的属性列表，然后使用应用对象 + 窗体属性获取微信首页的窗体对象

实现代码如下：

from pywinauto.win32functions import SetFocus

# 获取窗口对象
# 通过title及ClassName获取窗体对象
self.weixin_pc_window = self.app.window(title=u"微信", class_name="WeChatMainWndForPC")

self.weixin_pc_window.set_focus()

4-3 切换到聊天列表

获取左侧聊天切换按钮，获取其坐标位置，模拟点击进入到聊天列表页面

from pywinauto import mouse

def __get_element_postion(self, element):
    """获取元素的中心点位置"""
    # 元素坐标
    element_position = element.rectangle()
    # 算出中心点位置
    center_position = (int((element_position.left + element_position.right) / 2),
                           int((element_position.top + element_position.bottom) / 2))
    return center_position

def start(self):
    # 1、获取左侧【聊天】切换元素
    chat_list_element = self.weixin_pc_window.child_window(title="聊天", control_type="Button")
    # 2、点击进入到聊天列表
    mouse.click(button=‘left‘,
                    coords=self.__get_element_postion(chat_list_element))

4-4 进入聊天页面，输入内容并发送

获取「文件聊天助手」元素，点击进入到聊天页面，找到输入框元素，使用内置方法输入内容，最后使用键盘模拟点击「 Enter 」键，发送消息

from pywinauto import mouse

# 3、点击【文件传输助手】进入到聊天页面
file_helper_element = self.weixin_pc_window.child_window(title="文件传输助手", control_type="ListItem")

mouse.click(button=‘left‘,
                    coords=self.__get_element_postion(file_helper_element))
# 4、获取输入框元素，模拟输入
        edit_element = self.weixin_pc_window.child_window(title=r"输入", control_type="Edit")

sleep(2)
# 输入内容
edit_element.type_keys("星安果")
# 使用键盘模拟回车，即：发送
send_keys(‘{ENTER}‘)

4-5 释放资源

完成操作后，可以调用应用对象的「 kill() 」函数关闭进程，释放掉资源

def teardown(self):
    """释放资源"""
    # 结束进程，释放资源
    self.app.kill()

5. 最后

上例中使用 pywinauto 完成了一个简单的发送消息的自动化步骤

实际项目中，结合鼠标、键盘可以实现很多复杂场景的自动化，对这部分有兴趣的可以点击文末的「阅读原文」去了解

pywinauto 和 WinAppDriver 都能很好的完成 PC 端的自动化，但是由于 WinAppDriver 支持 Appium，在脚本语法简洁性方面可能更有优势

PC 端自动化最佳方案

码农公寓

1. 前言

2. 准备

3. 实战一下

4. 最后

1. 前言

2. 介绍

3. 元素控件

4. 实战一下

5. 最后

相关文章