使用Appium+python爬取手机App

一、搭建运行环境

1、jdk安装 8版本

环境配置

JDK官网下载:http://www.oracle.com/technetwork/java/javase/downloads/index.html

安装完成后配置环境变量:

打开:我的电脑->属性->高级系统设置->环境变量

使用Appium+python爬取手机App

1、新建JAVA_HOME:C:\Program Files\Java\jdk1.8.0_161(jdk目录路径)

2、找到Path,没有的话新建Path:%JAVA_HOME%\bin;%PATH%

     注意:如果是Windows10系统,要写jdk和jre的绝对路径

    Path:C:\Program Files\Java\jre1.8.0_161\bin;C:\Program Files\Java\jdk1.8.0_161\bin

使用Appium+python爬取手机App

3、新建CLASSPATH:.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar

使用Appium+python爬取手机App

配置完成。

测试:

cmd运行java -version:

使用Appium+python爬取手机App

cmd运行javac:

使用Appium+python爬取手机App

2、sdk安装

sdk下载地址:http://tools.android-studio.org/index.php/sdk 

下载并安装Android SDK

首先,下载Android SDK Tools。下载地址:http://www.androiddevtools.cn/。

打开网址(http://www.androiddevtools.cn/),找到SDK Tools,选择一个最新的版本就行了。注意,这里有exe和zip两种文件可供下载,exe的就是个安装程序,下载下来需要自己双击安装。这里建议下载zip压缩包,下载后,直接解压缩到你想要安装Android的路径就行了。
使用Appium+python爬取手机App

解压后的文件目录如下:

使用Appium+python爬取手机App

然后就双击“SDK Manager.exe”,启动SDK Manager,如图所示:

使用Appium+python爬取手机App

在这里我只说几个必须要安装的,如上图所示的,Tools文件夹里面的Android SDK Tools(这个我们在之前的一步已经下载好了的,一般不会让你再安装了,不过有可能会让你更新),然后就是Android SDK Platform-tools和Android SDKBuild-tools,注意只需要下载最新的版本就行了。

然后就是API的选择了。我们可以看到这里提供了很多很多从Android 2.1到Android 8.x的很多版本的API,那么怎么选择呢。这里我建议,新手的话,选择一个最新的版本就好了,因为Android是向下兼容的。其他的以后你要用到了在下载就行了。这里我下载了Android 8.1.0(API27)。这里需要说明的是,如果你以后不打算用模拟器调试,而是一直用真机来调试的话,那么就可以不用装“system images“了。
使用Appium+python爬取手机App

最后就是extras文件夹中的东西了,如下图所示,

使用Appium+python爬取手机App

接下来就可以进行安装了。要注意,由于这些东西都是在google 的服务器上下载的。由于俺们天朝有墙,所以可能会出现连接不上的情况,如下图:

使用Appium+python爬取手机App

这种时候,我们可以通过有Android SDK的国内镜像服务器来下载安装,这里推荐几个:

1、中科院开源协会镜像站地址:

IPV4/IPV6 : http://mirrors.opencas.ac.cn 端口:80

2、北京化工大学镜像服务器地址:

IPv4: http://ubuntu.buct.edu.cn/  端口:80

IPv4: http://ubuntu.buct.cn/  端口:80

IPv6: http://ubuntu.buct6.edu.cn/  端口:80

3、大连东软信息学院镜像服务器地址:

http://mirrors.neusoft.edu.cn  端口:80

随便选择一个就行啦。这里我选择的是第三个站点,即大连东软的镜像,使用方法如下:

首先,点击菜单中的“Tools”,然后选择下拉中的“Options…”

使用Appium+python爬取手机App

然后在弹出的对话框中,填写HTTP Proxy Server为mirrors.neusoft.edu.cn(镜像服务器的地址,注意前面不要加http),然后填写HTTP Proxy Port为80 (端口号)。最后在勾选下面的『Forcehttps://... sources to be fetched using http://...』复选框,如下图所示,
使用Appium+python爬取手机App

接着点击close,关闭对话框,再重新启动SDK Manager就行啦。

经过漫长的下载安装过程后,我们可以看到,之前选中安装的项目后面的状态都由之前的“Not installed”变为了如今的“Installed”,这就表示我们已经安装成功了!

使用Appium+python爬取手机App

若按以上操作依然无法下载sdk,可以直接下载我打包好的:百度网盘(链接:https://pan.baidu.com/s/1Pv4TjEGJtwtU_kjDCv5IuA 提取码:2j5q),按照以下步骤配置好环境变量即可

配置Android SDK环境变量(这里用的win10)

配置Android SDK环境变量主要是为Android命令行工具提供方便,可以直接在终端使用部分shell命令。Android SDK附带了一系列命令行工具,位于Android SDK安装目录的tools文件夹以及platform-tools下。这里需要把”\platform-tools“和”\tools”路径追加到系统环境变量Path中,具体如下:

首先,新建一个系统环境变量,变量名为ANDROID_SDK_HOME,变量值为你的SDK安装路径,这里我的安装路径为G:\AndroidDevTools\android-sdk-windows,如图所示:(变量值后不加分号“;”)
使用Appium+python爬取手机App

 然后就是在系统的Path变量后,追加;% ANDROID_SDK_HOME%\platform-tools;% ANDROID_SDK_HOME%\tools,如图所示:(这里每个变量值后不需要加分号“;”系统会自动分隔每个变量值)

使用Appium+python爬取手机App

最后,测试一下是否成功:开始-运行-输入cmd-在终端输入

命令:android -h

显示以下视图则说明tools配置成功;

使用Appium+python爬取手机App

再输入命令:adb

显示以下视图则说明platform-tools配置成功;

使用Appium+python爬取手机App

如图配置成功!!!!!

二、用模拟器的情况下(不用请忽略)

SDK中的adb和模拟器中的adb版本同步

1、复制SDK目录下platform-tools文件夹下
    adb.exe
    AdbWinApi.dll
    AdbWinUsbApi.dll
2、替换夜神模拟器中以上的3个同名文件
3、复制夜神模拟器中的adb.exe 名字改为nox_adb.exe 替换原有的nox_adb.exe
4、重启模拟器完成adb升级

三、安装Appium服务端和客户端

服务端导官网下载即可:http://appium.io/

1、启动界面直接点击启动即可

使用Appium+python爬取手机App

2、通过appium内置工具定位app标签

使用Appium+python爬取手机App

3、填入设备信息

使用Appium+python爬取手机App

信息详解:

{
  "platformName": "Android",      # 手机系统
  "platformVersion": "8.0.0",     # 版本号
  "deviceName": "28fc7344",       # 服务号   命令行adb devices 查看
  "appPackage": "me.yidui",       # app唯一标识,对哪个app进行自动化   E:\android-sdk\build-tools\29.0.2\aapt.exe dum badging C:\Users\v_mcsong\Desktop\yidui.apk
  "appActivity": "com.yidui.ui.login.SplashActivity",     # 同上 在命令行窗口查看
  "noReset": true                        # 不会每次都重启app  保存session
} 

appPackage

使用Appium+python爬取手机App

appActivity

使用Appium+python爬取手机App

下载python支持的appium客户端

安装pip install Appium-Python-Client

滑动手机屏幕(模拟人滑动)

import time
from appium import webdriver
from selenium.webdriver.support.ui import WebDriverWait  # 等待一个控件出现
# 安装pip install Appium-Python-Client

# 获取屏幕的长度和宽度
def get_size():
    x = driver.get_window_size()["width"]
    y = driver.get_window_size()["height"]
    return (x,y)


# 会话配置
desired_caps = {
        "platformName":"Android",
        "platformVersion":"8.0.0",
        "deviceName":"28fc7344",
        "appPackage":"me.yidui",
        "appActivity":"com.yidui.ui.login.SplashActivity",
        "noReset": True
    }

driver = webdriver.Remote("http://127.0.0.1:4723/wd/hub",desired_caps)
print(driver)
time.sleep(3)
l = get_size()    # 获取屏幕也长度和宽度
x1 = int(l[0]*0.5)
y1 = int(l[1]*0.75)
y2 = int(l[1]*0.25)
while  True:
    # 鼠标从什么地方开始到什么地方结束
    driver.swipe(x1,y1,x1,y2)

四、配置mitmproxy用于截取响应数据

安装pip install mitmproxy

启动 mitmproxy

mitmweb    # mitmproxy有三种启动方式,此处使用的命令可以提供一个web交互界面

mitmproxy有三种启动命令:

(1) mitmweb
-- 提供一个web界面;
-- 代理端口:绑定了 *:8080作为代理端口;
-- 交互界面地址:localhost:8081;
(2) mitmproxy
-- 提供命令行界面;
-- 可以通过命令过滤请求;
(3) mitmdump
-- 【TODO】

安装CA证书

第一步,将电脑和手机连到同一个 WiFi 中;

第二步,获取本机的内网IP地址;

得到电脑本机的内网IP地址为 192.168.1.102。

使用Appium+python爬取手机App

第三步,给手机WiFi配置代理

  • 服务器地址为电脑内网IP地址,端口为8080

使用Appium+python爬取手机App

第四步,安装证书

使用手机浏览器访问 mitm.it,得到下图。

使用Appium+python爬取手机App

 我的手机为iPhone,点击 Apple 后得到下图。

使用Appium+python爬取手机App

 

点击允许,开始安装。

使用Appium+python爬取手机App

安装完成后,得到已验证的提示。

使用Appium+python爬取手机App

开启证书

手机依次点击:设置 -> 通用 -> 关于本机 -> 证书信任设置,开启 mitmproxy 证书。

使用Appium+python爬取手机App

配置完成

此时,mitmweb 页面出现下图内容,红框中的为 mitmproxy 抓取的手机的请求。

使用Appium+python爬取手机App

安卓手机如果出现无法现在证书的情况建议更换浏览器进行下载,或在电脑下载好导入手机:

在mitmproxy软件证书配置中,其中手机的证书安装过程一般为:

“将mitmproxy-ca-cert.pem”文件发送到手机上,点击证书文件,便会出现一个安装窗口。”

但是,

部分Android手机并不识别pem文件,如华为P10+。

解决方法为:

1.打开手机“设置”;

2.选择“安全和隐私”;

3.点击“更多安全设置”,找到“从SD卡安装”;

4.搜索该证书文件,点击安装。

PC端安装mitmproxy,生成证书,并在手机端安装android证书,然后设置手机ip代理,仍然报错,错误如下图

使用Appium+python爬取手机App

解决方法

执行如下命令即可:mitmproxy -s tls_passthrough.py

passthrough.py下载地址:https://github.com/mitmproxy/mitmproxy/blob/master/examples/complex/tls_passthrough.py

执行上述命令之后即可正常使用:

使用Appium+python爬取手机App

编写python脚本用于截获响应数据

import json
import time
from db import mdb,conn

def write_mongo(data):
    # 将指纹存储到redis数据库
    ex = conn.sadd(project_yidui, data["aid"])
    # ex == 1 :字符串插入成功   ex == 0 插入的字符串重复了 增量式爬取
    if ex == 1:
        print("正在下载:{}".format(data["member_id"]))
        mdb["yiduiInfo"].update({"aid": data["aid"]}, {"$set": data}, True)
    else:
        print("数据存在暂无更新!!!")

def response(flow):
    # http://api.douguo.net/recipe/v2/search 这个url是通过我们用抓包工具分析出来的获取响应数据的接口
    if "https://api.520yidui.com/v2/members/info.json?target_id=" in flow.request.url:
        # https://api.520yidui.com/v2/members/list?page=    进入用户主页获取更多信息
        # with open("test.txt","w") as f:
        #     f.write(flow.response.text)
        print(flow.response.text)  
        info = json.loads(flow.response.text)
        try:
            data = {
                "aid":info.get("id"),                                       # 用户主页id
                "member_id":info.get("member_id"),                          # 伊对id
                "avatar_url":info.get("avatar_url"),                        # 头像url
                "sex":info.get("sex"),                                      # 性别
                "location":info.get("location"),                            # 地区
                "nickname":info.get("nickname"),                            # 昵称
                "age":info.get("age"),                                      # 年龄
                "height":info.get("height"),                                # 身高
                "vip":info.get("vip"),                                      # 是否是vip用户
                "monologue":info.get("monologue"),                          # 交友心声
                "education":info["detail"].get("education"),                # 学历
                "profession":info["detail"].get("profession"),              # 职业
                "marriage":info["detail"].get("marriage"),                  # 婚姻状况
                "salary":info["detail"].get("salary"),                      # 月收入
                "living_condition":info["detail"].get("living_condition"),  # 住房
                # 征友条件
                "Friend_location":info["relationship_proposal"].get("location"),   # 对方地区
                "Friend_age":info["relationship_proposal"].get("age"),       # 对方年龄
                "Friend_height":info["relationship_proposal"].get("height"), # 对方身高
                "Friend_salary":info["relationship_proposal"].get("salary"), # 对方薪资
                "Friend_education":info["relationship_proposal"].get("education"),  # 对方学历
                "Friend_content":info["relationship_proposal"].get("content"),       # 交友条件
                "ds": int(time.strftime("%Y%m%d", time.localtime(time.time()))),  # 日期时间戳 例如 20190101
                "insert_time": int(time.time() * 1000),  # 插入日期时间戳
            }
            print(data)
            write_mongo(data)
        except Exception as e:
            ...
#         """
#         {
#         ‘id‘: ‘c723c05c8f20455254710db3a5bd6df5‘,
#          ‘member_id‘: 57539327,
#          ‘avatar_url‘: ‘https://img.520yidui.com/uploads/member_avatar/avatar/57539327/fff0214a2e7fa83fa229ca65c805e0af.jpg@!normal‘,
#          ‘sex‘: 1,
#          ‘location‘: ‘广东‘,
#          ‘nickname‘: ‘许你一世对我好‘,
#          ‘age‘: 21,
#          ‘height‘: 161,
#          ‘vip‘: False,
#          ‘monologue‘: ‘说话温和 做人做事有风度,但人得好‘,
#          ‘education‘: ‘高中及以下‘,
#          ‘profession‘: ‘*职业‘,
#          ‘marriage‘: ‘未婚‘,
#          ‘salary‘: ‘4000-6000‘,
#          ‘living_condition‘: ‘其他‘,
#          ‘Friend_location‘: ‘不限‘,
#          ‘Friend_age‘: ‘26-27‘,
#          ‘Friend_height‘: ‘175-178‘,
#          ‘Friend_salary‘: ‘4000-6000‘,
#          ‘Friend_education‘: ‘大专‘,
#          ‘Friend_content‘: ‘我想找26-27岁的异性.‘}
#         """

数据库配置

from redis import Redis
from pymongo import MongoClient

# mongodb连接
my_client = MongoClient(host="127.0.0.1",port=27017)
mdb = my_client["project_yidui"]   # 指定连接的库名
print("mongodb连接成功>>>:",mdb)

# redis连接
conn = Redis(host=127.0.0.1, port=6379)
print("redis连接成功>>>:",conn)

启动命令 :mitmdump -s 脚本绝对路径 -p 8889

滑动手机得到响应数据:

使用Appium+python爬取手机App

 

 

使用Appium+python爬取手机App

上一篇:ZOJ4027 Sequence Swapping (dp)


下一篇:node.js中的后台数据请求mock,axios