一、验证码识别
1.图形验证码的识别
识别图形验证码需要 tesserocr 库 OCR技术识别（光学字符识别，是指通过扫描字符，然后通过其形状将其翻译成电子文本的过程。）
例如 中国知网注册页面 http://my.cnki.net/elibregister/commonRegister.aspx
tesserocr是Python的一个OCR识别库，但其实是对tesseract做的一层Python API封装，所以它的核心是tesseract
所以在安装tesserocr之前要先安装tesseract
下载地址：
https://digi.bib.uni-mannheim.de/tesseract/
其中带dev的为开发版本 不带dev的为稳定版本 下载好后双击安装
勾选 additional language data 支持语言包
安装tesserocr
pip install tesserocr pillow
如果报错，查看pip支持版本 python命令行下
import pip
import pip._internal
print(pip._internal.pep425tags.get_supported())
去如下网址下载对应版本 进行安装即可
https://github.com/simonflueckiger/tesserocr-windows_build/releases
测试成功 import tesserocr 不报错表示成功
pip install pillow 测试import PIL
1.1 识别测试
下载到本地一张验证码后 更改其名字为 code.jpg 放在python代码根目录
代码如下：
#识别code.jpg 图片验证码
import tesserocr
from PIL import Image image = Image.open('code.jpg') #新建image对象
result = tesserocr.image_to_text(image)#调用imgae_to_text方法 传入image对象
print(result)
另外tesserocr 还有一个更加简单的方法，这个方法可以直接将图片转化为字符串
示例:
import tesserocr
print(tesserocr.file_to_text('code.jpg')) #不过此种方法识别效果不如上一种方法好
1.2 验证码处理
重新下载一张图片命名为code1.jpg 重新用以上代码进行测试
可以看到如果图片当中多余的线条干扰会影响图片识别的准确度
对于这种情况我们还要进行进一步的处理 例如 转灰度 二值化等。
可以利用Image对象的 convert()方法传入参数 L 即可将图片转化为灰度图像
示例：
image = image.convert('L')
image.show()
传入参数1 即可将图片二值化处理
image = image.convert('')
image.show()
但是此种方法默认阀值是127
并且不能直接转换原图 要先将原图转为灰度图像，然后再指定二值化阀值
示例：
image = image.convert('L')
threshold = 80#二值化阀值
table = []
for i in range(256):
if i < threshold:
table.append(0)
else:
table.append(1)
image = image.point(table,'')
image.show()
发现验证码中的线条已经去除 验证码黑白分明 再重新识别验证码
示例：
import tesserocr
from PIL import Image image = Image.open('code1.jpg') image = image.convert('L')
threshold = 127
table = []
for i in range(256):
if i < threshold:
table.append(0)
else:
table.append(1) image = image.point(table, '')
image.show() result = tesserocr.image_to_text(image)
print(result)
如果针对一些有干扰的图片，我们可以选择做一些灰度和二值化处理 达到提高图片识别的正确率
2. 极验滑动验证码的识别
上面我们说可以利用 tesserocr 来识别简单的图形验证码 但是近几年出现了一些新型验证码
其中比较有代表性的就是极验验证码 它需要拖动拼合滑块才可以完成验证，相对于图形验证码来说
识别难度上升了几个等级 例如 魅族 斗鱼
确保本机安装好了selenium 浏览器为Chrome 并配置ChromeDriver
极验验证码官网 http://www.geetest.com/ 它是一个专注于提供验证安全的系统 主要验证方式是拖动滑块拼合图像
如果图像完全拼合 则验证成功
2.1 极验验证码特点
极验验证码相比图片验证码识别难度更大，对于极验3.0版本 首先要点击按钮进行智能验证，如果验证不通过，则会弹出滑动验证窗口
拖动滑动拼合图像进行验证，之后三个加密参数会生成，通过表单提交到后台，后台还会进行一次验证。
极验验证码还增加了机器学习的方法来识别拖动轨迹 官方网站的安全防护有如下几点说明：
1. 三角防护之防模拟。恶意程序模仿人类行为轨迹对验证码进行识别，针对模拟 极验验证码拥有4000万人机行为样本的海量数据
利用机器学习和神经网络构建线上线下多重静态 动态防御模型 识别模拟轨迹，界定人机边界。
2. 三角防护之防伪造。恶意程序通过伪造设备浏览器环境对验证码进行识别，针对伪造 极验验证码利用设备基因技术，深度分析
浏览器的实际性能来识别伪造信息，同时根据伪造时间不断更新黑名单，大幅度提高防伪造能力。
3. 三角防护之防暴力。 恶意程序短时间内进行密集攻击，对验证码进行暴力识别，针对暴力识别 极验验证码拥有多种验证形态，
每一种验证形态都利用神经网络生成海量图库储备，每一张图片都是独一无二的，且图库不断更新，极大程度提高了暴力识别的成本。
另外 相比普通验证方式 极验更加方便 体验更加友好：
1. 点击验证只需0.4秒
2. 全平台兼容
3. 面向未来
相比一般验证码 极验验证码的安全性和易用性有了非常大的提高。
2.2 识别思路
对于应用了极验验证码的网站，如果直接模拟表单提交 加密参数的构造是个问题 需要分析它加密和校验逻辑 相对繁琐
所以采用直接模拟浏览器动作的方式来完成验证 此验证成本相比直接去识别加密算法少很多
示例： 中国保温网
http://www.cnbaowen.net/api/geetest/
识别验证只需要完成如下三步：
1.模拟点击验证按钮
2.识别滑动缺口的位置
3.模拟拖动滑块
第一步相对简单 可以直接用selenium 模拟点击操作
第二步识别缺口位置比较关键 需要用到图像相关的处理方法 首先观察缺口的样子 缺口四周边缘有明显的断裂边缘 边缘和边缘周围有明显的区别
可以实现一个边缘检测算法找出缺口的位置。
第三步看似简单 其中的坑比较多 极验验证码增加了机器轨迹识别，匀速移动 随机速度移动等方法都不能通过验证，只有完全模拟人的移动轨迹才可以通过验证
人的移动轨迹一般是先加速后减速 需要模拟这个过程才能通过验证。
2.3 代码实现
初始化 测试链接
http://www.cnbaowen.net/api/geetest/
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait # 等待元素加载的
from selenium.webdriver.common.action_chains import ActionChains #拖拽
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException, NoSuchElementException
from selenium.webdriver.common.by import By
from PIL import Image
import requests
import time
import re
import random
from io import BytesIO def merge_image(image_file,location_list):
"""
拼接图片
:param image_file:
:param location_list:
:return:
"""
im = Image.open(image_file)
im.save('Code.jpg')
new_im = Image.new('RGB',(260,116))
# 把无序的图片 切成52张小图片
im_list_upper = []
im_list_down = []
# print(location_list)
for location in location_list:
# print(location['y'])
if location['y'] == -58: # 上半边
im_list_upper.append(im.crop((abs(location['x']),58,abs(location['x'])+10,116)))
if location['y'] == 0: # 下半边
im_list_down.append(im.crop((abs(location['x']),0,abs(location['x'])+10,58))) x_offset = 0
for im in im_list_upper:
new_im.paste(im,(x_offset,0)) # 把小图片放到 新的空白图片上
x_offset += im.size[0] x_offset = 0
for im in im_list_down:
new_im.paste(im,(x_offset,58))
x_offset += im.size[0]
new_im.show()
return new_im def get_image(driver,div_path):
'''
下载无序的图片 然后进行拼接 获得完整的图片
:param driver:
:param div_path:
:return:
'''
time.sleep(2)
background_images = driver.find_elements_by_xpath(div_path)
location_list = []
for background_image in background_images:
location = {}
result = re.findall('background-image: url\("(.*?)"\); background-position: (.*?)px (.*?)px;',background_image.get_attribute('style'))
# print(result)
location['x'] = int(result[0][1])
location['y'] = int(result[0][2]) image_url = result[0][0]
location_list.append(location) print('==================================')
image_url = image_url.replace('webp','jpg')
# '替换url http://static.geetest.com/pictures/gt/579066de6/579066de6.webp'
image_result = requests.get(image_url).content
# with open('1.jpg','wb') as f:
# f.write(image_result)
image_file = BytesIO(image_result) # 是一张无序的图片
image = merge_image(image_file,location_list) return image def get_track(distance):
'''
拿到移动轨迹，模仿人的滑动行为，先匀加速后匀减速
匀变速运动基本公式：
①v=v0+at
②s=v0t+(1/2)at²
③v²-v0²=2as :param distance: 需要移动的距离
:return: 存放每0.2秒移动的距离
'''
# 初速度
v=0
# 单位时间为0.2s来统计轨迹，轨迹即0.2内的位移
t=0.2
# 位移/轨迹列表，列表内的一个元素代表0.2s的位移
tracks=[]
# 当前的位移
current=0
# 到达mid值开始减速
mid=distance * 7/8 distance += 10 # 先滑过一点，最后再反着滑动回来
# a = random.randint(1,3)
while current < distance:
if current < mid:
# 加速度越小，单位时间的位移越小,模拟的轨迹就越多越详细
a = random.randint(2,4) # 加速运动
else:
a = -random.randint(3,5) # 减速运动 # 初速度
v0 = v
# 0.2秒时间内的位移
s = v0*t+0.5*a*(t**2)
# 当前的位置
current += s
# 添加到轨迹列表
tracks.append(round(s)) # 速度已经达到v,该速度作为下次的初速度
v= v0+a*t # 反着滑动到大概准确位置
for i in range(4):
tracks.append(-random.randint(2,3))
for i in range(4):
tracks.append(-random.randint(1,3))
return tracks def get_distance(image1,image2):
'''
拿到滑动验证码需要移动的距离
:param image1:没有缺口的图片对象
:param image2:带缺口的图片对象
:return:需要移动的距离
'''
# print('size', image1.size) threshold = 60
for i in range(0,image1.size[0]): #
for j in range(0,image1.size[1]): #
pixel1 = image1.getpixel((i,j))
pixel2 = image2.getpixel((i,j))
res_R = abs(pixel1[0]-pixel2[0]) # 计算RGB差
res_G = abs(pixel1[1] - pixel2[1]) # 计算RGB差
res_B = abs(pixel1[2] - pixel2[2]) # 计算RGB差
if res_R > threshold and res_G > threshold and res_B > threshold:
return i # 需要移动的距离 def main_check_code(driver, element):
"""
拖动识别验证码
:param driver:
:param element:
:return:
"""
image1 = get_image(driver, '//div[@class="gt_cut_bg gt_show"]/div')
image2 = get_image(driver, '//div[@class="gt_cut_fullbg gt_show"]/div')
# 图片上 缺口的位置的x坐标
# 2 对比两张图片的所有RBG像素点，得到不一样像素点的x值，即要移动的距离
l = get_distance(image1, image2)
print('l=',l)
# 3 获得移动轨迹
track_list = get_track(l)
print('第一步,点击滑动按钮')
ActionChains(driver).click_and_hold(on_element=element).perform() # 点击鼠标左键，按住不放
time.sleep(2)
print('第二步,拖动元素')
for track in track_list:
ActionChains(driver).move_by_offset(xoffset=track, yoffset=0).perform() # 鼠标移动到距离当前位置（x,y）
time.sleep(0.002) ActionChains(driver).move_by_offset(xoffset=-random.randint(2,5), yoffset=0).perform()
time.sleep(2)
print('第三步,释放鼠标')
ActionChains(driver).release(on_element=element).perform()
time.sleep(5) def main_check_slider(driver):
"""
检查滑动按钮是否加载
:param driver:
:return:
"""
while True:
try :
driver.get('http://www.cnbaowen.net/api/geetest/')
element = WebDriverWait(driver, 30, 0.5).until(EC.element_to_be_clickable((By.CLASS_NAME, 'gt_slider_knob')))
if element:
return element
except TimeoutException as e:
print('超时错误，继续')
time.sleep(5) if __name__ == '__main__':
try:
count = 6 # 最多识别6次
driver = webdriver.Chrome()
# 等待滑动按钮加载完成
element = main_check_slider(driver)
while count > 0:
main_check_code(driver,element)
time.sleep(2)
try:
success_element = (By.CSS_SELECTOR, '.gt_holder .gt_ajax_tip.gt_success')
# 得到成功标志
print('suc=',driver.find_element_by_css_selector('.gt_holder .gt_ajax_tip.gt_success'))
success_images = WebDriverWait(driver, 20).until(EC.presence_of_element_located(success_element))
if success_images:
print('成功识别')
count = 0
break
except NoSuchElementException as e:
print('识别错误，继续识别')
ount -= 1
time.sleep(2)
else:
print('too many attempt check code ')
exit('退出程序')
finally:
driver.close()
3. 点触验证码的识别
除了极验验证码之外，还有一个常见且比较广泛的验证码，既点触验证码 例如12306
直接点击图中符合要求的图 答案全部正确验证才会成功 有一个错误验证就会失败
示例：
https://www.jianshu.com/sign_in
识别思路 ：
如果依靠图像识别验证码 识别难度非常大 第一点是文字识别 第二点是图像识别 图像背景会干扰 导致ORC几乎识别不出结果
如果直接识别白色文字 换一张验证码 颜色又变了
借助打码平台：
http://www.chaojiying.com/user/reg/
注册账户
进入用户中心 申请软件ID
关注微信或者购买题分
http://www.chaojiying.com/api-14.html
下载打码平台的api
示例如下：
#!/usr/bin/env python
# coding:utf-8 import requests
from hashlib import md5 class Chaojiying_Client(object): def __init__(self, username, password, soft_id):
self.username = username
password = password.encode('utf8')
self.password = md5(password).hexdigest()
self.soft_id = soft_id
self.base_params = {
'user': self.username,
'pass2': self.password,
'softid': self.soft_id,
}
self.headers = {
'Connection': 'Keep-Alive',
'User-Agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)',
} def PostPic(self, im, codetype):
"""
im: 图片字节
codetype: 题目类型 参考 http://www.chaojiying.com/price.html
"""
params = {
'codetype': codetype,
}
params.update(self.base_params)
files = {'userfile': ('ccc.jpg', im)}
r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=params, files=files, headers=self.headers)
return r.json() def ReportError(self, im_id):
"""
im_id:报错题目的图片ID
"""
params = {
'id': im_id,
}
params.update(self.base_params)
r = requests.post('http://upload.chaojiying.net/Upload/ReportError.php', data=params, headers=self.headers)
return r.json() if __name__ == '__main__':
chaojiying = Chaojiying_Client('超级鹰用户名', '超级鹰用户名的密码', '') #用户中心>>软件ID 生成一个替换 96001
im = open('a.jpg', 'rb').read() #本地图片文件路径 来替换 a.jpg 有时WIN系统须要//
print chaojiying.PostPic(im, 1902) #1902 验证码类型 官方网站>>价格体系 3.4+版 print 后要加()
这里定义了一个Chaojiying_Client类 其构造函数接收三个参数 分别是超级鹰用户名，超级鹰用户名的密码，软件ID
最重要的一个方法叫做PostPic，需要传入图片对象和验证码的代号，该方法会将图片对象的相关信息 发送个超级鹰后台进行识别，
然后将识别成功的JSON返回。
ReportError方法 发生错误的时候回调 如果验证码识别错误，调用此方法会返回相应的题分。
初始化
import time from PIL import Image
from selenium import webdriver
from selenium.webdriver import ActionChains from chaojiying import Chaojiying def crack():
# 保存网页截图
browser.save_screenshot('222.jpg') # 获取 验证码确定按钮
button = browser.find_element_by_xpath(xpath='//div[@class="geetest_panel"]/a/div') # 获取 验证码图片的 位置信息
img1 = browser.find_element_by_xpath(xpath='//div[@class="geetest_widget"]')
location = img1.location
size = img1.size
top, bottom, left, right = location['y'], location['y'] + size['height'], location['x'], location['x'] + size[
'width']
print('图片的宽:', img1.size['width'])
print(top, bottom, left, right) # 根据获取的验证码位置信息和网页图片 对验证码图片进行裁剪 保存
img_1 = Image.open('222.jpg')
capcha1 = img_1.crop((left, top, right, bottom - 54))
capcha1.save('tu1-1.png') # 接入超级鹰 API 获取图片中的一些参数 (返回的是一个字典)
cjy = Chaojiying('liuxiaosong', '', '')
im = open('tu1-1.png', 'rb').read()
content = cjy.post_pic(im, 9004)
print(content)
# 将图片中汉字的坐标位置 提取出来
positions = content.get('pic_str').split('|')
locations = [[int(number) for number in group.split(",")] for group in positions]
print(positions)
print(locations) # 根据获取的坐标信息 模仿鼠标点击验证码图片
for location1 in locations:
print(location1)
ActionChains(browser).move_to_element_with_offset(img1, location1[0], location1[1]).click().perform()
time.sleep(1)
button.click()
time.sleep(1)
# 失败后重试
lower = browser.find_element_by_xpath('//div[@class="geetest_table_box"]/div[2]').text
print('判断', lower)
if lower != '验证失败 请按提示重新操作' and lower != None:
print('登录成功')
time.sleep(3)
else:
time.sleep(3)
print('登录失败')
# 登录失败后 , 调用 该函数 , 后台 则对该次判断不做扣分处理
pic_id = content.get('pic_id')
print('图片id为:', pic_id)
cjy = Chaojiying('liuxiaosong', '', '')
cjy.report_error(pic_id)
crack() if __name__ == '__main__':
browser = webdriver.Chrome() browser.get('https://www.jianshu.com/sign_in')
browser.save_screenshot('login.png') # 填写from表单 点击登陆 获取验证码 的网页截图
login = browser.find_element_by_id('sign-in-form-submit-btn')
username = browser.find_element_by_id('session_email_or_mobile_number')
password = browser.find_element_by_id('session_password')
username.send_keys('')
time.sleep(1)
password.send_keys('')
time.sleep(2)
login.click()
time.sleep(10)
crack()
二、代理的使用
前面介绍了多种请求库 requests urllib selenium等
1.获取代理
网上有很多免费代理 例如 西刺 http://www.xicidaili.com/ 但是免费代理大多数是不好用的 最靠谱的方法是购买付费代理
如果本机有代理软件的话 软件一般会在本机创建HTTP和SOCKS代理服务 本机直接使用代理也可以
示例： （也可以替换成自己的可用代理 设置代理后测试网址是http://httpbin.org/get 访问该网站可以得到请求信息 其中origin字段就是客户端的ip）
2.urllib
from urllib.error import URLError
from urllib.request import ProxyHandler,build_opener proxy = '127.0.0.1:14155'
proxy_handler = ProxyHandler({
'http':'http://' + proxy,
'https':'https://' + proxy
})
opener = build_opener(proxy_handler) try:
response = opener.open('http://httpbin.org/get')
print(response.read().decode('utf-8'))
except URLError as e:
print(e.reason)
这里借助ProxyHandler 设置代理 参数是字典 键名为协议 键值为代理
创建完ProxyHandler对象后 调用 build_opener()方法传入该对象来创建一个opener对象
如果需要认证 可以改变proxy 变量 只需要在代理前面加入代理认证的用户名密码即可 例如 username:password@127.0.0.1:14155
3.requests
代理设置相对urllib简单 传入参数proxies
import requests
proxy = '127.0.0.1:14155'
proxies = {
'http': 'http://' + proxy,
'https': 'https://' + proxy,
}
try:
response = requests.get('http://httpbin.org/get', proxies=proxies)
print(response.text)
except requests.exceptions.ConnectionError as e:
print('Error', e.args)
需要认证的话同理 proxy = 'username:password@127.0.0.1:9743'
4. selenium
from selenium import webdriver proxy = '127.0.0.1:14155'
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--proxy-server=http://' + proxy)
chrome = webdriver.Chrome(chrome_options=chrome_options)
chrome.get('http://httpbin.org/get')
如果是认证的相对比较麻烦
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import zipfile ip = '127.0.0.1'
port = 14155
username = 'liuxiaosong'
password = '' manifest_json = """
{
"version": "1.0.0",
"manifest_version": 2,
"name": "Chrome Proxy",
"permissions": [
"proxy",
"tabs",
"unlimitedStorage",
"storage",
"<all_urls>",
"webRequest",
"webRequestBlocking"
],
"background": {
"scripts": ["background.js"]
}
}
""" background_js = """
var config = {
mode: "fixed_servers",
rules: {
singleProxy: {
scheme: "http",
host: "%(ip)s",
port: %(port)s
}
}
} chrome.proxy.settings.set({value: config, scope: "regular"}, function() {}); function callbackFn(details) {
return {
authCredentials: {
username: "%(username)s",
password: "%(password)s"
}
}
} chrome.webRequest.onAuthRequired.addListener(
callbackFn,
{urls: ["<all_urls>"]},
['blocking']
)
""" % {'ip': ip, 'port': port, 'username': username, 'password': password} plugin_file = 'proxy_auth_plugin.zip'
with zipfile.ZipFile(plugin_file, 'w') as zp:
zp.writestr("manifest.json", manifest_json)
zp.writestr("background.js", background_js)
chrome_options = Options()
chrome_options.add_argument("--start-maximized")
chrome_options.add_extension(plugin_file)
browser = webdriver.Chrome(chrome_options=chrome_options)
browser.get('http://httpbin.org/get')
需要本地创建一个manifest.json配置文件 background.js 脚本设置代理 运行之后本地会生成一个 proxy_auth_plugin.zip 文件保存当前设置
5.phantomjs
需要安装 下载地址 http://phantomjs.org/download 选择对应平台下载即可
下载后 解压文件 复制在bin目录下phantomjs.exe 到python目录下的script目录下 或者单独添加环境变量
cmd 运行 phantomjs 进入到phantomjs命令行表示配置成功
在selenium中使用的话 只需要将Chrome切换为PhantomJS即可
from selenium import webdriver
browser = webdriver.PhantomJS()
browser.get('https://www.baidu.com')
print(browser.current_url)
会报警告 selenium 3.X版本 已经弃用PhantomJS 两种方式 使用Chrome*面 headless 或者降低selenium版本 推荐第一种
示例：
from selenium import webdriver
from selenium.webdriver.chrome.options import Options chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')#上面三行代码就是为了将Chrome不弹出界面，实现*面爬取
browser = webdriver.Chrome(chrome_options=chrome_options)
PhantomJS示例：
from selenium import webdriver service_args = [
'--proxy=127.0.0.1:9743',
'--proxy-type=http'
] browser = webdriver.PhantomJS(service_args=service_args)
browser.get('http://httpbin.org/get')
print(browser.page_source)
如果加认证
from selenium import webdriver service_args = [
'--proxy=127.0.0.1:9743',
'--proxy-type=http',
'--proxy-auth=username:password'
] browser = webdriver.PhantomJS(service_args=service_args)
browser.get('http://httpbin.org/get')
print(browser.page_source)