前言
原创文章,转载引用务必注明链接。水平有限,如有疏漏,欢迎指正。
之前看阮一峰的博客文章,介绍到路飞学城爬虫课程限免,看了眼内容还不错,就兴冲冲报了名,99块钱满足以下条件会返还并送书送视频。
缴纳99元保证金即可参与,只要完成3次作业和参与直播,提交学习笔记,就可以退还保证金,还可获得《Python全栈开发实战》及内部教材书籍,视频课程、定制文化衫等作为奖励。另外,还会有1对1的导师逐行批改你的代码、讲师3次直播答疑,还有班主任组队小伙伴共同学习。
好像打了一次广告,麻烦luffy的工作人员看到给我打个赏。网站做的还可以,7月3号正式开课,现在先看的录播,讲的内容还行,但是看视频嘛,有时候会有闲扯。
本文环境:Windows_7_64 bit, Visual Studio Code + Code Runner(Ctrl + Alt + N), Python 3.6,
1、章节一 初始爬虫笔记
-
r.encoding = r.apparent_encoding 设置编码为网页指定的编码,防止乱码(主要utf-8、gbk等)
>>> import requests
>>> r = requests.get('http://baidu.com')
>>> r.apparent_encoding
'ascii'
>>> r = requests.get('http://www.baidu.com')
>>> r.apparent_encoding
'utf-8' -
from xx import xxx 与import xx的区别
>>> from requests_html import HTMLSession
>>> session = HTMLSession()
# 或者
>>> from requests_html import HTML as XXX
>>> doc = """<a href='https://httpbin.org'>"""
>>> html = HTML(html=doc)直接使用模块内的功能(?),否则就是requests_html.HTML()
BeautifulSoup(r.txet, 'html.parser') # lxml快但不内置, 需要手动pip安装
-
出现None时回看数据,必要时跳过
for li in li_list:
h3 = li.find(name='h3')
if not h3:
continue
print(ht.text) BeautifulSoup find()查找第一个获取包含所有内容的div,返回对象;然后再次find_all()查找每个内容的最小个体,返回列表
借助chrome的调试控制台,主要是network、element等,选择element,往上找到带id的。
r.find()和r.find_all()都返回列表,前者只有一个元素
以上为爬取汽车之家,以下为登录抽屉点赞:
bugmenot.com查看共享账号
首先随便输入信息,在f12中Network中看到Login过程
F12选择左上角关闭DeviceBar可以扩大显示空间
直接看json()显示为none,重新看text发现启用反爬虫,设置User-Agent OK。一般需要的就是Hots防盗链,User-Agent防爬虫,先啥都不加
获取cookies:r.cookies.get_dict()
对于https,fiddler需要安装证书解密,直观。F12也很强大,就是乱
有些网站是初次未登录时获取cookies,登陆后对该cookies授权
对于form传递,有csrf或者token的,先访问页面获取token,然后带着token传递账密
s.attrs显示属性,返回字典。s.get('value')取某个属性的值
☆使用selector时有时候是全局,比如找在info里面用复制的selector找不到,res里可以找到。此外,登录前登陆后复制的selector可能不同,主要是前体
-
登录github时,获取页面text报错:
UnicodeEncodeError: 'gbk' codec can't encode character '\u21b5' in position 10332: illegal multibyte sequence
考虑非法字符串无法转换,对string重编码:r.text.decode('utf-8')
要会web才学好爬虫
network -xhr请求-ajax请求
Preserve log,Disable cache
重定向保存,update cookie, allow_rediect = False
重定向 302 Location响应头:r3.headers['Location']初起学习尽量不要用session,先手动模拟,搞透调通再用自动化完成
2、爬虫作业 登录github获取个人信息
课上讲了一部分,登录方式如下,这里我们用session自动管理cookies:
# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup
# from lxml import etree
from requests_html import HTML
# session = HTMLSession()
r = requests.session()
username = 'username'
passwd = 'passwd'
s1 = BeautifulSoup(r.get('https://github.com/login').text, 'html.parser')
# print(s1)
token = s1.find(name='input', attrs={'name': 'authenticity_token'}).get('value')
# print(token)
FormData = {
'commit': 'Sign in',
'utf8': '✓',
'authenticity_token': token,
'login': username,
'password': passwd
}
r.post('https://github.com/session', data=FormData)
此时已经登录github。访问个人主页获取信息:
res = BeautifulSoup(r.get('https://github.com/' + username).text, 'html.parser')
info = res.select('#js-pjax-container > div > div.h-card.col-3.float-left.pr-3')[0]
avatar_src = info.find('img').get('src')
name = info.find(name='span', attrs={'itemprop': 'name'}).text
additionalName = info.find('span', attrs={'itemprop': 'additionalName'}).text
print('name is {0}, additionalName is {1}, avatar is {2}'.format(name, additionalName, avatar_src))
直接是值的话就是.text,否则就是get('value')获取。我们使用vsc配合code runner可以看到运行时间,还有其他功能,非常好用。获取大头像地址去掉?s=64
输出字符乱码的解决
关于输出字符编码乱码,发现用VSC有,IDLE没有,和IDE有关系。建议看以下文章:
以上是基础,参考
在visual studio code 中配置python以及解决中文乱码问题,添加以下代码(Windows/Linux测试通过):
# -*-coding:utf-8 -*-
import io
import sys
#改变标准输出的默认编码
sys.stdout=io.TextIOWrapper(sys.stdout.buffer,encoding='utf8')
采用修改环境变量的方法可以一劳永逸,PYTHONIOENCODING=UTF8
,Windows可以借助Rapidee,linux则export PYTHONIOENCODING=UTF8
即可临时实现,具体可以修改.bashrc文件。