前几天刚学了python网络编程，书里没什么实践项目，只好到网上找点东西做。

一直对爬虫很好奇，所以不妨从爬虫先入手吧。

Python版本：3.6

这是我看的教程：Python - Jack -Cui -CSDN

大概学了一下urllib，beautifulsoup这两个库，也看了一些官方文档，学会了这两个库的大概的用法。

urllib用来爬取url的内容，如html文档等。beautifulsoup是用来解析html文档，就像js的DOM操作一样。简单流程如下：

from urllib import request

from bs4 import BeautifulSoup

#urllib操作

url = 'http://blog.csdn.net/'

#编辑header，至少要把User-Agent写上，否则python会自动加上，导致直接被有反爬虫机制的网站识别

#有很多网站会有个Content-Encoding=gzip，进行后面的输出时一定要gzip解压缩，具体怎么解压缩，看看这个：https://www.jianshu.com/p/2c2781462902

headers = {

    'Connection' : 'keep-alive',

    'Cache-Control' : 'max-age=0',

    'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.89 Safari/537.36'

}

req = request.Request(url, headers=headers)

response = request.urlopen(req)

html = response.read()

#输出html内容

print(html)

#beautifulsoup操作

soup = BeautifulSoup(html, 'lxml')

#选取所有a标签

a_tags = soup.find_all('a')

#获得a标签中的内容(string属性)

for item in a_tags:

    print(item.string)

基础内容差不多就这些，下面来爬一下煎蛋。

先看一下其源代码，发现源html中并没有图片的链接，而是只有一个没有url的img标签和一个有img-hash属性的span标签

查看js文件，寻找jandan_load_img()函数

分析可知，由span的img-hash属性的值和一个固定的hash作为参数，传入一个f_开头的函数，将返回值直接插入html文档中的a的href中，可见，返回值就是图片的真实url。所以思路有了：用python模拟js的函数，先取img-hash的值，再传入一个解密函数（对应f_开头函数），得到图片url。再看一下jandan_load_img()函数，取回url之后，如果文件后缀名为.gif，则在其中加入'thumb180'字符串，这个好做。

下面直接贴个源码吧：

#!/usr/bin/env python3

from bs4 import BeautifulSoup

from urllib import request

import argparse

import hashlib

import base64

import gzip

import time

import os

import io

import re

headers = {

    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.89 Safari/537.36',

    'Accept-Encoding':'gzip, deflate',

    'Accept-Language':'zh-CN,zh;q=0.9',

    }

def md5(src):

    m = hashlib.md5()

    m.update(src.encode('utf-8'))

    return m.hexdigest()

def decode_base64(data):

    missing_padding=4-len(data)%4

    if missing_padding:

        data += '='* missing_padding

    return base64.b64decode(data)

def calculate_url(img_hash, constant):

    k = 'DECODE'

    q = 4

    constant = md5(constant)

    o = md5(constant[0:16])

    #n = md5(constant[16:16])

    n = md5(constant[16:32])

    l = img_hash[0:q]

    c = o+md5(o + l)

    img_hash = img_hash[q:]

    k = decode_base64(img_hash)

    h = []

    for g in range(256):

        h.append(g)

    b = []

    for g in range(256):

        b.append(ord(c[g % len(c)]))

    f = 0

    for g in range(256):

        f = (f + h[g] + b[g]) % 256

        tmp = h[g]

        h[g] = h[f]

        h[f] = tmp

    t = ""

    f = 0

    p = 0

    for g in range(len(k)):

        p = (p + 1) % 256

        f = (f + h[p]) % 256

        tmp = h[p]

        h[p] = h[f]

        h[f] = tmp

        t += chr(k[g] ^ (h[(h[p] + h[f]) % 256]))

    t = t[26:]

    return t

def get_raw_html(url):

    req = request.Request(url=url, headers=headers)

    response = request.urlopen(req)

    text = response.read()

    encoding = response.getheader('Content-Encoding')

    if encoding == 'gzip':

        buf = io.BytesIO(text)

        translated_raw = gzip.GzipFile(fileobj=buf)

        text = translated_raw.read()

    text = text.decode('utf-8')

    return text

def get_soup(html):

    soup = BeautifulSoup(html, 'lxml')

    return soup

def get_preurl(soup):

    preurl = 'http:'+soup.find(class_='previous-comment-page').get('href')

    return preurl

def get_hashesAndConstant(soup, html):

    hashes = []

    for each in soup.find_all(class_='img-hash'):

        hashes.append(each.string)

    js = re.search(r'<script\ssrc=\"\/\/(cdn.jandan.net\/static\/min\/.*?)\">.*?<\/script>', html)

    jsFileURL = 'http://'+js.group(1)

    jsFile = get_raw_html(jsFileURL)

    target_func = re.search(r'f_\w*?\(e,\"(\w*?)\"\)', jsFile)

    constant_hash = target_func.group(1)

    return hashes, constant_hash

def download_images(urls):

    if not os.path.exists('downloads'):

        os.makedirs('downloads')

    for url in urls:

        filename = ''

        file_suffix = re.match(r'.*(\.\w+)', url).group(1)

        filename = md5(str(time.time()))+file_suffix

        request.urlretrieve(url, 'downloads/'+filename)

        time.sleep(3)

def spider(url, page):

    #get hashes, constant-hash, previous page's url

    html = get_raw_html(url)

    soup = get_soup(html)

    params = get_hashesAndConstant(soup, html)

    hashes = params[0]

    constant_hash = params[1]

    preurl = get_preurl(soup)

    urls = []

    index = 1

    for each in hashes:

        real_url = 'http:'+calculate_url(each, constant_hash)

        replace = re.match(r'(\/\/w+\.sinaimg\.cn\/)(\w+)(\/.+\.gif)', real_url)

        if replace:

            real_url = replace.group(1)+'thumb180'+replace.group(3)

        urls.append(real_url)

        index += 1

    download_images(urls)

    page -= 1

    if page > 0:

        spider(preurl, page)

if __name__ == '__main__':

    #user interface

    parser = argparse.ArgumentParser(description='download images from Jandan.net')

    parser.add_argument('-p', metavar='PAGE', default=1, type=int, help='the number of pages you want to download (default 1)')

    args = parser.parse_args()

    #start crawling

    url = 'http://jandan.net/ooxx/'

    spider(url, args.p)

防止被识别，采取了以下措施：

运行的时候可以加个-p参数，是要下载的页数，默认是1。

每爬一张图片暂停3s，为了防止被服务器识别，你们嫌慢的话可以改短一点。

下载的图片保存在当前目录的downloads文件夹下（没有则创建）。

ps:用Windows的同学请注意！这里说的当前目录不是指这个python文件的路径，而是cmd中的当前路径！我一开始是在Linux上做的，后来在Windows测试的时候一直找不到downloads文件夹，把源代码检查了好久，最后才发现是路径问题。。

pps:此项目也可以在我的Github中找到(更有.exe文件等你来发现~滑稽)。

参考：

http://blog.csdn.net/c406495762/article/details/71158264

http://blog.csdn.net/van_brilliant/article/details/78723878