### Splash的使用

'''

Splash是一个JavaScript渲染服务，是一个带有HTTP API的轻量级浏览器，同时它对接了Python中的Twisted和QT库。

利用它，我们同样可以实现动态渲染页面的抓取。

'''

## 功能介绍

# 1.异步方式处理多个网页渲染过程

# 2.获取渲染后页面的源代码或截图

# 3.通过关闭图片渲染或者使用Adblock规则来加快页面渲染速度

# 4.可执行特定的JavaScript脚本

# 5.可通过Lua脚本来控制页面渲染过程

# 6.获取渲染的详细过程并通过HAR（HTTP Archive）格式呈现

## 基本实例

function main(splash, args)

  splash:go("http://www.baidu.com")

  splash:wait(0.5)

  local title = splash:evaljs("document.title")

  return {

    title = title

  }

end

## 异步处理

# ipairs，为集合元素进行编号（编号从1开始），类似于python的enumerate

# lua脚本语言中字符串拼接用 ..

# splash:wait()类似于python中的time.sleep()

# 当Splash执行wait方法时，它会转而去处理其他任务，等到指定时间结束后再回来进行继续处理

function main(splash, args)

  local example_urls = {"www.baidu.com", "www.taobao.com", "www.zhihu.com"}

  local urls = args.urls or example_urls

  local results = {}

  for index, url in ipairs(urls) do

    local ok, reason = splash:go("http://" .. url)

    if ok then

      splash:wait(2)

      results[url] = splash:png()

    end

  end

  return results

end

## js_enabled，页面JavaScript的执行开关，默认为True

function main(splash, args)

  splash:go("http://www.baidu.com")

  splash.js_enabled = False

  local title = splash:evaljs("document.title")

  return {

    title = title

  }

end

'''

执行结果：

{

    "error": 400,

    "type": "ScriptError",

    "description": "Error happened while executing Lua script",

    "info": {

        "type": "SPLASH_LUA_ERROR",

        "message": "[string \"function main(splash, args)\r...\"]:3: setAttribute(self, QWebSettings.WebAttribute, bool): argument 2 has unexpected type 'NoneType'",

        "source": "[string \"function main(splash, args)\r...\"]",

        "line_number": 3,

        "error": "setAttribute(self, QWebSettings.WebAttribute, bool): argument 2 has unexpected type 'NoneType'"

    }

}

'''

## resource_timeout，页面加载超时时间，单位是秒

function main(splash, args)

  splash.resource_timeout = 0.01

  assert(splash:go("http://www.baidu.com"))

  return splash:png()

end

'''

{

    "error": 400,

    "type": "ScriptError",

    "description": "Error happened while executing Lua script",

    "info": {

        "source": "[string \"function main(splash, args)\r...\"]",

        "line_number": 3,

        "error": "network5",

        "type": "LUA_ERROR",

        "message": "Lua error: [string \"function main(splash, args)\r...\"]:3: network5"

    }

}

'''

## images_enabled，页面图片是否加载，默认为True

## 禁用图片可以节省网络流量以及加快网页加载速度，当加载页面可能会影响JavaScript的渲染

## Splash使用了缓存，即访问过一次页面的图片，即使禁用页面图片加载后，依旧可以访问到缓存中的图片

## 如下面示例，返回的phg页面就不会带有图片

function main(splash, args)

  splash.images_enabled = false

  assert(splash:go("https://www.bilibili.com/"))

  return {

    png = splash:png()

  }

end

## scroll_position，控制页面的上下左右滚动，用x定位左右，y定位上下；如下示例，定位到y=800的位置

function main(splash, args)

  assert(splash:go("https://www.mi.com"))

  splash.scroll_position = {y = 800}

  return {png = splash:png()}

end

## go方法，用来请求某个链接，可以模拟get和post请求，同时传入请求头、表单等数据，赋值传入变量时用{}

## go方法有2个返回值，ok和reason，ok为空代表网页加载出现错误，此时reason变量中包含错误原因

# url：请求的URL

# baseurl：可选参数，默认为空，表示自愿加载的相对路径

# headers：可选参数，默认为空，请求头

# http_method：可选参数，默认为get，可以支持post

# body：可选参数，默认为空，发post请求时的表单数据，传入的数据内容类型为json

# formdata：可选参数，默认为空，发post请求时的表单数据，传入的数据内容类型为x-www-form-urlencoded

function main(splash, args)

  local ok, reason = splash:go{url="http://httpbin.org/post", http_method="POST", body="name=dmr"}

  if ok then

    return splash:html()

  end

end

## wait方法，控制页面的等待时间，可以传入多值，赋值传入变量时用{}

## 同样有2个返回值，ok和reason，ok为空代表网页加载出现错误，此时reason变量中包含错误原因

## ok, reason = splash:go{time, cancel_on_redirect=false, cancel_on_error=false}

# time：等待的秒数

# cancel_on_redirect：可选参数，默认为false，表示如果发生了重定向则停止等待并返回重定向结果

# cancel_on_error：可选参数，默认为false，表示如果发生了错误就停止等待

function main(splash, args)

  local ok, reason = splash:go("http://www.mi.com")

  splash:wait(2)

  if ok then

    return splash:html()

  end

end

## jsfunc方法，可以直接调用JavaScript定义的方法，所调用的方法要用双括号包围

## 如下示例，通过构造JavaScript方法来获取访问页面的title和div数量并返回

function main(splash, args)

  local get_div_count = splash:jsfunc([[

    function(){

    var title = document.title;

    var body = document.body;

    var divs = body.getElementsByTagName('div');

    var div_count = divs.length;

    return {div_count, title};

      }

    ]])

  ok, reason = splash:go("https://www.mi.com")

  result = get_div_count()

  return ("This page'title is %s, there are %s divs"):format(result.title, result.div_count)

end

## evaljs方法，可以执行JavaScript代码并返回最后一条JavaScript的返回结果

## 如下示例，只返回最后一条JavaScript语句的执行结果

function main(splash, args)

  splash:go("https://www.mi.com")

  result = splash:evaljs("document.title;document.body.getElementsByTagName('div').length;")

  return result

end

## runjs方法，可以执行JavaScript代码，与evaljs类似，但是更偏向于执行某些动作或声明某些方法

## 如下示例，用runjs方法构造了一个JavaScript定义的方法，然后用evaljs执行此方法获取返回结果

function main(splash, args)

  splash:go("https://www.mi.com")

  splash:runjs("fofo = function(){return 'dmr'}")

  result = splash:evaljs('fofo()')

  return result

end

## autoload方法，可以设置每个页面访问时自动加载的对象，在Lua语言中nil相当于python的None

## ok, reason = splash:autoload{source_or_url, source=nil, url=nil}

# source_or_url：JavaScript代码或JavaScript库链接

# source：JavaScript代码

# url：JavaScript库链接

# 示例1，通过构造一个get_path_title对象方法，用evaljs调用执行获取返回结果，在这里与runjs类似，不过构造方法需要用[]中括号

function main(splash, args)

  splash:autoload([[

    function get_path_title(){

    return document.title;

  }

    ]])

  splash:go("https://www.mi.com")

  result = splash:evaljs('get_path_title()')

  return result

end

# 示例2，用autoload加载jquery方法库

function main(splash, args)

  assert(splash:autoload("https://code.jquery.com/jquery-2.2.4.min.js"))

  assert(splash:go("https://www.baidu.com"))

  local version = splash:evaljs("$.fn.jquery")

  return 'Version is '..version

end

## call_later方法，设置定时任务进行延时执行，并且可以在执行前通过cancel()方法重新执行定时任务

# 如下示例，构造一个timer定时任务，当访问页面时，等待0.2秒获取页面的截图，再等待1秒后获取页面的截图

# 第一次获取页面的截图页面还没加载出来，所以获取到的是空白页

function main(splash, args)

  local pngs = {}

  local timer = splash:call_later(function()

    pngs['a'] = splash:png()

    splash:wait(1)

    pngs['b'] = splash:png()

    end, 0.2)

  splash:go("https://www.mi.com")

  return pngs

end

## http_get方法，模拟发送http的get请求

## response = splash:http_get{url, headers=nil, follow_redirects=true}

# url：请求URL

# headers：可选参数，默认为空，请求头

# follwo_redirects：可选参数，表示是否启动自动重定向，默认为true

function main(splash, args)

  local t = require("treat")

  local response = splash:http_get("https://www.taobao.com")

  if response.status == 200 then

    return {

      b_html = response.body,

      html = t.as_string(response.body),

      url = response.url,

      status = response.status,

    }

  end

end

## http_post方法，模拟发送http的post请求，与http_get方法类似，不过多个body表单参数

## response = splash:http_get{url, headers=nil, follow_redirects=true， body=nil}

# url：请求URL

# headers：可选参数，默认为空，请求头

# follwo_redirects：可选参数，表示是否启动自动重定向，默认为true

# body：可选参数，默认为空，表单数据

# 如下示例，将表单数据提交到了json中

function main(splash, args)

  local t = require("treat")

  local json = require("json")

  local response = splash:http_post{

    "http://httpbin.org/post",

    body=json.encode({name="dmr"}),

    headers={["content-type"]="application/json"}

  }

  if response.status == 200 then

    return {

      'response',

      b_html = response.body,

      html = t.as_string(response.body),

      url = response.url,

      status = response.status,

    }

  end

end

## set_content方法，用来设置页面的内容

## 如下示例，可以看到页面中有dmr的内容

function main(splash, args)

  assert(splash:set_content("<h1>dmr</h1>"))

  return splash:png()

end

## html方法，用来获取网页的源代码

function main(splash, args)

  assert(splash:go("https://www.baidu.com"))

  return splash:html()

end

## png方法和jpeg方法，用来获取网页页面png格式或jpeg格式的截图

function main(splash, args)

  assert(splash:go("https://www.baidu.com"))

  return {

    png = splash:png(),

    jpeg = splash:jpeg()

    }

end

## har方法，用来获取页面加载过程描述

function main(splash, args)

  assert(splash:go("https://www.baidu.com"))

  return {

    har = splash:har()

    }

end

## url方法，用来获取当前正在访问页面的url

function main(splash, args)

  assert(splash:go("https://www.baidu.com"))

  return {url = splash:url()}

end

## get_cookies方法，用来获取当前页面的cookies

function main(splash, args)

  assert(splash:go("https://www.baidu.com"))

  return {cookies = splash:get_cookies()}

end

## add_cookie方法，为当前页面添加cookie

## splash:add_cookie{name, value, path=nil, domain=nil, expires=nil, httpOnly=nil, secure=nil}

function main(splash, args)

  splash:add_cookie{'name', 'dmr'}

  assert(splash:go("https://www.baidu.com"))

  return {cookies = splash:get_cookies()}

end

## clear_cookies方法，清楚所有的cookies

function main(splash, args)

  splash:add_cookie{'name', 'dmr'}

  assert(splash:go("https://www.baidu.com"))

  splash:clear_cookies()

  return {cookies = splash:get_cookies()}

end

## get_viewport_size方法，用来获取当前页面的大小，即宽高

function main(splash, args)

  assert(splash:go("https://www.taobao.com"))

  return splash:get_viewport_size()

end

## set_viewport_size方法，设置当前浏览器页面的大小，即宽高

function main(splash, args)

  splash:set_viewport_size(400, 400)

  assert(splash:go("https://www.taobao.com"))

  return splash:png()

end

## set_viewport_full方法，用来设置浏览器全屏显示

function main(splash, args)

  splash:set_viewport_full()

  assert(splash:go("https://www.taobao.com"))

  return splash:png()

end

## set_user_agent方法，用来设置浏览器的User-Agent

function main(splash, args)

  splash:set_user_agent('Splash')

  assert(splash:go("https://httpbin.org/get"))

  return splash:html()

end

## set_custom_headers方法，可以用来设置请求头

function main(splash, args)

  splash:set_custom_headers({

      ["User-Agent"] = "Splash",

      ["Host"] = "Splash.org"

    })

  assert(splash:go("https://httpbin.org/get"))

  return splash:html()

end

## select方法，查找符合条件的第一个节点，用的是CSS选择器

function main(splash, args)

  assert(splash:go("https://www.taobao.com"))

  input = splash:select("#q")

  input:send_text("数码")

  splash:wait(2)

  return splash:jpeg()

end

## select_all方法，查找符合条件的所有节点，用的是CSS选择器

function main(splash, args)

  local treat = require("treat")

  assert(splash:go("https://movie.douban.com/top250"))

    assert(splash:wait(1))

  local items = splash:select_all(".inq")

  local sum = {}

  for index, item in ipairs(items) do

    sum[index] = item.node.innerHTML

  end

  return {

    obj1 = sum,

    obj2 = treat.as_array(sum)

  }

end

## mouse_click方法，模拟鼠标点击操作

## 1.传入x和y进行点击操作

## 2.查找到相关节点，调用此方法进行点击操作

function main(splash, args)

  splash:go("https://www.baidu.com")

  input = splash:select("#kw")

  input:send_text("Python")

  splash:wait(1)

  search = splash:select('#su')

  search:mouse_click()

  splash:wait(2)

  return splash:png()

end

## render.html页面，此接口用于获取JavaScript渲染的页面的HTML代码

## 获取百度页面源代码url示例：http://localhost:8050/render.html?url=https://www.baidu.com

# 示例，通过调用render.html页面获取百度的源代码并且设置等待时间为4秒

import requests

url = 'http://10.0.0.100:8050/render.html?url=https://www.baidu.com&wait=4'

response = requests.get(url)

print(response.text)

## render.png和render.jpeg，此接口获取网页截图，返回的是二进制数据

## 配置参数：url，wait，width，height

## render.jpeg多了个参数quality，用来调整图片的质量，取值1-100，默认值为75，应尽量避免取95以上的数值

## url示例：http://localhost:8050/render.png?url=https://www.baidu.com&wait=2&width=400&height=400

# 示例，通过render.png接口获取页面宽400高400的页面截图并保存到文件中

import requests

url = 'http://10.0.0.100:8050/render.png?url=https://www.taobao.com&wait=5&width=1000&height=700'

url2 = 'http://10.0.0.100:8050/render.jpeg?url=https://www.taobao.com&wait=5&width=1000&height=700&quality=90'

response = requests.get(url)

with open('taobao.png', 'wb') as f:

    f.write(response.content)

response2 = requests.get(url2)

with open('taobao.jpeg', 'wb') as f:

    f.write(response2.content)

## render.har，此接口用来获取页面加载的HAR数据，返回的是json格式的数据

## url示例：http://localhost:8050/render.har?url=https://www.baidu.com&wait=2

import requests, json

url = 'http://10.0.0.100:8050/render.har?url=https://www.baidu.com&wait=2'

response = requests.get(url)

print(response.content)

with open('har.text', 'w') as f:

    f.write(json.dumps(json.loads(response.content), indent=2))

## render.json，此接口包含了前面接口的所有功能，返回结果是json格式

## url示例：http://localhost:8050/render.json?url=https://www.baidu.com&html=1&png=1&jpeg=1&har=1

## 默认返回：{'url': 'https://www.baidu.com/', 'requestedUrl': 'https://www.baidu.com/', 'geometry': [0, 0, 1024, 768], 'title': '百度一下，你就知道'}

## 通过将html、png、jpeg、har参数置为1获取相关的页面数据

import requests, json

url = 'http://10.0.0.100:8050/render.json?url=https://www.baidu.com&html=1&png=1&jpeg=1&har=1'

response = requests.get(url)

data = json.loads(response.content)

print(data)

print(data.get('html'))

print(data.get('png'))

print(data.get('jpeg'))

print(data.get('har'))

## execute，此接口可实现与Lua脚本的对接，可实现交互性操作

## url示例：http://localhost:8050/execute?lua_source=

# 示例1，简单示例，返回lua的执行结果

from urllib.parse import quote

import requests

lua = '''

function main(splash)

  return 'hello'

end

'''

url = 'http://10.0.0.100:8050/execute?lua_source=%s' % quote(lua)

response = requests.get(url)

print(response.text)

# 示例2，通过execute执行lua脚本获取页面的url，png，html

from urllib.parse import quote

import requests, json

lua = '''

function main(splash)

  splash:go('https://www.baidu.com')

  splash:wait(2)

  return {

    html = splash:html(),

    png = splash:png(),

    url = splash:url()

  }

end

'''

url = 'http://10.0.0.100:8050/execute?lua_source=%s' % quote(lua)

response = requests.get(url)

print(type(response.text), response.text)

dic = json.loads(response.text)

print(type(dic), len(dic), dic.keys())