scrapy提取数据之：xpath选择器    http://www.scrapyd.cn/doc/186.html

表达式	描述
nodename	选取此节点的所有子节点。
/	从根节点选取。
//	从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。
.	选取当前节点。
..	选取当前节点的父节点。
@	选取属性。

那我们要提取href就是：@href，试一下：

In [1]: response.xpath("@href")

 

response.xpath("//ol//@href")
和css选择器一样我们还是用到了：extract（）、extract_first()这两个函数，加上就可以提取纯粹的href值了，如下：
In [11]: response.xpath("//ol[@class='page-navigator']//@href").extract()

二、接下来我们提取标签里面的内容，表达式： //text()

特别注意  是双反斜杠
response.xpath("//title//text()").extract()

 

三、包含HTML标签的所有文字内容提取：string()
你会发现虽然能提取但是一个列表，不是整段文字：

In [4]: response.xpath("//div[@class='post-content']//text()").extract()
可看到我们没有使用：text()，而是用：string(要提取内容的标签)，这样的话就能把数据都提取出来了，而且都合成为一条，并非一个列表