大众点评爬虫很难。。。。
然后我试了一下文字偏移的破解。
首先进入一个店铺的评论页 http://www.dianping.com/shop/k9sS7qVwsRZbSSG0/review_all。然后进入调试页
可以看到这里对应“品”字的是一个svgmtsi标签。在右侧,可以看到对应的渲染方式(svg文件和css文件)。复制这两个链接,用代码请求一下,发现是有对应关系的。
svg文件部分截图如下:
比如上面的“品”,对应的class属性是sw2bs,那么在css文件里面对应的位置就是**.sw2bs{background:-392.0px -2133.0px;}**。同样这个下标可以在svg里面找到对应的文字,就是“品”。
规则如下:
css文件内的两个下标,我定义为x、y。且均转为正值
x表示的是本行的位置,开始位置为0,步长为14
y表示的是行的位置。但是找的是svg文件中y值大于这个数值的那一行
这样说比较模糊。还是以上面的“品”来举例
html: 老 class=“sw2bs”
css: .sw2bs{background:-392.0px -2133.0px;}
这样,它的 x=392 y=2133。则它对应的svg的位置 <text x=“0” y=“2156”>哲瞎路脉禾备棍锯号吐声储粉技熔艳蛮键家堪诚弃日炸续圆网裤品刷铜辱目浮赔虚冶申兆秩悟唤</text>
392 // 14 = 28
则取列表 [哲瞎路脉禾备棍锯号吐声储粉技熔艳蛮键家堪诚弃日炸续圆网裤品刷铜辱目浮赔虚冶申兆秩悟唤] 的28号位置。
完整的转化代码如下
import re
import requests
class DZDP(object):
"""大众点评"""
def __init__(self):
self.css_url = 'https://s3plus.meituan.net/v1/mss_0a06a471f9514fc79c981b5466f56b91/svgtextcss/80da73cea991b1dac8e6c3eb8cfe7461.css'
self.svg_url = 'https://s3plus.meituan.net/v1/mss_0a06a471f9514fc79c981b5466f56b91/svgtextcss/20609a5f67dfd9a34fd762ac63e59960.svg'
self.css_text = requests.get(self.css_url).text
self.svg_info = {int(info.split('">')[0]): info.split('">')[1] for info in re.findall(r'y="(.*?)</text>', requests.get(self.svg_url).text)}
def get_txt(self, code):
"""获取到编码对应的文字"""
try:
patt = '%s{background:(.*?);' % code
index = re.findall(patt, self.css_text)[0].replace('px', '').replace('-', '').split(' ')
index_x, index_y = int(index[0][:-2]), int(index[1][:-2])
for key in self.svg_info:
if key >= index_y:
return self.svg_info[key][index_x // 14]
except:
return code
if __name__ == '__main__':
t = DZDP()
print(t.get_txt(code='swnbb'))