淘宝爬虫实战(附代码和数据集)——今天你防脱发了吗?

本文通过淘宝“防脱发洗发水”爬取和分析,来提供爬取海量淘宝商品信息的思路,除了基础爬虫外,还应该思考拿到类似的商品数据之后如何清洗,以及作为一个分析者可以从什么维度去分析。

完整代码和数据放在文末,如果单纯需要数据集练手的同学可以在底部下载(4400条产品数据)

其实,这篇文章灵感源自一个赌局:

程序员朋友小A又在和小Z抱怨脱发问题。

小A:“以这样的掉发速度,我的发际线1年后将退化到后脑勺”。

“我听到身边80%的人都在抱怨自己的脱发问题”小Z摸了摸自己的发际线心如止水。

小A:”有危机就有商机,防脱发洗发水最近真的是卖爆了,特别在线上,绝对占了洗发水整个行业的半壁*以上!”

小Z总能GET到奇怪的点:“你这样的说法不严谨,我觉得没有50%”。

小A被奇葩的问题点给气到了:“WOC!你的点怎么那么怪!不然咱们打个赌好吗,我赌防脱发占了50%以上,谁输谁是孙子(zei)!”

只用了3分钟,小Z就拟定好分析思路,并得到了小A的认可:

以淘宝入手,爬到最近30天洗发水关键词的销售情况,再筛选出防脱发洗发水
,看一看占比多少。(顺便还可以分析分析其他的数据)

说干就干,打开淘宝,搜索“洗发水”,出来的是自然排序的结果(综合了销量、价格、搜索权重等等),但我们想要相关商品按销量来排序,点击“按销量排序”。

淘宝爬虫实战(附代码和数据集)——今天你防脱发了吗?

一、数据爬取

PART1 观察并定位数据:

淘宝爬虫实战(附代码和数据集)——今天你防脱发了吗?

我们想要哪些数据呢?

商品的价格、月收货(销售)人数、产品名称、店铺名称、店铺地址这几个比较直观的字段我们爬取哪几个呢?

小孩子才做选择,成年人必须全要!

虽然现在很多网址都是动态加载,需要审查元素来找相关地址,但我们在找之前,养成“先右键,选择查看源代码,看一看想要的数据有没有在静态网页”的习惯是极好的。

结果淘宝诚不欺我,所有我们想要的数据,都在源代码中,也就是说,我们用PYTHON直接访问浏览器中的网址就可以得到目标数据。

认真看看源代码,找到更准确的定位

淘宝爬虫实战(附代码和数据集)——今天你防脱发了吗?

所有想要的数据都在一个类JSON(可以先理解为字典)的字符串中,而前面还有几十行杂乱无章的字符,很乱,但不要紧,数据在总有办法找到他们的。

PART2 请求尝试

这里引用上一篇文章的一段话来比喻PYTHON访问前的伪装

“你住在高档小区,小P这个坏小伙想伪装你进去做不可描述的事情。

他知道,门卫会根据身份象征来模糊判断是否是小区业主,所以小P先租了一套上档次的衣服和一辆称得上身份的豪车(可以理解为伪装headers),果然混过了门卫。但是呢,小P进进出出太频繁,而且每次停车区域都不一样,引起了门卫的严重怀疑,在一个星期后,门卫升级检验系统,通过人脸识别来验证,小P被拒绝在外,但很快,小P就通过毁容级别的化妆术(伪装cookies),完全伪装成你,竟然混过了人脸识别系统,随意出入,为所欲为。”

导入相关的PYTHON库

淘宝爬虫实战(附代码和数据集)——今天你防脱发了吗?

养成先修改headers的好习惯再访问:

淘宝爬虫实战(附代码和数据集)——今天你防脱发了吗?

看看状态码(200表示正常访问):

淘宝爬虫实战(附代码和数据集)——今天你防脱发了吗?

目前来说,还算正常,但堂堂的淘宝这么简单的一个伪装就可以爬了???不科学!!不过先继续吧,精确定位到我们需要的数据字段。

上一步,我们发现所有的数据都在一个类JSON的字符串中,理应先精确定位他首尾的大括号({}),尝试用JSON来高效解析。

首:

淘宝爬虫实战(附代码和数据集)——今天你防脱发了吗?

尾:

淘宝爬虫实战(附代码和数据集)——今天你防脱发了吗?

通过严密的排查(同学们这一步真的需要耐心去找),我们发现所有目标数据都被包裹在以pageName开头,shopcardOff的字符中,如果能够完整截取这个大括号和里面的内容,就可以解析了:

淘宝爬虫实战(附代码和数据集)——今天你防脱发了吗?
结果。。。报错啊报错。。。

淘宝爬虫实战(附代码和数据集)——今天你防脱发了吗?

我们没有通过字符串定位拿到想要的数据,通过系统排查,发现问题出在访问,第一次访问虽然状态码是200,但并没有返回源代码看到的数据,喏:

淘宝爬虫实战(附代码和数据集)——今天你防脱发了吗?

到这里,是时候祭出万能的cookies了,操作方式,右键——审查元素——刷新网页——按照下面红框点选:

淘宝爬虫实战(附代码和数据集)——今天你防脱发了吗?

代码中进行伪装:

淘宝爬虫实战(附代码和数据集)——今天你防脱发了吗?

再次按照刚才的步骤来定位和解析数据:

淘宝爬虫实战(附代码和数据集)——今天你防脱发了吗?

一样的操作,没有报错,看来大功告半成!

PART3 精确定位目标数据:

经过前面两步的铺垫,我们已经拿到了目标数据并解析成JSON格式,现在直接可以按照访问字典的方式来精确定位数据,非常暴力(至于内部的层级结构,需要大家耐心细致的自我寻找规律):

淘宝爬虫实战(附代码和数据集)——今天你防脱发了吗?

PART4 循环爬取:

循环爬取的关键就在于找到网址规律,构建多个网页,用上面的代码来循环访问。

我们在网页上点击下一页,再下一页,再下下一页,很容易发现,网站变化规律的核心就是最后面

s的值,第一页是0,第二页是44,第三页是88,SO EASY~

构造一个自定义爬取页数的函数,只需要输入基础网址和要爬取的页数,要多灵活有多灵活:

淘宝爬虫实战(附代码和数据集)——今天你防脱发了吗?

接上一步的访问获取数据操作进行逐页访问,即实现了多页面爬取,部分结果预览如下:

淘宝爬虫实战(附代码和数据集)——今天你防脱发了吗?

至此,商品标题,价格,店铺名称,店铺地址,收货人数,商品的URL全部拿下,基于“防脱发洗发水”的基本数据爬取宣告完成。(完整代码在文章最后)

二、数据清洗

清洗之前,最好先明确分析的目的,小Z最核心的诉求是要知道脱发洗发水销售占整个洗发水大盘的比重,其次,想要进行一些其他分析,比如渠道(旗舰店、专营店、猫超等等分别占比)分布。

1、数字相关字段规整:

淘宝爬虫实战(附代码和数据集)——今天你防脱发了吗?
爬取数据非常规整,并没有缺失数据。

价格也是OK的,付款人数由于包含“人收货”这个后缀,需要规整为数字格式,一行代码就OK:

淘宝爬虫实战(附代码和数据集)——今天你防脱发了吗?

2、标注出脱发相关的产品:

很明显,如果主打甚至仅仅包含防脱发功效的产品几乎都会在标题注明“脱发”字样(防字其实不用加),我们需要插入一个辅助列,根据“产品标题”来判断是不是防脱发洗发水。

PYTHON的pandas做起来是在是太高效了,还是一行代码:

淘宝爬虫实战(附代码和数据集)——今天你防脱发了吗?

注:等于-1表示在标题中没有找到“脱发”字样

淘宝爬虫实战(附代码和数据集)——今天你防脱发了吗?

“是否包含脱发字样”结果为TRUE则包含,FALSE则不包含。

3、引入一个销售指标

目前拿到的数字相关数据是“价格”、“收货人数”,用“价格” * “收货人数”引入一个“收货额”来衡量销售情况,依然是一行代码:

淘宝爬虫实战(附代码和数据集)——今天你防脱发了吗?

4、区分店铺类别:

大家都有多年购买经验,对于淘宝店铺分类其实不陌生,不外乎是“旗舰店”、“专卖店”、“专营店”、“天猫超市”、“C店”(其他淘宝店铺),这里需要对店铺关键字进行检索分类,先定义一个判断函数:

淘宝爬虫实战(附代码和数据集)——今天你防脱发了吗?

然后,life is short,and i use Python~

亦然是一行代码搞定:

淘宝爬虫实战(附代码和数据集)——今天你防脱发了吗?

数据清洗基本完成。

三、数据分析:

1、核心目标:

淘宝爬虫实战(附代码和数据集)——今天你防脱发了吗?

言归正传,目前“洗发水”类目体量巨大,(近30天)收货额达到了1.49亿元,其中防脱发洗发水以5.43%的数量占比实现1118.04万销售额,占比7.50%,离半壁*相差甚远,赌局胜负已定,恭喜小Z喜提孩子。

“孩子,在数据面前可不能吹牛啊”小Z看着小A涨红了的脸语重心长道。

2、价格分布

价格深度探究应该结合产品的数量、规格等特征,这里只是给到一个简单的思路抛砖引玉:

淘宝爬虫实战(附代码和数据集)——今天你防脱发了吗?

两款产品呈现出不同的分布形态,防脱发洗发水在价格上显得些许傲娇,产品在50-100元的价格段数量最多(占比51.88%),其次是0-50元的平价款。

其他洗发水则随着价格升高而数量减少,0-50元的产品占比最高,紧随其后的是50-100元的产品。

3、渠道分布:

淘宝爬虫实战(附代码和数据集)——今天你防脱发了吗?

不同类型洗发水(防脱发与非防脱发)渠道策略有明显的差异(肯定跟品牌战略有关),其他洗发水渠道分布相对均衡,以“旗舰店”的41%为主,“天猫超市”为辅(29%),“C店”和“专卖店”分一小杯羹。

防脱发洗发水则高举旗舰店利剑(占比高达77%+),其次则是各类C店(11%),而在其他洗发水渠道表现优异的猫超在这里折戟,仅占比3%。

看来,防脱发类功能产品高销售背后离不开品牌的背书支撑。(一般品牌才会开设旗舰店)

最后,附上数据集地址和完整代码

https://pan.baidu.com/s/1BoxzD26Q46xCM0eRYU6-7g

密码:s3ve


#构造循环爬取的函数
def format_url(base_url,num):    
    urls = []
    for i in range(0,num * 44,44):
        urls.append(base_url[:-1] + str(i))
    return urls

#解析和爬取单个网页
def parse_page(url,cookies,headers):
    result = pd.DataFrame()
    html = requests.get(url,headers = headers,cookies = cookies)
    bs = html.text
    #获取头部索引地址
    start = bs.find('g_page_config = ') + len('g_page_config = ')
    #获取尾部索引地址
    end = bs.find('"shopcardOff":true}') + len('"shopcardOff":true}')
    js = json.loads(bs[start:end + 1])

    #所有数据都在这个auctions中
    for i in js['mods']['itemlist']['data']['auctions']:
        #产品标题
        product = i['raw_title'] 
        #店铺名称
        market = i['nick']
        #店铺地址
        place = i['item_loc']
        #价格
        price = i['view_price']
        #收货人数
        sales = i['view_sales']
        url = 'https:' + i['detail_url']
        r = pd.DataFrame({'店铺':[market],'店铺地址':[place],'价格':[price],
                     '收货人数':[sales],'网址':[url],'产品标题':[product]})
        result = pd.concat([result,r])
    time.sleep(5.20)
    return result

#汇总
def main():
    #爬取的基准网页(s = 0)
    base_url = 'https://s.taobao.com/search?q=%E6%B4%97%E5%8F%91%E6%B0%B4&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceId=tb.index&spm=a21bo.2017.201856-taobao-item.1&ie=utf8&initiative_id=tbindexz_20170306&sort=sale-desc&bcoffset=0&p4ppushleft=%2C44&s=0'
    #定义好headers和cookies
    cookies = {'cookie':'输入自己的COOKIES'}
    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}

    #设置好存储结果的变量
    final_result = pd.DataFrame()

    #循环爬取5页
    for url in format_url(base_url,5):
        final_result = pd.concat([final_result,parse_page(url,cookies = cookies,headers = headers)])
    return final_result

if __name__ == "__main__":
    final_result = main()
上一篇:Kinect for Windows V2和V1对比开发___多台Kinect的使用


下一篇:C#.net 实现跨域访问