今天闲着无聊,有想鼓捣Python了,想实现网络爬虫,帮我下载音乐的功能。
现在网上找了相关的一些文章教程
http://jecvay.com/2014/09/python3-web-bug-series1.html
这个博主写的东西给我了一定的启发,不过我不大喜欢动脑子,只想完成目标,所以喜欢拿来主义
使用第三方模块来实现网络爬虫
BeautifulSoup 模块
#encoding:UTF-8
import requests
from bs4 import BeautifulSoup
url="http://music.baidu.com"
response=requests.get(url)
soup=BeautifulSoup(response.text)
items=soup.findAll(attrs={'class':'music'})
for x in items:
print(x.contents[0].contents[0]+":"+url+x.contents[0].attrs['href'])
现在我们只是拿到了百度音乐首发歌曲名单和他们的播放地址
虽然还没有实现智能下载,但是我们已经距离成功前进了一大步,
我们要先找到下载链接,然后才能实现下载