基本开发环境
·Python 3.6
·Pycharm
目标网站分析
点击播放按钮,会自动跳转到音乐播放页面
播放界面有一个下载按钮,点击下载
是需要登录账号
·打开开发者工具
·选择network
·点击立即下载
会有一个下载的接口,post请求的数据接口,里面返回的数据有携带音频真实地址
复制url地址,是会自动下载到本地的
既然是post请求,只需要看data参数的变化,看它需要传递哪些参数
多查看几首歌曲的下载地址,就可以发现copyrightId就是每首音乐的ID值,只需要获取每首歌曲的ID值,就可以下载音乐了。
所以返回到周杰伦的音乐列表页
可以发现音乐列表页是静态网站,获取可以直接用过requests请求网站解析网站数据,可以获取音乐的ID值以及标题。
现在就剩下最后一个问题了,那就是翻页,多页获取。
对于翻页爬取,只需要点击下一页吗,查看url地址的变化,找到其对应的变化规律即可。
page就是对应的页码,所以翻页爬取页搞定了,接下来就是写代码就好了
1、请求网页获取音乐的ID值以及标题
def get_mp3_info(url): headers = { 'cookie': '', 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36' } response = requests.get(url=url, headers=headers) selector = parsel.Selector(response.text) lis = selector.css('#J_PageSonglist > div.songlist-body > div') for li in lis: page_url = li.css('.song-name-txt::attr(href)').get() mp3_id = page_url.split('/')[-1] title = li.css('.song-name-txt::attr(title)').get()
2、post请求获取音乐下载地址
这里headers参数可以不用写这么多,为了方便就直接复制粘贴了,因为是post请求,有一些参数是必要带的,不然得到想要的返回结果。
def get_mp3_url(mp3_id, title): url = 'https://music.migu.cn/v3/api/order/download' headers = { 'authority': 'music.migu.cn', 'method': 'POST', 'path': '/v3/api/order/download', 'scheme': 'https', 'accept': '*/*', 'accept-encoding': 'gzip, deflate, br', 'accept-language': 'zh-CN,zh;q=0.9', 'cache-control': 'no-cache', 'content-length': '42', 'content-type': 'application/x-www-form-urlencoded; charset=UTF-8', 'cookie': '', 'origin': 'https://music.migu.cn', 'pragma': 'no-cache', 'referer': 'https://music.migu.cn/v3/music/order/download/60054701923', 'sec-fetch-dest': 'empty', 'sec-fetch-mode': 'cors', 'sec-fetch-site': 'same-origin', 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36', 'x-requested-with': 'XMLHttpRequest', } data = { 'copyrightId': '{}'.format(mp3_id), 'payType': '01', 'type': '1' } response = requests.post(url=url, data=data, headers=headers) html_data = response.json() mp3_url = html_data['downUrl']
3、保存音乐到本地
def download(download_url, title): response = requests.get(url=download_url) path = '音乐\\' + title + '.mp3' with open(path, mode='wb') as f: f.write(response.content)
实现效果
有一部分的音乐还是需要付费的,所以当你post 请求付费音乐的时间, 是没有下载地址的可以写一个判断