练习1-爬取歌曲列表

任务：通过两个案例，练习使用Selenium操作网页、爬取数据。
使用无头模式，爬取网易云的内容。

'''

任务：通过两个案例，练习使用Selenium操作网页、爬取数据。

使用无头模式，爬取网易云的内容。

'''

from selenium import webdriver

# 无头模式：隐身地启动浏览器，但是并没有窗口展现

from selenium.webdriver.chrome.options import Options

opts = Options()

opts.add_argument('--headless')

opts.add_argument('--disable-gpu')

bw = webdriver.Chrome(options=opts);

# bw = webdriver.Chrome();

url = 'https://music.163.com/#/discover/toplist?id=3779629'

bw.get(url);

bw.switch_to.frame('g_iframe')

# 如果页面中有iframe，说明有内嵌页面

# 要爬取元素时，先切换到对应的内嵌页面中，然后再爬

ss = bw.find_elements_by_css_selector('.m-table-rank tbody tr .txt a b');

print(len(ss))  # 100

authors = bw.find_elements_by_css_selector('.m-table-rank tbody tr .text');

print(len(authors))  # 100

for i, s in enumerate(ss):

    print(s.get_attribute('title'), ':', authors[i].get_attribute('title'));

bw.close();

练习2-爬取歌曲文件mp3

网易云：能不能爬取音乐？？？可以！能不能爬歌词？？？可以！

网易云音乐，歌曲通用下载地址：http://music.163.com/song/media/outer/url?id= [ id后面拼接歌曲编号 ]

 

'''

尝试下载，requests访问，得到二进制数据，保存到本地即可

爬取网易云音乐的歌曲mp3文件(单个歌曲下载)

《初恋》歌曲id: 1873049720

《清醒》歌曲id：1909660296

《星辰大海》歌曲id：1811921555

'''

import requests as req

# hds：伪装成浏览器

hds = {

    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36'}

common_url = 'http://music.163.com/song/media/outer/url?id={}';  # 通用下载路径

resp = req.get(common_url.format('1909660296'), headers=hds);

ct = resp.content;  # 响应内容

print(len(ct))  # 响应内容长度

print(resp.status_code);  # 200正常；302重定向，需要继续获取重定向后的路径

# print(resp.headers)

# u2 = resp.headers['Location'];

# print(u2)  # 继续爬取u2路径，来下载音乐

if resp.status_code == 200:

    with open(r'C:\Users\lwx\Desktop\网易云\清醒.mp3', 'wb') as f:  # as f取别名，简写

        f.write(ct);

    # 上述两行代码(简写)，在效果上等于下面三行代码。

    # f = open(r'C:\Users\lwx\Desktop\网易云\清醒.mp3', 'wb')

    # f.write(ct)

    # f.close()

    print('over！')

练习3-下载飙升榜中的歌曲

结合上午的代码和刚才下载音乐的办法，请尝试：将飙升榜中的前20首歌曲下载(尝试下载)。
https://music.163.com/#/discover/toplist   15分钟时间

import requests as req

from selenium import webdriver

from selenium.webdriver.chrome.options import Options

hds = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36'}

def wydown(songname, songid):

    common_url = 'http://music.163.com/song/media/outer/url?id={}';

    resp = req.get(common_url.format(songid), headers=hds);

    ct = resp.content;

    # print(len(ct))

    # print(resp.status_code); #200正常  302重定向，需要继续获取重定向后的路径

    if resp.status_code == 200:

        f = open(r'C:\Users\qx\Desktop\网易云\{}.mp3'.format(songname), 'wb')

        f.write(ct);

        f.close();

        print('已下载：', songname);

# 无头模式 ： 隐身的启动浏览器，但是并没有窗口展现

opts = Options()

opts.add_argument('--headless')

opts.add_argument('--disable-gpu')

bw = webdriver.Chrome(options=opts);

url = 'https://music.163.com/#/discover/toplist'

bw.get(url);

bw.switch_to.frame('g_iframe');

ss = bw.find_elements_by_css_selector('.m-table-rank tbody tr .txt a b');

ids = bw.find_elements_by_css_selector('.m-table-rank tbody tr .txt a');

songinfo = {};  # 歌曲名:歌曲id

for i, s in enumerate(ss):

    songinfo[s.get_attribute('title')] = ids[i].get_attribute('href').split("=")[1];

bw.close();

# print(songinfo);

# 遍历字典，下载所有歌曲

for k, v in songinfo.items():

    wydown(k, v);