Python爬虫精进-第2关博客爬虫

Python爬虫精进-第2关博客爬虫

练习介绍

你已经学习了用bs库解析数据和提取数据的方法,只要数据在HTML源代码中,你都可以拿到了。

要求:

爬取博客【人人都是蜘蛛侠】中,《未来已来(四)——Python学习进阶图谱》文章的默认评论(不需要点击下一页),并且打印。

文章链接:https://wordpress-edu-3autumn.localprod.oc.forchange.cn/all-about-the-future_04/

目的:

  • 练习获取网页源代码,然后使用BeautifulSoup解析提取数据。
  • 实操爬虫的前三个步骤。

python参考解答

'''
Author: Gu Jiakai
Date: 2021-07-12 18:59:24
LastEditTime: 2021-07-12 19:08:20
LastEditors: Gu Jiakai
Description: 
FilePath: \第2关-爬虫初体验\习题再练-博客爬虫.py
'''
#调用requests库。
import requests
#调用BeautifulSoup库。
from bs4 import BeautifulSoup

#文章链接。
url1='https://wordpress-edu-3autumn.localprod.oc.forchange.cn/all-about-the-future_04/'
#返回一个response对象,赋值给res。
res=requests.get(url1)
# bs对象=BeautifulSoup(要解析的文本,'解析器')
# 把网页解析为BeautifulSoup对象。
soup=BeautifulSoup(res.text,'html.parser')
# 通过定位标签和属性提取我们想要的数据。
lst=soup.find_all('div',class_='comment-content')
for ele in lst:
    print(ele.text.strip())
    # Python strip() 方法用于移除字符串头尾指定的字符(默认为空格或换行符)或字符序列。

'''
result;
小爷的第三次评论来了
好,好,好,非常好
小爷>纯属测试     
am I the first?   
人人都是蜘蛛侠    
第10个蜘蛛侠      
第9个蜘蛛侠       
第8个蜘蛛侠
第7个蜘蛛侠
第6个蜘蛛侠
第5个蜘蛛侠
第4个蜘蛛侠
第3个蜘蛛侠
第2个蜘蛛侠
第1个蜘蛛侠
'''
上一篇:基础入门爬虫:教你怎么用Python爬取爱奇艺热门电影


下一篇:第4关 爬虫进阶 爬取整个网站