请求服务器和解析数据几种实现方式

方法一: requests.get() 和 BeautifulSoup()方法请求服务器和解析数据

#引包
import requests
from bs4 import BeautifulSoup

# 输入网站URL
url = "https://www.yestone.com"
# 模拟浏览器配置
headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"}
# 请求服务器
r = requests.get(url, headers=headers)
print(r)  # 输出: <Response [200]>

# 【2.解析页面】


# 解析获取当前网页所有内容
obj = BeautifulSoup(r.content, 'html.parser')
print(obj)  # 输出:对象类型,是当前页面的html全部代码

方法二: urlopen() 和 BeautifulSoup()方法请求服务器和解析数据

# 请求获取HTML所有网页内容
from urllib.request import urlopen
# 导入BeautifulSoup
from bs4 import BeautifulSoup as bf
html = urlopen("https://www.9turi.com/")  # 输出:<http.client.HTTPResponse object at 0x000001E54CC2E748>

# 用BeautifulSoup读取html所有网页内容
obj = bf(html.read(), 'html.parser')

print(obj)  # 输出:对象类型,是当前页面的html全部代码

 

上一篇:bs4


下一篇:html解析库BeautifulSoup