学习内容:
1、简单爬取代码的运用
2、文章和照片的保存
学习产出:
1、爬取代码
import requests #导入requests库
import bs4 #导入bs4库
from bs4 import BeautifulSoup #导入BeautifulSoup库
import urllib.request
import os
import sys
import random
url='http://www.sdpei.edu.cn/news-show-13417.html'
r = requests.get(url)
r.raise_for_status()
r.encoding = r.apparent_encoding
html =r.text
list=[]
soup =BeautifulSoup(html,"html.parser")
div =soup.find(name = "div",attrs = "neir")
for p in soup.find(name = "div",attrs = "neir").children:
spans=p('span')
imgs =p('img')
for img in imgs:
t = random.randint(1,10)
imgpath =str(t)+ ".jpg"
src = img.get('src')
imgurl ='http://www.sdpei.edu.cn/'+src #要拼出照片的url
urllib.request.urlretrieve(imgurl,imgpath)#保存照片 (照片的url加照片名字)
for span in spans :
if isinstance(span, bs4.element.Tag):#除去空白
list.append(span.string)
2、保存文章 照片保存之间放在上边了
fileHandle = open ( 'test.txt', 'w+' ,encoding='utf-8')
for line in list:
fileHandle.write(str(line)+'\n')
学习总结
1、对于网页爬取格式的简单了解
2、复习了文本的存储,和学习了一下照片的爬取和存储
美好的周末 啥都没干 美滋滋 拜拜