大道至简的python
小白我本科学的是城乡规划,考研是农学的森林经理,读研究生的时候闲着无聊,就想学一门编程语言,就听了某大神的建议:首先c语言入门,然后学java就好了。可是小白我学了不久就感觉枯燥啊(什么指针,类,对象,搞得无聊,还不能写出像样的项目),碰巧数学建模中遇到要找大量数据的问题,然后自己找啊找啊找数据然后整理啊整理数据这个就弄了我们小组一天的时间,后来在网上看到了‘爬虫’这个神器的东西,决定试一试,就这样,让我了解到了python,从此就爱上了她。废话不多说,先让大家感受下:
直接上个代码:
from bs4 import BeautifulSoup
import requests
url = 'https://movie.douban.com/annual2015/#2'
wb_data = requests.get(url)
soup = BeautifulSoup(wb_data.text,'lxml')
titles = soup.select('div.title.clearfix')
names = soup.select('div.sub-title')
grades = soup.select('span.rank')
for title, name, grade in zip(titles, names, grades):
ti = title.get_text()
na = name.get_text()
gr = grade.get_text()
data = {
'title': ti.replace('\n',''),
'name': na.replace('\n',''),
'grade': gr.replace('\n','')
}
print(data)
这是豆瓣网的一页: