网站数据的简单爬取

最近学校开始上课了，我选了一门《舆情分析和社会计算》的课程。

把第一节课的作业在此记录一下：

• 爬取“中传要闻”中所有的新闻标题及其URL，并存入数据库或文本文档中。
• 阅读一篇关于爬虫或舆情的论文，形成100字心得。

首先看一下网页结构。

import requests as re

url = 'http://www.cuc.edu.cn/news/1901/list.htm'
r = re.get(url)
code = r.encoding
rt = r.content
rhtml = str(rt,'utf-8') #避免中文乱码

print(code)

print(rhtml)

我们利用BeautifulSoup自动解析HTML。

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航，查找，修改文档的方式。Beautiful Soup会帮你节省数小时甚至数天的工作时间。

https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/

from bs4 import BeautifulSoup as bs
import pymysql

将获取的标题和链接存入数据库。

def save_news(title,url):
    #pysql.connect(数据库URL，用户名，密码，数据库名)
    db = pymysql.connect("localhost","root","密码","数据库名",charset="utf8")
    cursor = db.cursor()
    try:
        cursor.execute('INSERT INTO cucnews(title,url) VALUES(%s,%s)', (title,url))
        db.commit()
    except:
        print('数据库连接错误！')
        db.rollback()
    db.close()

循环获取每个页面所有的新闻标题和链接。

try:
    for i in range(1,3):
        url = 'http://www.cuc.edu.cn/news/1901/list' + str(i) + '.htm'
        r = re.get(url)
        r_content = r.content
        r_html = str(r_content,'utf-8')
        soup = bs(r_html,'html.parser')
        title = soup.find_all('h3',attrs={'class','tit'})
        for j in title:
            news_url = j.find_all('a')
            url_len = str(news_url[0]).find('target')
            tit = j.get_text()
            url = 'http://www.cuc.edu.cn'+(str(news_url[0])[9:url_len-2])
            save_news(tit,url)
except:
    print('error')

查看数据库。

可以看到数据已经被存入数据库啦。

总结：作业还是比较简单的，继续学习。