python 学习 初入爬虫

1.爬取网页内容

import urllib.request as ur
import chardet as ct
response=ur.urlopen("http://www.fishc.com")
html=response.read()
result=ct.detect(html)['encoding']
html=html.decode(result)
print(html)
知识点:
urlib.request模块,可以用来请求访问网址
chadet模块可以用来,检测编码方式
ur.urlopen()函数,获得 HTTPRespone类型,用read()函数读取内容
chadet,detect()函数,获得 编码方式和可信度
decoed(‘解码方式’)解码

2.写一个程序,依次访问文件中指定的站点,并将每个站点返回的内容依次存放到不同的文件中。
urls.txt文件中的站点

http://www.fishc.com
http://www.baidu.com
http://www.zhihu.com
http://www.taobao.com

test.py文件,用于读取 网站内容 和编码方式

import urllib.request as ur
import chardet as ct
def getresult(http):
    response=ur.urlopen(http)
    html=response.read()
    result=ct.detect(html)['encoding']
    html=html.decode(result)
    return (html,result)

主文件中,将内容放在,相应文件中

import test as t

def geturl():
    with open(r"E:\urls\urls.txt",'r') as f:
        for each in f:
            each=each.strip('\n')
            url,encode=t.getresult(each)
            each='.'.join(['E:\\urls\\',each.split('.',2)[1],'txt'])
            with open(each,'w',encoding=encode) as filewrite:
                filewrite.write(url)
geturl()

ps:本来还有 豆瓣网站 http://www.douban.com 但是无法爬取,会报错,不知道什么原因。
知识点:
with语句 可以控制关闭文件
.join([ ])函数,字符合并函数
strip() 函数,去除函数
元组返回参数,可以返回多个值

上一篇:PTA 1005 拼写正确


下一篇:BUUCTF-[SUCTF2019]EasySQL