Python 网络爬虫 004 (编程) 如何编写一个网络爬虫,来下载(或叫:爬取)一个站点里的所有网页

爬取目标站点里所有的网页


使用的系统:Windows 10 64位

Python语言版本:Python 3.5.0 V

使用的编程Python的集成开发环境:PyCharm 2016 04



一 . 首先你要知道如何编写一个可以下载一个网页的网络爬虫

请见博客:如何编写一个可以 下载一个网页 的网络爬虫。


二 . 教你三种方法,来爬取目标站点中所有的网页

方法一: 使用 目标站点的网络地图文件 来爬取里面的所有链接的网页。

方法二: 使用 网页的ID索引号 来爬取一个站点子目录下的所有网页。

方法三: 使用 正则表达式 来爬取一个网页里面包含的所有链接网页。

上一篇:用Maxima画出一些有趣的图


下一篇:Servlet 核心接口