实现一个C#爬虫!可以爬取任意网站的爬虫工具!


原本是发布在【原创发布区】板块的,但是审核太慢了,一天了新帖都不超过3个,所以改发布到精品软件区。
因为昨天的帖子还没通过审核,不能修改,但是我今天又升级了一下功能,所以把新版本发布到这里。


2020/03/14更新内容:
1、可以自定义保存图片目录,但还是会保存在软件目录下的images目录下,可以选择当前日期,或者网站域名,或者自己输入文件夹名称,请勿输入特殊字符,支持中文
2、去掉非站内url的跳转,提升爬虫效率
3、软件底部新增正在爬取的链接和正在下载的图片,并显示实时下载速度,每2s更新一次速度
4、更换了新的背景图,减少软件大小

软件是自己编码,visual studio2019 + .net4.5,本人觉得没必要杀毒,如果各位不放心的,请留言,我会进行杀毒测试。

实现一个C#爬虫!可以爬取任意网站的爬虫工具!

 

昨天,我发布了一个用C#写的网站图片爬虫软件,由于涉及色情内容,被删除了,我痛定思痛,重新写了一个可以爬取任意网站图片的软件

由于是可以爬取任意输入的网站图片,所以没有做过滤,只要符合图片格式的都会被爬取,可以通过设置图片大小去掉不符合的图片,总之,效率可能一般。

界面很粗糙,为了赶在周末前给大家测试,所有很多细节都没处理,各位在用的时候有什么建议可以提,我会继续完善的。

软件本身很小,但是加了个背景图,大了很多。

使用方式:
1、在地址输入框输入爬取的地址
2、选择爬取深度,深度1层代表只爬取1输入的网站内容,2层表示把1的网站内容中出现的url继续访问,3层在2 的基础上继续跳转,以此类推,一般2层就可以了
3、输入限制图片的大小,小于该数值的图片会被删掉,比如5V网!就是可以采集一下的。
4、输入本次爬取的图片数量,只有符合大小的图片才会增加数量
5、去吧!皮卡丘

爬取过程中,可以随时停止,但是不能继续,只能重来。

最后,按照国际惯例,求免费的评分,昨天被删帖,扣了一些分。

出现爬取失败,可能是由于网站禁止爬虫,亦或是跳转链接是要加前缀,这个问题将在下一个版本改善。

免责声明:请勿用于非法用途,爬取网站是否违法就看网站是否禁止爬虫。

实现一个C#爬虫!可以爬取任意网站的爬虫工具!

 

实现一个C#爬虫!可以爬取任意网站的爬虫工具!

 

实现一个C#爬虫!可以爬取任意网站的爬虫工具!

 

实现一个C#爬虫!可以爬取任意网站的爬虫工具!

上一篇:C#——委托、Lambda表达式、闭包和内存泄漏


下一篇:百度地图API-创建多个坐标,连线,信息提示