本篇主要分享自定义Downloader和Request信息,实现自定义请求内容,及将自定义内容存储。
** 温馨提示:如需转载本文,请注明内容出处。**
本文连接:http://www.cnblogs.com/grom/p/8968905.html
接上一篇,在原项目的基础上进行改造,为EntitySpider设置Downloader。
自定义Downloader类:
public class AtzucheDownloader : DotnetSpider.Core.Downloader.BaseDownloader
{
protected override Page DowloadContent(Request request, ISpider spider)
{
var site = spider.Site;
request.Extras = new Dictionary<string, dynamic>();
request.Extras.Add("Date", DateTime.Now.ToString("yyyy-MM-dd"));
Page page = new Page(request);
return new DotnetSpider.Core.Downloader.HttpClientDownloader().Download(request,spider);
}
}
注释为:
这里的数据字典可以在选择器中使用SelectorType.Enviroment来使用
如图所示,Url为Request自带Key,Date就是我们上面设置的属性了,通过这种方法,达到了在数据库内插入一列自定义数据,我这里的作用是记录抓取日期。
结果:
本次的分享就到这里,谢谢。。。