DotnetSpider (二) Downloader的设置 Request自定义数据字典

本篇主要分享自定义Downloader和Request信息,实现自定义请求内容,及将自定义内容存储。

  ** 温馨提示:如需转载本文,请注明内容出处。**

     本文连接:http://www.cnblogs.com/grom/p/8968905.html

接上一篇,在原项目的基础上进行改造,为EntitySpider设置Downloader。

DotnetSpider (二) Downloader的设置 Request自定义数据字典

自定义Downloader类:

public class AtzucheDownloader : DotnetSpider.Core.Downloader.BaseDownloader
{
  protected override Page DowloadContent(Request request, ISpider spider)
  {
    var site = spider.Site;
    request.Extras = new Dictionary<string, dynamic>();
    request.Extras.Add("Date", DateTime.Now.ToString("yyyy-MM-dd"));
    Page page = new Page(request);
    return new DotnetSpider.Core.Downloader.HttpClientDownloader().Download(request,spider);
  }
}

注释为:

DotnetSpider (二) Downloader的设置 Request自定义数据字典

     这里的数据字典可以在选择器中使用SelectorType.Enviroment来使用

  DotnetSpider (二) Downloader的设置 Request自定义数据字典

  如图所示,Url为Request自带Key,Date就是我们上面设置的属性了,通过这种方法,达到了在数据库内插入一列自定义数据,我这里的作用是记录抓取日期。

  结果:

  DotnetSpider (二) Downloader的设置 Request自定义数据字典

  本次的分享就到这里,谢谢。。。

上一篇:Android 查看是否有存储卡插入


下一篇:JSP下拉选框,级联选择