上一篇网易新闻页面信息抓取 -- htmlagilitypack搭配scrapysharp中提及了很多如何快速抓取html中的文本的语句,
但是meta标签中的content内容的抓取,没有提及到!
上网搜索了下,发现很少提及,所以写篇随笔,备忘一下!
还是在HtmlAgillityPack搭配ScrapySharp的环境下,具体如何配置点击上一篇链接。
例子:<meta name="keywords" content="召开新闻,自流沟,含油污水" />
提取效果:把文本【召开新闻,自流沟,含油污水】提取出来.
核心代码:
var html1 = browser1.DownloadString(uri);
var doc = new HtmlDocument();
doc.LoadHtml(html1);
var keywords = doc.DocumentNode.SelectSingleNode("//meta[@name='keywords']").GetAttributeValue("content");
然后执行Console.WriteLine(keywords);
输出:召开新闻,自流沟,含油污水