做数据抓取和分析的各位亲们, 有没有遇到下面的难题呢?
- 如何从各式各样的网页中提取正文!?
虽然可以用SS为各种网站写脚本做解析, 但是互联网各类网站何止千万种, 纵使累死我们也是做不完的. 这里我给大家热情推荐使用Readability来彻底解决这个难题 (呵呵, 不是做广告, 真心热爱这个好东东)
Raedability网站(www.readability.com)最引以为傲的就是其强大的解析引擎, 号称世界上最强大的文本解析神器. Safari中的"阅读器"功能就是用它来实现的! 他们还提供了API可以调用解析器的功能, 而我做了一个c#的代理类来方便大家使用.
开始之前请大家自行注册readability并申请appkey, 免费的.
代理类代码:
public static class ReadabilityProxy { public static Article Parse(string url, string token) //token就是各位的appkey { WebClient wc = new WebClient(); wc.Encoding = Encoding.UTF8; var encUrl = HttpUtility.UrlEncode(url); Uri u = new Uri(string.Format("https://readability.com/api/content/v1/parser?url={0}&token={1}", encUrl, token)); var json = wc.DownloadString(u); JavaScriptSerializer se = new JavaScriptSerializer(); return se.Deserialize(json, typeof(Article)) as Article; } } public class Article { public string Domain; public string Next_Page_Id; public string Url; public string Content; public string Short_Url; public string Excerpt; public string Direction; public int Word_Count; public int Total_Pages; public string Date_Published; public string Dek; public string Lead_Image_Url; public string Title; public int Rendered_Pages; public virtual void Decode() { this.Excerpt = HttpUtility.HtmlDecode(this.Excerpt); this.Content = HttpUtility.HtmlDecode(this.Content); } }
由于readability返回的Content, Excerpt都是编码过的, 因此我提供了Article.Decode方法来解码.
在ConsoleApp中测试效果:
class Program { static void Main(string[] args) { var article = ReadabilityProxy.Parse("http://www.mot.gov.cn/st2010/shanghai/sh_zhaobiaoxx/201203/t20120330_1219097.html", "***此处省略n个字***"); article.Decode(); Console.WriteLine(article.Title); Console.WriteLine(article.Excerpt); Console.WriteLine(article.Content); Console.ReadLine(); } }
怎么样? 效果不错吧, 赶快试试吧!
原文：http://www.cnblogs.com/weekend001/p/3530648.html