1 public class BlogRegexController : Controller
 2     {
 3 
 4         public void ExecuteRegex()
 5         {
 6             string strBaseUrl = "http://www.cnblogs.com/p"; //定义博客园可以访问的列表数据的基地址
 7             for (int i = 1; i <= 200; i++)//因为博客园首页列表最大只有200页，所以我们这个循环就执行200次
 8             {
 9                 string strUrl = strBaseUrl + i.ToString();
10                 BlogRege blogRegex = new BlogRege(); //定义的具体的Regex类 抓取博客园地址
11                 string result = blogRegex.SendUrl(strUrl);
12                 blogRegex.AnalysisHtml(result);
13 
14                 Response.Write("获取成功");
15             }
16         }
17 
18 
19         //
20         // GET: /BlogRegex/
21 
22         public ActionResult Index()
23         {
24             ExecuteRegex();
25             return View();
26         }
27 
28     }

 1 public class BlogRege
 2     {      //负责把数据插入到数据库中 使用到的是sqlhelper类
 3         public void Insert(string title, string content,string linkurl, int categoryID = 1)
 4         {
 5             SqlHelper helper = new SqlHelper();
 6             helper.Insert(title, content, categoryID,linkurl);
 7         }
 8 
 9         /// <summary>
10         /// 通过Url地址获取具体网页内容 发起一个请求获得html内容
11         /// </summary>
12         /// <param name="strUrl"></param>
13         /// <returns></returns>
14         public string SendUrl(string strUrl)
15         {
16             try
17             {
18                 WebRequest webRequest = WebRequest.Create(strUrl);
19                 WebResponse webResponse = webRequest.GetResponse();
20                 StreamReader reader = new StreamReader(webResponse.GetResponseStream());
21                 string result = reader.ReadToEnd();
22                 return result;
23             }
24             catch (Exception ex)
25             {
26                 throw ex;
27             }
28         }
29 
30         /// <summary>
31         /// 分析Html  解析出里面具体的数据
32         /// </summary>
33         /// <param name="htmlContent"></param>
34         public void AnalysisHtml(string htmlContent)
35         {//这个就是我在regulator正则表达式工具中拼接获取到的正则表达式  还有一点请注意就是转义字符的问题
36             string strPattern = "<div\\s*class=\"post_item\">\\s*.*\\s*.*\\s*.*\\s*.*\\s*.*\\s*.*\\s*.*\\s*<div\\s*class=\"post_item_body\">\\s*<h3><a\\s*class=\"titlelnk\"\\s*href=\"(?<href>.*)\"\\s*target=\"_blank\">(?<title>.*)</a>.*\\s*<p\\s*class=\"post_item_summary\">\\s*(?<content>.*)\\s*</p>";
37 
38             Regex regex = new Regex(strPattern, RegexOptions.IgnoreCase | RegexOptions.Multiline | RegexOptions.CultureInvariant);
39             if (regex.IsMatch(htmlContent))
40             {
41                 MatchCollection matchCollection = regex.Matches(htmlContent);
42                 foreach (Match match in matchCollection)
43                 {
44                     string title = match.Groups[2].Value;//获取到的是列表数据的标题
45                     string content = match.Groups[3].Value;//获取到的是内容
46                     string linkurl=match.Groups[1].Value;//获取到的是链接到的地址
47                    Insert(title, content,linkurl);//执行插入到数据库的操作
48                 }
49             
50             
51             }
52         
53         }
58     }