所谓爬虫简单点说，就是把别人网站上的东西爬下来，至于爬做什么用就看你自己了，比如：把别人网站上的东西爬下来放在自己网站中（感觉有点像小偷^v^）.
这里随便写了一个爬虫代码(可以自己再去进行完善)：
protected void Button1_Click(object sender, EventArgs e)
{
string htmlcode = GetHTML("http://www.imooc.com/learn/348");
Regex reg = new Regex("<strong><i class=\"state-expand\"></i>.*</strong>");
MatchCollection ms = reg.Matches(htmlcode);
foreach (Match m in ms)
{
Response.Write(m.ToString()+"<br>");
}
} public string GetHTML(string url)
{
WebClient web = new WebClient();
byte[] buffer = web.DownloadData(url);
return Encoding.UTF8.GetString(buffer);
}
这里是从慕课网的一个网页中爬一些章节信息下来(这不是给慕课网打广告，但是里面确实有一些比较好的学习资料，大家可以直接访问http://www.imooc.com/learn/348看看这页的内容)。
代码分析：
1、通过WebClient将对应网页的源码下载下来(适当的编码好，要不是容易出现乱码问题)
2、从源码中抓取出自己需要的信息，这里用的正则表达式去抓取匹配的信息，然后输出来
这样一个简单的爬虫就做好了，大家可以试一试