问题：我的请求获取不到URL对应的内容（换个浏览器可以）。
第一步对比wirshark截包看HTTP请求头，发现我这缺失一部分请求头。
对着官方文档添加即可。https://msdn.microsoft.com/zh-cn/library/system.net.httpwebrequest(v=vs.110).aspx
第二步，校正请求头后请求后，发现wireshark有返回，但是无法获取。debug发现无法解析内容。
这个地方可能会耗费一点时间和经验才能知道。
经过目测，发现这个网站是HTTP1.1 ，还有一个参数chunked。简单说就是返回内容的时候，分段返回的。不设置长度。
老版本的读取方法的话，对于这种是没法读取的。参考另一个网友的办法就解决了。
供大家参考吧。自己项目代码就不贴了，避嫌。
static void Main(string[] args)
{
HttpWebResponse web = MySpider.GetResponse("http://localhost:1853/WebForm1.aspx");
DecompressGZip(web );
Console.ReadLine();
} public static MemoryStream DecompressGZip(HttpWebResponse res)
{ //如果服务器使用了Transfer-Encoding：chunked缓冲输出，则只要服务器端Flush了，就会触发此方法，而不是等到服务器发送过来的内容全部发送完才触发，
//而且与是不是异步HttpWebRequest请求也没有关系。相反，如果服务器没有使用Transfer-Encoding：chunked缓冲输出，
//则不管是异步HttpWebRequest请求还是同步HttpWebRequest请求，都得等到服务器发送过来的内容全部发送完才触发此方法。 Stream stream = res.GetResponseStream();
int length = ;
if (res.ContentLength > )
{
length = (int)res.ContentLength;
}
else
{
length = ;
}
MemoryStream memory = new MemoryStream(length);
int count = ;
//每次从服务器返回流中读取5000个字节
byte[] buffer = new byte[];
while (true)
{ //如果服务器使用了Transfer-Encoding：chunked缓冲输出，则如果已经读取了服务器第一次Flush的内容后服务器第二次Flush的内容还没有接收到，则会阻塞当前线程，
//直到接收到服务器第二次Flush的内容（第三，四。。。次Flush也是一样），所以很可能会造成读取一次返回的count不满5000，但下一次继续读取返回的count却不是0的情况 count = stream.Read(buffer, , buffer.Length);
if (count == )
{
break;
}
memory.Write(buffer, , count);
} stream.Close();
//将流的可读位置设置到起始值
memory.Seek(, SeekOrigin.Begin);
return memory;
}
附录
2.HTTP1.1中CHUNKED编码解析 http://blog.csdn.net/zhangboyj/article/details/6236780