HTTP协议(缓存机制Cache)

HTTP的缓存

至于响应消息的实体,与请求消息的实体内容相似,这里只借绍下User-Agent头

User-Agent头域的内容包含发出请求的用户信息。

Cache-Control头域(请求和应答通用头域)
Cache-Control指定请求和响应遵循的缓存机制。在请求消息或响应消息中设置Cache-Control并不会修改另一个消息处理过程中的缓存 处理过程。请求时的缓存指令包括no-cache、no-store、max-age、max-stale、min-fresh、only-if-
cached,响应消息中的指令包括public、private、no-cache、no-store、no-transform、must-
revalidate、proxy-revalidate、max-age。各个消息中的指令含义如下:
Public 指示响应可被任何缓存区缓存。
Private 指示对于单个用户的整个或部分响应消息,不能被共享缓存处理。这允许服务器仅仅描述当前用户的部分响应消息,此响应消息对于其他用户的请求无效。
no-cache 指示请求或响应消息不能缓存
no-store 用于防止重要的信息被无意的发布。在请求消息中发送将使得请求和响应消息都不使用缓存。

If-modified-since: <date>
max-age 指示客户机可以接收生存期不大于指定时间(以秒为单位)的响应。
min-fresh 指示客户机可以接收响应时间小于当前时间加上指定时间的响应。
max-stale 指示客户机可以接收超出超时期间的响应消息。如果指定max-stale消息的值,那么客户机可以接收超出超时期指定值之内的响应消息

Cache-control、expires、last-modified等重要头域Cache-control:指定请求和响应遵循的缓存机制。

在请求消息或响应消息中设置Cache-Control并不会修改另一个消息处理过程中的缓存处理过程。请求时的缓存指令包括no-cache、no-store、max-age、max-stale、min-fresh、only-if-cached,响应消息中的指令包括public、private、no-cache、no-store、no-transform、must-revalidate、proxy-revalidate、max-age。

Expires:告诉浏览器指明应该在什么时候认为文档已经过期,从而不再缓存它。代码实现:header("Expires:". date('D, d M Y H:i:s \G\M\T', time()+10));--------这个是把时间截转化成格林时区字符串给expires头域,这个显示时间会比中国北京时间少8个小时,东8区的实现:header("Expires:". date('r', time()+10))last-modified:这个是服务器返回给浏览器,浏览器下次请求则把该值赋给if-modified-since头域传给服务器,服务器就可以根据此值判断是否有改变,有则继续运行下去,否者返回304 not modified

refer: 编程书籍\网络知识\HTTP协议(缓存Cache).ppt

编程书籍\网络知识\HTTP 协议基础(包含缓存).ppt

在http中Last-Modified 与If-Modified-Since 都是用于记录页面最后修改时间的 HTTP 头信息,注意,在这 Last-Modified 是由服务器往客户端发送的 HTTP 头,另一个 If-Modified-Since是由客户端往服务器发送的头,可以看到,再次请求本地存在的 cache 页面时,客户端会通过 If-Modified-Since 头将先前服务器端发过来的 Last-Modified 最后修改时间戳发送回去,这是为了让服务器端进行验证,通过这个时间戳判断客户端的页面是否是最新的,如果不是最新的,则返回新的内容,如果是最新的,则 返回 304 告诉客户端其本地 cache 的页面是最新的,于是客户端就可以直接从本地加载页面了,这样在网络上传输的数据就会大大减少,同时也减轻了服务器的负担。而且在一些ajax应用中,要求获取的数据永远是最新的,而不是读取位于缓存中的数据,做这样的设置是非常有必要的。

无意中测试发现nginx与apache对此有不同的算法:

APACHE:

(1)直接发送请求,返回200,Last-Modified: Mon, 26 Apr 2010 13:22:17 GMT

[root@test ~]# curl -I http://www.pengyao.org/test.html

HTTP/1.1 200 OK
Date: Mon, 26 Apr 2010 14:59:09 GMT
Server: Apache/1.3.41 (Unix)
Last-Modified: Mon, 26 Apr 2010 13:22:17 GMT
ETag: “92c027-897-4bd59389″
Accept-Ranges: bytes
Content-Length: 2199
Content-Type: text/plain
(2)指定与Last-Modified时间相同的If-Modified-Since 发送GET请求,返回304

[root@test ~]# curl -I -G -H “If-Modified-Since: Mon, 26 Apr 2010 13:22:17 GMT”  http://www.pengyao.org/test.html

HTTP/1.1 304 Not Modified
Date: Mon, 26 Apr 2010 15:02:06 GMT
Server: Apache/1.3.41 (Unix)
ETag: “92c027-897-4bd59389″

(3)调后If-Modified-Since 1小时,再次发送GET请求,返回依然为304
[root@test ~]# curl -I -G -H “If-Modified-Since: Mon, 26 Apr 2010 14:22:17 GMT”  http://www.pengyao.org/test.html

HTTP/1.1 304 Not Modified
Date: Mon, 26 Apr 2010 15:05:02 GMT
Server: Apache/1.3.41 (Unix)
ETag: “92c027-897-4bd59389″

说明Apache 在判断浏览器cache是否过期时,依据从If-Modified-Since开始,文件Last-Modified是否修改过来判断的,与RFC1945中对If-Modified-Since描述吻合.

那么再看下nginx对于此的测试结果:

(1)直接发送请求,返回200,Last-Modified: Wed, 21 Apr 2010 13:14:21 GMT
[root@test pengyao.org]# curl -I http://www.pengyao.org/index.html
HTTP/1.1 200 OK
Server: nginx/0.7.61
Date: Mon, 26 Apr 2010 15:18:29 GMT
Content-Type: text/html; charset=UTF-8
Content-Length: 323
Last-Modified: Wed, 21 Apr 2010 13:14:21 GMT
Connection: keep-alive
Accept-Ranges: bytes

(2)指定与Last-Modified时间相同的If-Modified-Since 发送GET请求,返回304

[root@test pengyao.org]# curl -I -G -H “If-Modified-Since: Wed, 21 Apr 2010 13:14:21 GMT” http://www.pengyao.org/index.html
HTTP/1.1 304 Not Modified
Server: nginx/0.7.61
Date: Mon, 26 Apr 2010 15:20:45 GMT
Last-Modified: Wed, 21 Apr 2010 13:14:21 GMT
Connection: keep-alive

(3)调后If-Modified-Since 1小时,再次发送GET请求,发现返回的结果为200,与Apache不同

[root@test pengyao.org]# curl -I -G -H “If-Modified-Since: Wed, 21 Apr 2010 14:14:21 GMT” http://www.pengyao.org/index.html
HTTP/1.1 200 OK
Server: nginx/0.7.61
Date: Mon, 26 Apr 2010 15:21:19 GMT
Content-Type: text/html; charset=UTF-8
Content-Length: 323
Last-Modified: Wed, 21 Apr 2010 13:14:21 GMT
Connection: keep-alive
Accept-Ranges: bytes
由此可以判断出,nginx在判断浏览器cache是否过期时,判断If-Modified-Since与Last-Modified是否匹配,如果不匹配,则认为cache过期,返回200重新下载.

要说更喜欢哪种算法,个人更倾向于nginx的这种,因为在对文件更新前,本人习惯于对需要修改的文件进行备份(保留时间戳),一旦测试出现问题,及时的回滚,使用nginx的这种算法就能保障回滚前后浏览器cache失效,而Apache的这种策略导致回滚到之前的时间戳的话(Last- Modified),本地由于进行了测试,本地cache文件的If-Modified-Since时间一般比回滚后的Last-Modified新,这样本地的cache认为依然有效,返回304,而实际上文件已经不是最新的。当然,Apache的这样设计完全遵守RFC,个人喜好不代表真实需求.

如何利用客户端缓存对网站进行优化? If-Modified-Since & If-None-Match

介绍
        你的网站在并发访问很大并且无法承受压力的情况下,你会选择如何优化?
        很多人首先会想从服务器缓存方面着手对程序进行优化,许多不同的服务器缓存方式都有他们自己的特点,像我曾经参与的一些项目中,根据缓存的命中率不同使用过 Com+/Enterprise Libiary Caching/Windows服务,静态文件等方式的服务器端缓存和 HTTP Compression技术,但客户端缓存往往却被人们忽略了,即使服务器的缓存让你的页面访问起来非常地快,但她依然需要依赖浏览器下载并输出,而当你加入客户端缓存时,会给你带来非常多的好处.因为她可以对站点中访问最频繁的页进行缓存充分地提高 Web 服务器的吞吐量(通常以每秒的请求数计算)以提升应用程序性能和可伸缩性。
        一个在线购物调查显示,大多数人愿意去商店排队,但在在线购物时却不愿意等待。Websense调查公司称多达70%的上网者表示不愿意在页面读取上超过10秒钟。超过70%的人会因为中途速度过慢而取消当前的订单。

基础知识
        1) 什么是”Last-Modified”?

在浏览器第一次请求某一个URL时,服务器端的返回状态会是200,内容是你请求的资源,同时有一个Last-Modified的属性标记此文件在服务期端最后被修改的时间,格式类似这样:

Last-Modified: Fri, 12 May 2006 18:53:33 GMT

客户端第二次请求此URL时,根据 HTTP 协议的规定,浏览器会向服务器传送 If-Modified-Since 报头,询问该时间之后文件是否有被修改过:

If-Modified-Since: Fri, 12 May 2006 18:53:33 GMT

如果服务器端的资源没有变化,则自动返回 HTTP 304 (Not Changed.)状态码,内容为空,这样就节省了传输数据量。当服务器端代码发生改变或者重启服务器时,则重新发出资源,返回和第一次请求时类似。从而保证不向客户端重复发出资源,也保证当服务器有变化时,客户端能够得到最新的资源。

2) 什么是”Etag”?

HTTP 协议规格说明定义ETag为“被请求变量的实体值” (参见 —— 章节 14.19)。 另一种说法是,ETag是一个可以与Web资源关联的记号(token)。典型的Web资源可以一个Web页,但也可能是JSON或XML文档。服务器单独负责判断记号是什么及其含义,并在HTTP响应头中将其传送到客户端,以下是服务器端返回的格式:

ETag: "50b1c1d4f775c61:df3"

客户端的查询更新格式是这样的:

If-None-Match: W/"50b1c1d4f775c61:df3"

如果ETag没改变,则返回状态304然后不返回,这也和Last-Modified一样。本人测试Etag主要在断点下载时比较有用。

Last-Modified和Etags如何帮助提高性能?
        聪明的开发者会把Last-Modified 和ETags请求的http报头一起使用,这样可利用客户端(例如浏览器)的缓存。因为服务器首先产生 Last-Modified/Etag标记,服务器可在稍后使用它来判断页面是否已经被修改。本质上,客户端通过将该记号传回服务器要求服务器验证其(客户端)缓存。
        过程如下:
                1. 客户端请求一个页面(A)。
                2. 服务器返回页面A,并在给A加上一个Last-Modified/ETag。
                3. 客户端展现该页面,并将页面连同Last-Modified/ETag一起缓存。
                4. 客户再次请求页面A,并将上次请求时服务器返回的Last-Modified/ETag一起传递给服务器。
                5. 服务器检查该Last-Modified或ETag,并判断出该页面自上次客户端请求之后还未被修改,直接返回响应304和一个空的响应体。

示例代码
        下面的例子描述如何使用服务器端代码去操作客户端缓存:

Code
1//默认缓存的秒数
2 int secondsTime = 100;
3
4 //判断最后修改时间是否在要求的时间内
5 //如果服务器端的文件没有被修改过,则返回状态是304,内容为空,这样就节省了传输数据量。如果服务器端的文件被修改过,则返回和第一次请求时类似。
6 if (request.Headers["If-Modified-Since"] != null && TimeSpan.FromTicks(DateTime.Now.Ticks - DateTime.Parse(request.Headers["If-Modified-Since"]).Ticks).Seconds < secondsTime)
7 {
8     //测试代码,在这里会发现,当浏览器返回304状态时,下面的日期并不会输出
9     Response.Write(DateTime.Now);
10
11     response.StatusCode = 304;
12     response.Headers.Add("Content-Encoding", "gzip");
13     response.StatusDescription = "Not Modified";
14 }
15 else
16 {
17     //输出当前时间
18     Response.Write(DateTime.Now);
19
20     //设置客户端缓存状态
21     SetClientCaching(response, DateTime.Now);
22 }
23
24 /**//// <summary>
25 /// 设置客户端缓存状态
26 /// </summary>
27 /// <param name="response"></param>
28 /// <param name="lastModified"></param>
29 private void SetClientCaching(HttpResponse response, DateTime lastModified)
30 {
31     response.Cache.SetETag(lastModified.Ticks.ToString());
32     response.Cache.SetLastModified(lastModified);
33     //public 以指定响应能由客户端和共享(代理)缓存进行缓存。
34     response.Cache.SetCacheability(HttpCacheability.Public);
35     //是允许文档在被视为陈旧之前存在的最长绝对时间。
36     response.Cache.SetMaxAge(new TimeSpan(7, 0, 0, 0));
37     //将缓存过期从绝对时间设置为可调时间
38     response.Cache.SetSlidingExpiration(true);
39 }

如果你的缓存是基于文件的方式,如XML或http中的.ashx处理,也可以使用下面的基于文件方式的客户端缓存:

SetFileCaching
1/**//// <summary>
2/// 基于文件方式设置客户端缓存
3/// </summary>
4/// <param name="fileName"></param>
5private void SetFileCaching(HttpResponse response, string fileName)
6{
7    response.AddFileDependency(fileName);
8    //基于处理程序文件依赖项的时间戳设置 ETag HTTP 标头。
9    response.Cache.SetETagFromFileDependencies();
10    //基于处理程序文件依赖项的时间戳设置 Last-Modified HTTP 标头。
11    response.Cache.SetLastModifiedFromFileDependencies();
12    response.Cache.SetCacheability(HttpCacheability.Public);
13    response.Cache.SetMaxAge(new TimeSpan(7, 0, 0, 0));
14    response.Cache.SetSlidingExpiration(true);
15}
16

结论
        我们已经看了如何使用客户端缓存减少带宽和计算的方法,如前所述,如果能正确合理的利用各种不同的缓存,他们会给你带来很多的好处.我希望本文已为你当下或将来基于Web的项目提供了精神食粮,并正确地在底层利用Last- Modified和ETag响应头去优化你的项目。

上一篇:第35章 秘密(secrets) - Identity Server 4 中文文档(v1.0.0)


下一篇:C语言之分支结构 if(一)