2.3　配置Varnish

2.3.1　VCL使用说明
VCL，即为Varnish Configuation Language，用来定义Varnish的存取策略。VCL语法比较简单，跟C和Perl比较相似，可以使用指定运算符“=”、比较运算符“==”、逻辑运算符“!,&&,!!”等形式；还支持正则表达式和用“~”进行ACL匹配运算；还可以使用“set”这样的关键字来指定变量。
需要注意的是，“”字符在VCL里没有特别的含义，这点与其他语言略有不同。另外，VCL只是配置语言，并不是真正的编程语言，没有循环，也没有自定义变量。
在讲述Varnish配置之前，首先需要了解Varnish的配置语法，即VCL。下面对VCL常用的一些内置函数和公用变量进行详细介绍。

1. VCL内置函数
   （1）vcl_recv函数

用于接收和处理请求。当请求到达并被成功接收后被调用，通过判断请求的数据来决定如何处理请求。
此函数一般以如下几个关键字结束。
pass：表示进入pass模式，把请求控制权交给vcl_pass函数。
pipe：表示进入pipe模式，把请求控制权交给vcl_pipe函数。
error code [reason]：表示返回“code”给客户端，并放弃处理该请求。“code”是错误标识，例如200和405等。“reason”是错误提示信息。
（2）vcl_pipe函数
此函数在进入pipe模式时被调用，用于将请求直接传递至后端主机，在请求和返回的内容没有改变的情况下，将不变的内容返回给客户端，直到这个连接被关闭。
此函数一般以如下几个关键字结束。
error code [reason]。
pipe。

（3）vcl_pass函数
此函数在进入pass模式时被调用，用于将请求直接传递至后端主机。后端主机在应答数据后将应答数据发送给客户端，但不进行任何缓存，在当前连接下每次都返回最新的内容。
此函数一般以如下几个关键字结束。
error code [reason]。
pass。
（4）lookup
表示在缓存中查找被请求的对象，并且根据查找的结果把控制权交给函数vcl_hit或函数vcl_miss。
（5）vcl_hit函数
在执行lookup指令后，在缓存中找到请求的内容后将自动调用该函数。
此函数一般以如下几个关键字结束。
deliver：表示将找到的内容发送给客户端，并把控制权交给函数vcl_deliver。

error code [reason] 。
 pass。

（6）vcl_miss函数
在执行lookup指令后，在缓存中没有找到请求的内容时自动调用该方法。此函数可用于判断是否需要从后端服务器获取内容。
此函数一般以如下几个关键字结束。
fetch：表示从后端获取请求的内容，并把控制权交给vcl_fetch函数。

error code [reason] 。
 pass。

（7）vcl_fetch函数
在后端主机更新缓存并且获取内容后调用该方法，接着，通过判断获取的内容来决定是将内容放入缓存，还是直接返回给客户端。
此函数一般以如下几个关键字结束。

error code [reason]。
 pass。
 deliver。

（8）vcl_deliver函数
将在缓存中找到请求的内容发送给客户端前调用此方法。
此函数一般以如下几个关键字结束。

error code [reason]。
 deliver。

（9）vcl_timeout 函数
在缓存内容到期前调用此函数。
此函数一般以如下几个关键字结束。
discard：表示从缓存中清除该内容。
fetch。
（10）vcl_discard函数
在缓存内容到期后或缓存空间不够时，自动调用该函数。
此函数一般以如下几个关键字结束。
keep：表示将内容继续保留在缓存中。
discard。
2.VCL处理流程图
通过上面对VCL函数的介绍，读者能够对各个函数实现的功能有个简单的了解。其实每个函数之间都是相互关联的，图2-1所示为Varnish处理HTTP请求的运行流程图。

Varnish处理HTTP请求的过程大致分为如下几个步骤。
（1）Receive状态。也就是请求处理的入口状态，根据VCL规则判断该请求应该Pass或Pipe，还是进入Lookup（本地查询）。
（2）Lookup状态。进入此状态后，会在hash表中查找数据，若找到，则进入Hit状态，否则进入Miss状态。
（3）Pass状态。在此状态下，会进入后端请求，即进入Fetch状态。
（4）Fetch状态。在Fetch状态下，对请求进行后端获取，发送请求，获得数据，并进行本地存储。
（5）Deliver状态。 将获取到的数据发送给客户端，然后完成本次请求。
3.内置公用变量
VCL内置的公用变量可以用在不同的VCL函数中。下面根据这些公用变量使用的不同阶段依次进行介绍。
当请求到达后，可以使用的公用变量如表2-2所示。
表2-2　请求到达后可以使用的VCL内置的公用变量

对客户端应答时，可以使用的公用变量如表2-5所示。

在上面的讲述中，只介绍了常用的VCL内置公用变量，如果需要了解和使用更多的公用变量信息，请登录Varnish官方网站查阅。

2.3.2　配置一个简单的Varnish实例
由于版本不同，Varnish配置文件的写法也存在一定差异，Varnish的2.x版本不但在配置文件写法上和1.x版本不同，而且还增加了很多新功能，并且去除了很多应用bug。这里讲述的版本是Varnish 2.1.2，配置文件写法以Varnish 2.x版本为基准。
Varnish安装完成后，默认的配置文件为/usr/local/varnish/etc/varnish/default.vcl，此文件内容默认全部被注释掉。这里以这个文件为模板，创建一个新的文件vcl.conf，并且将其放到/usr/local/varnish/etc目录下。配置完成的vcl.conf文件如下：

#通过backend定义一个名称为webserver的后端主机，“.host”指定后端主机的IP地址或者域
        #名，“.port”指定后端主机的服务器端口。其中，“192.168.12.26”就是后端的一个Web服务器
backend webserver {
     .host = "192.168.12.26";
     .port = "80";
 }

#开始调用vcl_recv
sub vcl_recv {
        if (req.http.x-forwarded-for) {
                   set req.http.X-Forwarded-For =
                    req.http.X-Forwarded-For ", " client.ip;
        } else {
                set req.http.X-Forwarded-For = client.ip;
        }
        #如果请求的类型不是GET、HEAD、PUT、POST、TRACE、OPTIONS或DELETE时，则进入
        # pipe模式。注意这里是“&&”关系
        if (req.request != "GET" &&
           req.request != "HEAD" &&
           req.request != "PUT" &&
           req.request != "POST" &&
           req.request != "TRACE" &&
           req.request != "OPTIONS" &&
           req.request != "DELETE") {
           return (pipe);
        }
　            #如果请求的类型不是GET或HEAD，则进入pass模式
      if (req.request != "GET" && req.request != "HEAD") {
           return (pass);
        }

               #对ixdba.net或者ixdba.cn两个域名进行缓存加速。这是个泛域名的概念，也就
               #是将所有以ixdba.net或者ixdba.cn结尾的域名都进行缓存
        if (req.http.host ~ "^(.*).ixdba.net" || req.http.host ~ "^(.*).ixdba.cn") {
           set req.backend = webserver;
        }

　　        #对以.jsp和.do结尾以及带有?的URL，直接从后端服务器读取内容
    if (req.url ~ "\.(jsp|do)($|\?)") {
           return (pass);
        } else {
        return (lookup);
        }
}
 
sub vcl_pipe {
     return (pipe);
}
 
sub vcl_pass {
     return (pass);
}
 
sub vcl_hash {
     set req.hash += req.url;
     if (req.http.host) {
         set req.hash += req.http.host;
     } else {
         set req.hash += server.ip;
     }
     return (hash);
}
 
sub vcl_hit {
    if (!obj.cacheable) {
        return (pass);
    }
    return (deliver);
}
 
sub vcl_miss {
     return (fetch);
}
 
sub vcl_fetch {
      if (!beresp.cacheable) {
         return (pass);
     }
     if (beresp.http.Set-Cookie) {
         return (pass);
     }

        #当url中包含servlet时，不进行缓存
    if (req.url ~ "^/servlet/") {
        return (pass);
    }

        #当url中包含services时，不进行缓存
    if (req.url ~ "^/services/") {
        return (pass);
    }

        #如果请求类型是GET，并且请求的URL中包含upload，那么就进行缓存，缓存的时间是
        #300秒，即5分钟
    if (req.request == "GET" && req.url ~ "^/upload(.*)$") {
        set beresp.ttl = 300s;
    }
        #当请求类型是GET，并且请求的URL以png、xsl、xml、gif、css、js等结尾时，进行缓存，
        #缓存时间为600秒
    if (req.request == "GET" && req.url ~ "\.(png|xsl|xml|pdf|ppt|doc|docx|chm|rar|zip|bmp|jpeg|swf|ico|mp3|mp4|rmvb|ogg|mov|avi|wmv|swf|txt|png|gif|jpg|css|js|html|htm)$") {
       set beresp.ttl = 600s;
    }
    return (deliver);
}
         #下面添加一个Header标识，以判断缓存是否命中
sub vcl_deliver {
    if (obj.hits > 0) {
       set resp.http.X-Cache = "HIT from www.ixdba.net";
    } else {
      set resp.http.X-Cache = "MISS from www.ixdba.net";
    }
    return (deliver);
}

2.3.3　Varnish对应多台Web服务器的配置实例
VCL语法非常灵活，功能强大。下面是一个Varnish对应多台Web主机的应用实例，具有负载分担和健康检测机制。配置完成的vcl.conf文件如下：
下面定义了4台后端Web服务器

backend webserver1 {
  .host = "192.168.12.12";
  .port = "80";
}
backend webserver2 {
  .host = "192.168.12.13";
  .port = "80";
}
backend webserver3 {
  .host = "192.168.12.14";
  .port = "80";
}
backend webserver4 {
  .host = "192.168.12.15";
  .port = "80";
}                            
 
#定义一个名为webserver的director，也就是由webserver1和webserver2两台后端服务器随机分担
#请求。“.weight”用来指定两台后端服务器的权值。权值高的处理请求的几率就高些
director webserver random {
  {.backend = webserver1; .weight = 5;  }
  {.backend = webserver2; .weight = 8;  }
}
#这里设定清理缓存的规则，Varnish允许localhost、127.0.0.1和192.168.12.***三个来源IP通过
# PURGE方法清除缓存
acl purge {
  "localhost";
  "127.0.0.1";
  "192.168.12.0"/26;
}
sub vcl_recv {

#这里设定，当发送PURGE请求的客户端不是在acl中设定的地址时，将返回405状态代码，提示
#“Not allowed”。当请求的URL是以.php和.cgi结尾时，则交给后端服务器去处理
  if (req.request == "PURGE") {
      if (!client.ip ~ purge) {
      error 405 "Not allowed.";
    }
      elseif(req.url ~ "\.(php|cgi)($|\?)") {
      return (pass);
    }
      else {
      return (lookup);
    }
  }

#下面设定域名访问策略，其实也是设定对后端主机健康状态检测的一个机制。如果访问www.ixdba.net
#或者bbs.ixdba.net，并且请求重启次数为0，则将请求交给webserver来处理。如果请求重启次数
#为1，则将请求交给webserver3处理。如果访问img.ixdba.net或者images.ixdba.net，则将
#请求交给webserver4来处理
  if((req.http.host ~"^(www.|bbs.)?ixdba.net")&&(req.restarts == 0))  {
      set req.backend = webserver;
  } elseif(req.restarts == 1) {
      set req.backend = webserver3;
  }
  if(req.http.host ~"^(img.|images.)?ixdba.net") {
      set req.backend = webserver4;
  }
#下面定义缓存的策略。当请求以.cgi和.php结尾及带有?的URL时，不进行缓存，直接从后端服务器
#读取内容。其他请求都进入lookup模式，也就是进入cache中通过hash表寻找被请求的数据
  if (req.request != "GET" && req.request != "HEAD")
  {
    return (pipe);
  }
  elseif (req.url ~ "\.(cgi|php)($|\?)")
  {
   return (pass);
  }
  elseif (req.http.Authenticate || req.http.Authorization) {
    return (pass);
  }
  return (lookup);
}                                                                      
 
#如果请求的类型是PURGE方法，Varnishd会将此请求的缓存周期设置为0，也就是使这个URL的缓存失效，
#从而达到刷新Varnish缓存的目的
sub vcl_hit
{
  if (req.request == "PURGE") {
    set obj.ttl = 0s;
    error 200 "Purged.";
  }                            
 
  if (!obj.cacheable)
  {
    return (pass);
  }                  
 
  if (obj.http.Vary)
  {
    unset obj.http.Vary;
  }
}                       
 
sub vcl_miss
{
  if (req.request == "PURGE") {
    error 404 "Not in cache.";
  }
 
}
#定义hash的值，并且处理压缩内容
sub vcl_hash {
  set req.hash += req.url;
  if (req.http.host) {
    set req.hash += req.http.host;
  } else {
    set req.hash += server.ip;
  }
  if ( req.http.Accept-Encoding ){
    if (req.url ~ "\.(jpg|jpeg|png|gif|rar|zip|gz|tgz|bz2|tbz|mp3|ogg|swf|exe|flv|avi|rmvb|rm|mpg|mpeg|pdf)$") {
    } else {
        set req.hash += req.http.Accept-Encoding;
    }
  }
  return (hash);
}
 
sub vcl_fetch
{
     if (!beresp.cacheable) {
           return (pass);
     }

     if (beresp.http.Set-Cookie) {
            return (pass);
     }

#定义在什么状态下进入restart模式
     if (beresp.status == 500 || beresp.status == 501 || beresp.status == 502 || beresp.status == 503 || beresp.status == 504 || beresp.status == 404) 
     {
         return (restart);
        }

#下面定义不缓存含有哪些HTTP头的请求
      if (beresp.http.Pragma ~ "no-cache" || beresp.http.Cache-Control ~ "no-cache" || beresp.http.Cache-Control ~ "private") {
          return (pass);
  }

#定义不同内容的缓存时间
      if (req.request == "GET" && req.url ~ "\.(css|js|html|htm)$") {
               set beresp.ttl = 300s;
    }
   if (req.request == "GET" && req.url ~ "\.(gif|jpg|jpeg|bmp|png|tiff|tif|ico|img|bmp|wmf)$") {
        set beresp.ttl = 3600s;     
        }    
   if (req.request == "GET" && req.url ~ "\.(svg|swf|ico|mp3|mp4|m4a|wav|rmvb|avi|wmv)$") {
        set beresp.ttl = 10d;
        }
return (deliver);

}
sub vcl_deliver {
    if (obj.hits > 0) {
       set resp.http.X-Cache = "HIT from www.ixdba.net";
    } else {
      set resp.http.X-Cache = "MISS from www.ixdba.net";
    }
    return (deliver);
}