Nginx缓存服务

1.缓存常见类型

2.缓存配置语法

3.缓存配置实践

4.缓存清理实践

5.部分页面不缓存

6.缓存日志记录统计

通常情况下缓存是用来减少后端压力, 将压力尽可能的往前推, 减少后端压力,提高网站并发延时

客户端 <--> nginx <---> 服务端

1.缓存常见类型

服务端缓存 --> redis / memcached

代理缓存, 获取服务端内容进行缓存 nginx_proxy

客户端浏览器缓存

2.缓存配置语法

proxy_cache配置语法

Syntax: proxy_cache zone | off;

Default: proxy_cache off;

Context: http, server, location

//缓存路径

Syntax: proxy_cache_path path [levels=levels]

[use_temp_path=on|off] keys_zone=name:size [inactive=time]

[max_size=size] [manager_files=number] [manager_sleep=time][manager_threshold=time]

[loader_files=number] [loader_sleep=time] [loader_threshold=time] [purger=on|off]

[purger_files=number] [purger_sleep=time] [purger_threshold=time];

Default: —

Context: http

缓存过期周期

Syntax: proxy_cache_valid [code ...] time;

Default: —

Context: http, server, location

//示例

proxy_cache_valid 200 302 10m;

proxy_cache_valid 404   1m;

缓存的维度

Syntax: proxy_cache_key string;

Default:    proxy_cache_key $scheme$proxy_host$request_uri;

Context: http, server, location

//示例

proxy_cache_key "$host$request_uri $cookie_user";

proxy_cache_key $scheme$proxy_host$uri$is_args$args;

3.缓存配置实践

1.缓存准备

系统	服务	地址
CentOS7.4	Nginx Proxy	10.0.0.3
CentOS7.4	Nginx Web	10.0.0.7
CentOS7.4	Nginx Web	10.0.0.8

2.web节点准备

# web01 和 web02的nginx配置

[root@web01 conf.d]# vim web_node.conf

server {

        server_name o.oldboy.com;

        listen 80;

        root /code/o;

        index index.html;

}

[root@web01 conf.d]# mkdir /code/o

[root@web01 conf.d]# echo 'web01-7...' > /code/o/index.html

[root@web02 conf.d]# mkdir /code/o

[root@web02 conf.d]# echo 'we02-8...' > /code/o/index.html

[root@web01 conf.d]# nginx -t

[root@web01 conf.d]# systemctl restart nginx

window的hosts 解析 浏览器访问o.oldboy.com

# lb01 负载均衡配置

[root@lb01 conf.d]# vim web_node_proxy.conf

upstream web_node {

        server 172.16.1.7:80;

        server 172.16.1.8:80;

}

server {

        server_name o.oldboy.com;

        listen 80;

        location / {

                proxy_pass http://web_node;

                include proxy_params;

        }

}

window的hosts 解析 浏览器访问o.oldboy.com

刷新浏览器 会轮询显示web01 web02 内容

2 代理配置缓存

[root@proxy ~]# mkdir /soft/cache -p

[root@proxy ~]# cat /etc/nginx/conf.d/web_node_proxy_cache.conf

upstream cache {

        server 172.16.1.7:80;

        server 172.16.1.8:80;

}

#proxy_cache存放缓存临时文件

#levels     按照两层目录分级

#keys_zone  开辟空间名, 10m:开辟空间大小, 1m可存放8000key

#max_size   控制最大大小, 超过后Nginx会启用淘汰规则

#inactive   60分钟没有被访问缓存会被清理

#use_temp_path  临时文件, 会影响性能, 建议关闭

proxy_cache_path /soft/cache levels=1:2 keys_zone=code_cache:10m max_size=10g inactive=60m use_temp_path=off;

server {

        listen 80;

        server_name o.oldboy.com;

#proxy_cache        开启缓存

#proxy_cache_valid  状态码200|304的过期为12h, 其余状态码10分钟过期

#proxy_cache_key    缓存key

#add_header         增加头信息, 观察客户端respoce是否命中

#proxy_next_upstream 出现502-504或错误, 会跳过此台服务器访问*

        location / {

                proxy_pass http://cache;

                proxy_cache code_cache;

                proxy_cache_valid 200 304 12h;

                proxy_cache_valid any 10m;

                add_header Nginx-Cache "$upstream_cache_status";

                proxy_next_upstream error timeout invalid_header http_500 http_502 http_503  http_504;

                include proxy_params;

        }

}

#检查是否缓存

# 浏览器访问 o.oldboy.com 缓存之后刷新就不会轮询到第二台web02

# 浏览F12 的 Response Headers  的  Nginx-Cache: HIT    HIT命中

# 看下有没有缓存文件

[root@lb01 conf.d]# tree /soft/cache/

/soft/cache/

├── 5

│   └── b7

│       └── de9fff16da7ea7ed37dd24c8b0471b75

└── f

    └── f2

        └── b091f22bf0606f1ea45da26793973f2f

4 directories, 2 files

4.缓存清理实践

如何清理proxy_cache代理缓存

1.rm删除已缓存数据

[root@proxy ~]# rm -rf /soft/cache/*

[root@proxy ~]# curl -s -I http://10.0.0.3/url3.html|grep "Nginx-Cache"

Nginx-Cache: MISS

1.通过ngx_cache_purge扩展模块清理, 需要编译安装Nginx

//建立对应目录

[root@proxy ~]# mkdir /soft/src

[root@proxy ~]# cd /soft/src

//下载Nginx包

[root@proxy ~]# wget http://nginx.org/download/nginx-1.12.2.tar.gz

[root@proxy ~]# tar xf nginx-1.12.2.tar.gz

//下载ngx_cache_purge

[root@proxy ~]# wget http://labs.frickle.com/files/ngx_cache_purge-2.3.tar.gz

[root@proxy ~]# tar xf ngx_cache_purge-2.3.tar.gz

//编译Nginx

[root@nginx src]# cd nginx-1.12.2/ && ./configure \

--prefix=/server/nginx --add-module=../ngx_cache_purge-2.3 \

--with-http_stub_status_module --with-http_ssl_module

[root@nginx src]# make && make install

//需要将上文的缓存proxy_cache.conf文件拷贝至源码包中, 并增加如下内容

        location ~ /purge(/.*) {

                allow   127.0.0.1;

                allow   10.0.0.0/24;

                deny    all;

                proxy_cache_purge    code_cache $host$1$is_args$args;

        }

//检测配置重新加载

[root@nginx conf.d]# /server/nginx/sbin/nginx -t

[root@nginx conf.d]# /server/nginx/sbin/nginx -s reload

使用浏览器访问建立缓存

http:www.o.oldboy.com/url2/index.php

通过purge请求对应的缓存数据

http:www.o.oldboy.com/purge/url2.html

再次刷新就会404因为缓存内容已清理

5.部分页面不缓存

指定部分页面不进行proxy_Cache缓存

 cat proxy_cache.conf

upstream cache{

        server 172.16.1.7:80;

        server 172.16.1.8:80;

}

proxy_cache_path /soft/cache levels=1:2 keys_zone=code_cache:10m max_size=10g inactive=60m use_temp_path=off;

server {

        listen 80;

        server_name o.oldboy.com;

        if ($request_uri ~ ^/(url3|login|register|password)) {

                set $cookie_nocache 1;

        }

        location / {

                proxy_pass http://cache;

                proxy_cache code_cache;

                proxy_cache_valid 200 304 12h;

                proxy_cache_valid any 10m;

                proxy_cache_key $host$uri$is_args$args;

                'proxy_no_cache $cookie_nocache $arg_nocache $arg_comment;

                proxy_no_cache $http_pargma $http_authorization;'

                add_header Nginx-Cache "$upstream_cache_status";

                proxy_next_upstream error timeout invalid_header http_500 http_502 http_503  http_504;

                include proxy_params;

        }

}

//清理缓存

[root@nginx ~]# rm -rf /soft/cache/*

//请求测试

[root@nginx ~]# curl -s -I http://o.oldboy.com/url3.html|grep "Nginx-Cache"

Nginx-Cache: MISS

[root@nginx ~]# curl -s -I http://o.oldboy.com/url3.html|grep "Nginx-Cache"

Nginx-Cache: MISS

[root@nginx ~]# curl -s -I http://o.oldboy.com/url3.html|grep "Nginx-Cache"

Nginx-Cache: MISS

6.缓存日志记录统计

通过日志记录proxy_cache命中情况与对应url

//修改/etc/nginx/nginx.conf中log_format格式

log_format  main  '$http_user_agent' '$request_uri' '$remote_addr - $remote_user [$time_local] "$request" '

                      '$status $body_bytes_sent "$http_referer" '

                      '"$http_user_agent" "$http_x_forwarded_for"' '"$upstream_cache_status"';

//修改proxy_cache.conf, 在server标签新增access日志

    access_log /var/log/nginx/proxy_cache.log main;

//使用curl访问, 最后检查日志命令情况

curl/7.29.0/url3.html192.168.56.183 - - [19/Apr/2018:11:48:43 -0400] "HEAD /url3.html HTTP/1.1" 200 0 "-" "curl/7.29.0" "-""MISS"

curl/7.29.0/url2.html192.168.56.183 - - [19/Apr/2018:11:48:45 -0400] "HEAD /url2.html HTTP/1.1" 200 0 "-" "curl/7.29.0" "-""HIT"

curl/7.29.0/url2.html192.168.56.183 - - [19/Apr/2018:11:48:46 -0400] "HEAD /url2.html HTTP/1.1" 200 0 "-" "curl/7.29.0" "-""HIT"

扩展: nginx cache 查看命中率

nginx在web应用上的占用率越来越高，其带的模块也越来越来。nginx_cache算是一个，虽和专业的cache工具相比略逊一筹，但毕竟部署简单，不用另装软件和资源开销，所以在web cache中也占了比重不小的一席。不过像squid和varnish等cache软件都自带的有cache查看工具，而且还可以方便的在http header上显示出是否命中。nginx主要还是做web使用。所以想要得出命中率的大小，还需要通过日志进行统计，不过想要增加header查看倒很简单

一、在http header上增加命中显示

nginx提供了$upstream_cache_status这个变量来显示缓存的状态，我们可以在配置中添加一个http头来显示这一状态，达到类似squid的效果。

 location  / {

        proxy_redirect          off;

        proxy_set_header        Host            $host;

        proxy_set_header        X-Real-IP       $remote_addr;

        proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;

        proxy_connect_timeout   180;

        proxy_send_timeout      180;

        proxy_read_timeout      180;

        proxy_buffer_size       128k;

        proxy_buffers           4 128k;

        proxy_busy_buffers_size 128k;

        proxy_temp_file_write_size 128k;

        proxy_cache cache;

        proxy_cache_valid 200 304 1h;

        proxy_cache_valid 404 1m;

        proxy_cache_key $uri$is_args$args;

        add_header  Nginx-Cache "$upstream_cache_status";

        proxy_pass http://backend;

    }

而通过curl或浏览器查看到的header如下：

HTTP/1.1 200 OK

Date: Mon, 22 Apr 2013 02:10:02 GMT

Server: nginx

Content-Type: image/jpeg

Content-Length: 23560

Last-Modified: Thu, 18 Apr 2013 11:05:43 GMT

Nginx-Cache: HIT

Accept-Ranges: bytes

Vary: User-Agent

$upstream_cache_status包含以下几种状态：

·MISS 未命中，请求被传送到后端

·HIT 缓存命中

·EXPIRED 缓存已经过期请求被传送到后端

·UPDATING 正在更新缓存，将使用旧的应答

·STALE 后端将得到过期的应答

二、nginx cache命中率统计

即然nginx为我们提供了$upstream_cache_status函数，自然可以将命中状态写入到日志中。具体可以如下定义日志格式：

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '

                  '$status $body_bytes_sent "$http_referer" '

                  '"$http_user_agent" "$http_x_forwarded_for"'

                  '"$upstream_cache_status"';

命中率统计方法：用HIT的数量除以日志总量得出缓存命中率：

awk '{if($NF==""HIT"") hit++} END {printf "%.2f%",hit/NR}' access.log

了解了原理以后，也可以通过crontab脚本将每天的命中率统计到一个日志中，以备查看。

# crontab -l

1 0 * * * /opt/shell/nginx_cache_hit >> /usr/local/nginx/logs/hit

访脚本的内容为：

#!/bin/bash

LOG_FILE='/usr/local/nginx/logs/access.log.1'

LAST_DAY=$(date +%F -d "-1 day")

awk '{if($NF==""HIT"") hit++} END {printf "'$LAST_DAY': %d %d %.2f%n", hit,NR,hit/NR}' $LOG_FILE

参考

http://www.361way.com/nginx-cache/2665.html