DJANGO技巧两则:模拟MKDIR -P及配合NGINX上传大文件不使超时

这都是在开发当哪遇到的问题,网上转转,作个记录:

http://blog.chinaunix.net/uid-25525723-id-1596574.html

http://bookshadow.com/weblog/2014/10/02/python-mkdir-p/

 

DJANGO技巧两则:模拟MKDIR -P及配合NGINX上传大文件不使超时
def mkdir_p(path):
    try:
        os.makedirs(path)
    except OSError as exc:  # Python >2.5 (except OSError, exc: for Python <2.5)
        if exc.errno == errno.EEXIST and os.path.isdir(path):
            pass
        else:
            raise
DJANGO技巧两则:模拟MKDIR -P及配合NGINX上传大文件不使超时
我的配置是:nginx+uwsgi+django来上传的。
配置文件修改成如下:
  1. server {
  2.         listen 8080;
  3.         client_header_buffer_size 40890k;
  4.         client_max_body_size 500m;
  5.         client_body_buffer_size 80240k;
  6.         location / {
  7.             uwsgi_pass 127.0.0.1:10000;
  8.             include uwsgi_params;
  9.             proxy_send_timeout 300;
  10.             proxy_read_timeout 300;
  11.             proxy_buffer_size 512k;
  12.             proxy_buffers 64 128k;
  13.             proxy_busy_buffers_size 1024k;
  14.             proxy_temp_file_write_size 512k;
  15.             proxy_connect_timeout 30s;
  16.             access_log off;
  17.         }
  18.         location ^~ /site_media {
  19.                 root /home/xxxxxx/xxxxxx;
  20.         }
  21.         location ~* ^.+\.(mpg|avi|mp3|swf|zip|tgz|gz|rar|bz2|doc|xls|exe|ppt|txt|tar|mid|midi|wav|rtf|mpeg)$ {
  22.             root /xxx/xxx/xxxxx/site_media;
  23.             expires 30d;
  24.             access_log off;
  25.         }
  26. }
要将proxy的这几个参数调整到比较大一些就行!要不然就会buffer不够用了。
 
 
附这几个参数的说明:
proxy_buffer_size

default: proxy_buffer_size 4k/8k

context: http, server, location

该指令设置缓冲区大小,从代理后端服务器取得的第一部分的响应内容,会放到这里.

小的响应header通常位于这部分响应内容里边.

默认来说,该缓冲区大小等于指令 proxy_buffers所设置的;但是,你可以把它设置得更小.
 
proxy_buffering 

syntax: proxy_buffering on|off

default: proxy_buffering on

context: http, server, location

该指令开启从后端被代理服务器的响应内容缓冲.

如果缓冲区开启,nginx假定被代理的后端服务器会以最快速度响应,并把内容保存在由指令proxy_buffer_size 和 proxy_buffers指定的缓冲区里边.

如果响应内容无法放在内存里边,那么部分内容会被写到磁盘上.

如果缓冲区被关闭了,那么响应内容会按照获取内容的多少立刻同步传送到客户端

nginx不尝试计算被代理服务器整个响应内容的大小,nginx能从服务器接受的最大数据,是由指令proxy_buffer_size指定的.

对于基于长轮询(long-polling)的Comet 应用来说,关闭 proxy_buffering 是重要的,不然异步响应将被缓存导致Comet无法工作 

 
proxy_buffers

语法: proxy_buffers the_number is_size;

默认值: proxy_buffers 8 4k/8k;

上下文: http, server, location

该指令设置缓冲区的大小和数量,从被代理的后端服务器取得的响应内容,会放置到这里. 默认情况下,一个缓冲区的大小等于内存页面大小,可能是4K也可能是8K,这取决于平台
 
proxy_connect_timeout
上下文: http, server, location 该参数定义了跟代理服务器连接的超时时间,必须留意这个time out时间不能超过75秒. 这并不是服务器开始返回页面的时间(这是proxy_read_timeout的定义).如果upstream服务器在线,但是挂死(比如,它暂时没有足够的进程去处理你的请求,先放在连接池里边等待处理),这时这个参数无法帮助你,因为跟服务器的连接已经建立了. 
 
proxy_max_temp_file_size

语法: proxy_max_temp_file_size size;

默认值: proxy_max_temp_file_size 1G;

上下文: http, server, location, if

Available since: 0.1.8

TODO: Description.
上一篇:linux命令行界面转换xls到csv


下一篇:[Android]RapidFloatingActionButton框架正式出炉