Pycharm开发Django项目生成CSV文件

生成CSV文件:
有时候我们做的网站,需要将一些数据,生成有一个CSV文件给浏览器,并且是作为附件的形式下载下来。以下将讲解如何生成CSV文件。

生成小的CSV文件:
这里将用一个生成小的CSV文件为例,来把生成CSV文件的技术要点讲到位。我们用Python内置的csv模块来处理csv文件,并且使用HttpResponse来将csv文件返回回去。示例代码如下:

import csv
from django.http import HttpResponse

def csv_view(request):
response = HttpResponse(content_type=‘text/csv’)
response[‘Content-Disposition’] = ‘attachment; filename=“somefilename.csv”’

writer = csv.writer(response)
writer.writerow(['username', 'age', 'height', 'weight'])
writer.writerow(['zhiliao', '18', '180', '110'])

return response

这里再来对每个部分的代码进行解释:

我们在初始化HttpResponse的时候,指定了Content-Type为text/csv,这将告诉浏览器,这是一个csv格式的文件而不是一个HTML格式的文件,如果用默认值,默认值就是html,那么浏览器将把csv格式的文件按照html格式输出,这肯定不是我们想要的。
第二个我们还在response中添加一个Content-Disposition头,这个东西是用来告诉浏览器该如何处理这个文件,我们给这个头的值设置为attachment;,那么浏览器将不会对这个文件进行显示,而是作为附件的形式下载,第二个filename="somefilename.csv"是用来指定这个csv文件的名字。
我们使用csv模块的writer方法,将相应的数据写入到response中。
将csv文件定义成模板:
我们还可以将csv格式的文件定义成模板,然后使用Django内置的模板系统,并给这个模板传入一个Context对象,这样模板系统就会根据传入的Context对象,生成具体的csv文件。示例代码如下:

模板文件:

{% for row in data %}"{{ row.0|addslashes }}", “{{ row.1|addslashes }}”, “{{ row.2|addslashes }}”, “{{ row.3|addslashes }}”, “{{ row.4|addslashes }}”
{% endfor %}
视图函数:

from django.http import HttpResponse
from django.template import loader, Context

def some_view(request):
response = HttpResponse(content_type=‘text/csv’)
response[‘Content-Disposition’] = ‘attachment; filename=“somefilename.csv”’

csv_data = (
    ('First row', 'Foo', 'Bar', 'Baz'),
    ('Second row', 'A', 'B', 'C', '"Testing"', "Here's a quote"),
)

t = loader.get_template('my_template_name.txt')
response.write(t.render({"data": csv_data}))
return response

生成大的CSV文件:
以上的例子是生成的一个小的csv文件,如果想要生成大型的csv文件,那么以上方式将有可能会发生超时的情况(服务器要生成一个大型csv文件,需要的时间可能会超过浏览器默认的超时时间)。这时候我们可以借助另外一个类,叫做StreamingHttpResponse对象,这个对象是将响应的数据作为一个流返回给客户端,而不是作为一个整体返回。示例代码如下:

class Echo:
“”"
定义一个可以执行写操作的类,以后调用csv.writer的时候,就会执行这个方法
“”"
def write(self, value):
return value

def large_csv(request):
rows = ([“Row {}”.format(idx), str(idx)] for idx in range(655360))
pseudo_buffer = Echo()
writer = csv.writer(pseudo_buffer)
response = StreamingHttpResponse((writer.writerow(row) for row in rows),content_type=“text/csv”)
response[‘Content-Disposition’] = ‘attachment; filename=“somefilename.csv”’
return response
这里我们构建了一个非常大的数据集rows,并且将其变成一个迭代器。然后因为StreamingHttpResponse的第一个参数只能是一个生成器,因此我们使用圆括号(writer.writerow(row) for row in rows),并且因为我们要写的文件是csv格式的文件,因此需要调用writer.writerow将row变成一个csv格式的字符串。而调用writer.writerow又需要一个中间的容器,因此这里我们定义了一个非常简单的类Echo,这个类只实现一个write方法,以后在执行csv.writer(pseudo_buffer)的时候,就会调用Echo.writer方法。
注意:StreamingHttpResponse会启动一个进程来和客户端保持长连接,所以会很消耗资源。所以如果不是特殊要求,尽量少用这种方法。

关于StreamingHttpResponse:
这个类是专门用来处理流数据的。使得在处理一些大型文件的时候,不会因为服务器处理时间过长而到时连接超时。这个类不是继承自HttpResponse,并且跟HttpResponse对比有以下几点区别:

这个类没有属性content,相反是streaming_content。
这个类的streaming_content必须是一个可以迭代的对象。
这个类没有write方法,如果给这个类的对象写入数据将会报错。
注意:StreamingHttpResponse会启动一个进程来和客户端保持长连接,所以会很消耗资源。所以如果不是特殊要求,尽量少用这种方法。

上一篇:dotnet高性能buffer


下一篇:out.write()VSout.print()