一直对下载文件比较感兴趣。前些日子无意搜到google 推出一项服务，可以直接将文件下载到google drive中，原型猛戳这里，但有限额限制。一时脑洞大开，可不可以在appengine 上架设服务利用google来下载文件呢。（你折腾不折腾，上google dirve还要用*，然后还要从google drive上下载，是不是有病，答：我愿意，不折腾就会死）以下是研究结果:
在appengine下申请appid 什么的我就不说了，就从前期的设置权限说起吧。
假设你已经建立了appid为abcd的app，通过这进入总控台，(总控台的最近有些变化，以下我按新版的界面说。)点abcd进入abcd的项目设置。点左侧的“api&auth”下的“API”进入，打开drive api ,注意一定要是drive api 而不是cloud storage api。我在这里走一些弯路，关键是cloud storage api是付费的。
下一步取得OATH key。点左侧的“api&auth”下的“credential”，点“Oath”下的“creat new client ID”在页面中选“web aplication ”,在 "authorized javascript origins" 下填好你的appengine 的域名，一般是
http://apiid .appspot.com （注意是http 而不是https）这里appid 是"abcd"。填好这个后下面的“authorized redirect URI”也能自动填好。然后单击“create client ID”就生成了新的client id 。返回到“credential”页面后就可以看到新生成的client ID。单击下面的download json以.json文件的形式下载刚才生产的client ID ,一般文件名是“client_secrets.json”
上面这些事做得很麻烦，也可以让google替你做，这里的最下方，select an api 选 drive api , select a platform 选 google app engine 然后点“configure project ”选择你要设置的app id ，再“continue”,就设置完成了，点“Download the starter application” 下载下来的框架修改下就可以完成预计任务了。注意这里的client_secrets.json是本地的文件，用于在本地模拟，一定要替换成上面设置的。也就是“Client ID for web application”
修改框架中的文件，用你的client_secrets.json替换原有的文件。
修改main.html为
<html>
<head>
<title>Upload file to Google Drive from url Demo</title>
</head>
<body> {% if has_credentials %}
<form name="input" action="/upload" method="post">
Url:
<input type="text" name="urls" style="width: 350px; height: 60px;">
<input type="submit" value="Upload">
</form>
{% else %}
<p>
You should follow the link below and grant this application permission to access your data using the Drive API.
</p>
<blockquote>
<a href="{{ url }}">{{ url }}</a>
</blockquote>
{% endif %}
</body>
</html>
html很丑大家轻拍。
然后修改main.py主要是处理“/”的mainhandler，和处理“/upload”的uploadhandler
class MainHandler(webapp2.RequestHandler):
@decorator.oauth_required
def get(self):
variables = {
'url': decorator.authorize_url(),
'has_credentials': decorator.has_credentials()
}
template = JINJA_ENVIRONMENT.get_template('main.html')
self.response.write(template.render(variables))
class UploadHandler(webapp2.RequestHandler):
@decorator.oauth_required
def post(self):
url = cgi.escape(self.request.get('urls'))
parse = urlparse(url)
path = parse.path
filename = path.split('/')[-1]
headers = {}
deadline = 5
for i in range(0, 10):
try:
response = urlfetch.fetch(url, headers=headers, deadline=deadline)
break
except apiproxy_errors.OverQuotaError:
response = None
time.sleep(4)
except urlfetch.DeadlineExceededError:
logging.error('DeadlineExceededError(deadline=%s, url=%r)', deadline, url)
response = None
time.sleep(1)
except urlfetch.DownloadError:
logging.error('DownloadError(deadline=%s, url=%r)', deadline, url)
response = None
time.sleep(1)
except urlfetch.InvalidURLError as e:
logging.error('Invalid URL: %s' % e)
response = None
except urlfetch.ResponseTooLargeError as e:
response = e.response
logging.error('ResponseTooLargeError(deadline=%s, url=%r) response(%r)', deadline, url, response)
m = re.search(r'=\s*(\d+)-', headers.get('Range') or headers.get('range') or '')
if m is None:
headers['Range'] = 'bytes=0-%d' % URLFETCH_MAXSIZE
else:
headers.pop('Range', '')
headers.pop('range', '')
start = int(m.group(1))
headers['Range'] = 'bytes=%s-%d' % (start, start+URLFETCH_MAXSIZE)
deadline = URLFETCH_TIMEOUT * 2
except Exception as e:
logging.error('Exception %s(deadline=%s)' % (e, deadline))
response = None
if response:
data = io.BytesIO(response.content)
filemimetype = response.headers.get('Content-Type', 'application/octet-stream')
media = MediaIoBaseUpload(data, mimetype=filemimetype, chunksize=1024*1024, resumable=True)
body = {'title': filename, 'mimeType': filemimetype}
try:
end = service.files().insert(body=body, media_body=media, convert=False).execute(http=decorator.http())
except errors.HttpError as error:
logging.error('An error occured: %s' % error)
end = None
self.response.write("<p>download %s success.</p>" % url)
self.response.write(end)
else:
self.response.write("<p>download %s failed.</p>" % url)
mainhandler比较简单主要是获取授权。uploader是主要的下载和上传程序。下载通过urlfetch完成，其他的代码主要处理各种exception，上传分两步一是通过mediaiobase上传，上传前先转换为iobase，二是执行file insert。其余的还是exception处理。
问题是不知道为什么上传的文件的mimetype总是设置为"application/msword"，有哪位大牛来帮忙解决下