Python之FTP多线程下载文件之分块多线程文件合并
欢迎大家阅读Python之FTP多线程下载系列之二：Python之FTP多线程下载文件之分块多线程文件合并，本系列的第一篇：Python之FTP多线程下载文件之多线程分块下载文件，主要讲述了Python中如何使用多线程对文件进行分块下载。
今天，我们接着上篇的思路，我们利用多线程对文件进行下载，待全部文件下载完成之后，我们需要对各个文件块进行合并，合并的过程比较简单：
1 def mergerFile(self, localFile, threadNumber):
2 """
3 Meger all the sub parts of the file into 1 file
4 another thread will be call to do this
5 """
6 try:
7 while 1:
8 subThread = threading.Thread(target = self.mergeFileExecutor, args = (localFile, threadNumber,))
9 subThread.start()
10 subThread.join()
11 if 1 == self.mergerFlag:
12 self.mergerFlag = 0
13 return False
14 # check if total size of part file equals to size of the whole file
15 localFileSize = os.path.getsize(localFile)
16 totalSize = 0
17 for i in range(0, threadNumber):
18 totalSize += os.path.getsize(localFile + '.part.' + str(i))
19 if localFileSize == totalSize:
20 break
21 return True
22 except Exception, diag:
23 self.recordLog(str(diag), 'error')
24 return False
其中的mergeFileExecutor函数如下：
1 def mergerFileExecutor(self, localFile, threadNumber):
2 try:
3 errorFlag = 0
4 fw = open(localFile, 'wb')
5 for i in range(0, threadNumber):
6 fname = localFile + '.part.' + str(i)
7 if not os.path.exists(fname):
8 errorFlag = 1
9 break
10 fr = open(fname, 'rb')
11 data = fr.read()
12 time.sleep(2)
13 fr.close()
14 fw.write(data)
15 fw.flush()
16 time.sleep(1)
17 fw.close()
18 if 1 == errorFlag:
19 # some part file is not available
20 self.mergerFlag = 1
21 except Exception, diag:
22 # error occr
23 self.mergerFlag = 1
24 self.recordLog(str(diag), 'error')
好了，我们分块下载到的文件已经被成功合并为一整个文件，当然为了保证文件的完整性，我们可以采用诸如md5sum等方式对文件进行验证，在此我采用了比较简单的比较文件大小的方式来验证文件的完整性，验证代码如下：
1 def checkSizeEqual(self, remoteFile, localFile):
2 '''
3 check the remote file size and the local file size.
4 if =, return true,
5 else, return false
6 '''
7 try:
8 remoteFileSize = self.ftp.size(remoteFile)
9 localFileSize = os.path.getsize(localFile)
10 if localFileSize == remoteFileSize:
11 return True
12 else:
13 return False
14 except Exception, diag:
15 print diag
好了，完成上述的准备工作，我们就可以进行FTP多线程文件下载的操作了，开始我们的main函数之旅吧！今天的内容就这些，在下一节，我将会给出main函数代码，并给出完整的FTP类的全部源代码下载，敬请关注！
感谢大家的阅读，希望能够帮到大家！