python实现将文件中的每一行文本记录,保存到MongoDB数据库,并防止重复插入

文本如下:

#日期 流水号 被浏览页面URL 第×页 访问者IP 访问时间 是否入口 操作系统 浏览器 语言 时区 屏幕分辨率 屏幕色彩位数 省份 城市 接入商 上网场所 是否安装ALEXA

2014-7-17  11452775496  http://www.imaibo.net/space/178120  1   59.41.23.101   2014-7-17 13:38:14   0   Windows XP Chrome 21.0.8
2014-7-17  11452775466  http://www.imaibo.net/space/24649  3  211.143.83.60  2014-7-17 13:38:13  0
2014-7-17  11452775362  http://www.imaibo.net/live/216945  4  119.130.98.225  2014-7-17 13:38:12  0
2014-7-17  11452775357  http://www.imaibo.net/space/170907  6  58.50.218.120  2014-7-17 13:38:12  0
2014-7-17  11452775291  http://www.imaibo.net/space/113374  1  14.158.204.146  2014-7-17 13:38:11  1  Windows XP Chrome 21.0.1180  zh-cn  8  1360×768  32  广东  广东省  电信  0 14 9

。。。

思路:

1.将每一个field对应的在BSON文档中的key先存储到一个列表中,如:

keyarray = ["date","swiftnum","url","page","ip","atime","is_inpoint","system","browser","locale","timezone",
"screen","colornum","province","city","aprovider","netcase","isalexa","ipheader","count","keyword","domain","incomeurl"]

2.从文件中读取文本数据,用for in循环遍历每一条文本记录,使用re模块的split方法,利用定义的pattern=r‘\t*’ 将每一行文本记录分解为的field组成的list

3.用一个for in循环对每一条记录的list遍历,将list中的值作为value,依次取出keyarray中的元素作为key,组成每一条文本记录对应的BSON文档,这样就实现了文本记录转换为BSON文档。

4.为了防止重复插入相同的记录,设计一个算法实现如下:

 a.找到可以唯一标识每条记录的key-value,(本例:swiftnum)

 b.在每次将每一条记录的BSON文档插入MongoDB中的同时,将对应的swiftnum的值写到一个文件swiftnums.txt中。

 c.在每次插入记录BSON文档之前先做判断,是否要插入的BSON文档的swiftnum的值not in在swiftnums.txt中,若是的话,则插入,反之则跳过。

代码如下:

import os,glob
import re,pymongo
#-----连接MongoDB-----
conn = pymongo.Connection("localhost",27017)
db = conn.flowcounter
flowlist = db.flowcollection

#要存储的文本
file = open("test.txt","r")

#用于存储每一条记录的swiftnum值,以防止重复插入
swiftnums = open("swiftnums.txt","r+")

#每条记录转成BSON文档时,每个域对应的key
keyarray = ["date","swiftnum","url","page","ip","atime","is_inpoint","system","browser","locale","timezone",
"screen","colornum","province","city","aprovider","netcase","isalexa","ipheader","count","keyword","domain","incomeurl"]
#分解文本记录用到的正则
pattern = r‘\t*‘
#包含数据库中已有的记录的swiftnum的list
swiftnum_list = swiftnums.read().split(",")
for line in file.readlines()[1:]:
i = 0
data = {}
li_list = re.split(pattern,line) #分解记录为list
for field in li_list:
data[keyarray[i]]=field #将记录转为BSON文档
i +=1
if data[‘swiftnum‘] not in swiftnum_list: #判断是否重复
flowlist.insert(data)
swiftnums.write(data[‘swiftnum‘]+",") #记录已有记录
swiftnums.close()

python实现将文件中的每一行文本记录,保存到MongoDB数据库,并防止重复插入,布布扣,bubuko.com

python实现将文件中的每一行文本记录,保存到MongoDB数据库,并防止重复插入

上一篇:数据库索引以及优化


下一篇:运用python抓取博客园首页的全部数据,并且定时持续抓取新发布的内容存入mongodb中