我试图将一些大文件(大约400万条记录)推送到一个mongo实例中.我基本上想要实现的是使用文件中的数据更新现有数据.该算法看起来像：

rowHeaders = ('orderId', 'manufacturer', 'itemWeight')
for row in dataFile:
    row = row.strip('\n').split('\t')
    row = dict(zip(rowHeaders, row))

    mongoRow = mongoCollection.find({'orderId': 12344})
    if mongoRow is not None:
        if mongoRow['itemWeight'] != row['itemWeight']:
            row['tsUpdated'] = time.time()
    else:
        row['tsUpdated'] = time.time()

    mongoCollection.update({'orderId': 12344}, row, upsert=True)

因此,如果权重相同,则更新除’tsUpdated’之外的整行,如果行不在mongo中则添加新行或更新包含’tsUpdated’的整行……这是算法

问题是：从mongo的角度来看,这可以更快,更容易,更有效吗？ (最终有某种批量插入)

解决方法:

将orderId上的唯一索引与更新查询相结合,您还可以检查itemWeight中的更改.如果orderId已存在且itemWeight相同,则唯一索引会阻止仅具有已修改时间戳的插入.

mongoCollection.ensure_index('orderId', unique=True)
mongoCollection.update({'orderId': row['orderId'],
    'itemWeight': {'$ne': row['itemWeight']}}, row, upsert=True)

我的基准测试显示您的算法性能提高了5-10倍(取决于插入量与更新量).