场景介绍

在使用Mongo这种非关系型数据库过程中，往往存储了海量的数据，这些数据的数据结构非常松散，数据类型比较复杂。对于从海量数据中提取或分析数据，需要遍历Mongo库的情况经常出现，这里介绍两种比较有效的方法，均在亿级别的生产库中，多次使用过。

方法一：利用时间戳

在存储的数据中，对时间戳字段，建立索引，如下方数据时间戳字段为update_time

 {
    "_id" : "6214627359000222889",
    "_class" : "com.alibaba.fastjson.JSONObject",
    "update_time" : ISODate("2018-07-05T14:26:42.018Z"),
    "idcard" : "342522199406220025",
    "gender" : "女",
    "age" : "24",
    "name" : "曹××"
}

这种方法遍历，我们需要一个起点时间，和结束时间，然后按照这个时间段进行扫库，亿级别的数据，不可能全部取出，可每次取出一定数量，比如1K条，排序后根据最后一条的时间戳，与结束时间根据你是逆序遍历，还是顺序遍历进行判断，如此循环，Demo如下。

   //顺序遍历，所以结束时间为当前时间
   Date endDate = new Date();
  //开始时间
   Date startDate = minDate;
   while(startDate < endDate ){
       Query query = new Query();
       query.addCriteria(Criteria.where("update_time").gt(startDate));
       //这里可以自己写一些查询条件

       //对时间的排序
       query.with(new Sort(new Sort.Order(Sort.Direction.ASC,"update_time")));
       query.limit(1000);
       List<JSONObject> list =  mongoTemplate.find(query,JSONObject.class,"collectionName");
       //将每次取出的最后时间，赋值，然后跟结束时间比较
       startDate = list.get(list.size()-1).getDate("update_time");
       //处理数据
       for(JSONObject json:list){
            
        }
    }
   

要点

• 必须拥有时间戳字段，且必须建立索引；
• 需要查出最大时间和最小时间；

这两个点，也是这种方法的缺点，有些库中时间戳字段没有建立索引，或者库中的有些数据也没有时间戳，或者时间戳错误，这些情况就没法使用这种方法扫库遍历。可以使用第二种方法。

方法二：Mongo 游标的使用（推荐）

Mongo的游标无论是功能还是使用的便捷上，都比MySQL强上许多，在MySQL中使用游标还需要PL/SQL编程，比较麻烦而Mongo却不用。Mongo中的游标可以实现根据条件查询和指定使用投影运算符返回匹配文档中的所有字段。并返回到匹配文档的游标，可以随意修改查询限制、跳跃、和排序顺序的功能。Demo如下

BasicDBObject query = new BasicDBObject();
//查询条件，比如年龄，性别之内的，比如筛选，性别男性，年龄30岁以下，20岁以上。
query.put("gender", "男");
query.put("age",new BasicDBObject().append("$gte",20).append("$lt",30));
DBCursor cursor = mongoTemplate.getCollection("collectionName").find(query);
//防止超时
cursor.addOption(Bytes.QUERYOPTION_NOTIMEOUT);
while (cursor.hasNext()) {
   //数据取出
   DBObject reuslt =  cursor.next();
}

使用cursor来进行遍历，cursor会每次取出一定的数据量，也已经对库中的数据进行了排序，在进行数据处理同时cursor一直都在进行遍历的操作，极大的增快了效率。

优点

相较于第一种根据时间戳来进行遍历的方法，使用游标的会比较方便，不用建立索引，不用考虑分页的操作。

备注

无论是哪种方法，在遍历跑批过程中最好记录一下当前遍历的位置，一旦程序出现异常中断，避免从头跑批。比如，使用时间戳来遍历，记录一下当前遍历到了数据的时间，程序异常中断时根据记录的时间来重新遍历，使用游标的时候，定义一个计数器，异常中断时，重启后，可以用skip从中断点开始。