从身份证号码中获取性别、出生日期、籍贯,并更新mongodb

  有这样的需求,人员信息是存在mongodb中,需要存放人员的身份证、性别、出生日期、籍贯等信息。通过脚本导入这些信息,但是只导入了身份证号码,其他信息空缺。现在需要补全其他信息。

  其实身份证信息就包含了性别、出生日期、籍贯信息。公民身份号码是特征组合码,由前十七位数字本体码和最后一位数字校验码组成。排列顺序从左至右依次为六位数字地址码,八位数字出生日期码,三位数字顺序码和一位数字校验码

  地址码: 表示编码对象常住户口所在县(市、旗、区)的行政区划代码。

  出生日期码:表示编码对象出生的年、月、日,年、月、日代码之间不用分隔符,格式为YYYYMMDD,如19880328。

  顺序码: 表示在同一地址码所标识的区域范围内,对同年、同月、同日出生的人编定的顺序号,顺序码的奇数分配给男性,偶数分配给女性。

  校验码: 根据本体码,通过采用ISO 7064:1983,MOD 11-2校验码系统计算出校验码。前面有提到数字校验码,我们知道校验码也有X的,实质上为罗马字符X,相当于10.

  实现思路很简单了,就是得到所有有身份证号码等纪录,解析身份证号码,获取性别、出生日期、籍贯信息,再更新mongodb。

想到了两种技术方案解决:python脚本和JavaScript。

1、python脚本

  python需要使用pymongo,用于操作mongodb,需要引入。python代码直接在终端执行就行。python test.py

 # encoding=utf-8

 '''
Created on 2017年12月22日
mongodb中存放人像信息,有身份证号码,无性别、籍贯、出生日期,需要根据mongodb中身份证字段,获取性别、籍贯、出生日期,更新到mongodb中 @author: tim
''' import re
from pymongo import MongoClient #需要引入pymongo,用于连接mongodb
from datetime import datetime logPath = "/Users/tim/updatemongo/log/log.txt" #日志 #身份证前两位代表的省市,作为籍贯
area = {"":"北京", "":"天津", "":"河北", "":"山西", "":"内蒙古", "":"辽宁", "":"吉林", "":"黑龙江", "":"上海", "":"江苏", "":"浙江", "":"安徽", "":"福建", "":"江西", "":"山东", "":"河南", "":"湖北", "":"湖南", "":"广东", "":"广西", "":"海南", "":"重庆", "":"四川", "":"贵州", "":"云南", "":"*", "":"陕西", "":"甘肃", "":"青海", "":"宁夏", "":"*", "":"*", "":"香港", "":"澳门", "":"国外"} # 身份证有效性校验
def checkIdcard(idcard):
Messages = ['验证通过!', '身份证号码位数不对!', '身份证号码出生日期超出范围或含有非法字符!', '身份证号码校验错误!', '身份证地区非法!'] idcard = str(idcard) #身份证号码转成字符串
idcard = idcard.strip() #移除字符串头尾指定的字符(默认为空格)
idcard_list = list(idcard) #转成列表 # 地区校验
if(not area[(idcard)[0:2]]):
return Messages[4] # 15位身份号码检测
if(len(idcard) == 15):
if((int(idcard[6:8]) + 1900) % 4 == 0 or((int(idcard[6:8]) + 1900) % 100 == 0 and (int(idcard[6:8]) + 1900) % 4 == 0)):
ereg = re.compile('[1-9][0-9]{5}[0-9]{2}((01|03|05|07|08|10|12)(0[1-9]|[1-2][0-9]|3[0-1])|(04|06|09|11)(0[1-9]|[1-2][0-9]|30)|02(0[1-9]|[1-2][0-9]))[0-9]{3}$')
else:
ereg = re.compile('[1-9][0-9]{5}[0-9]{2}((01|03|05|07|08|10|12)(0[1-9]|[1-2][0-9]|3[0-1])|(04|06|09|11)(0[1-9]|[1-2][0-9]|30)|02(0[1-9]|1[0-9]|2[0-8]))[0-9]{3}$') # 测试出生日期的合法性
if(re.match(ereg, idcard)):
return Messages[0]
else:
return Messages[2] # 18位身份号码检测
elif(len(idcard) == 18):
# 出生日期的合法性检查
# 闰年月日:((01|03|05|07|08|10|12)(0[1-9]|[1-2][0-9]|3[0-1])|(04|06|09|11)(0[1-9]|[1-2][0-9]|30)|02(0[1-9]|[1-2][0-9]))
# 平年月日:((01|03|05|07|08|10|12)(0[1-9]|[1-2][0-9]|3[0-1])|(04|06|09|11)(0[1-9]|[1-2][0-9]|30)|02(0[1-9]|1[0-9]|2[0-8]))
if(int(idcard[6:10]) % 4 == 0 or (int(idcard[6:10]) % 100 == 0 and int(idcard[6:10]) % 4 == 0)):
ereg = re.compile('[1-9][0-9]{5}19[0-9]{2}((01|03|05|07|08|10|12)(0[1-9]|[1-2][0-9]|3[0-1])|(04|06|09|11)(0[1-9]|[1-2][0-9]|30)|02(0[1-9]|[1-2][0-9]))[0-9]{3}[0-9Xx]$') # //闰年出生日期的合法性正则表达式
else:
ereg = re.compile('[1-9][0-9]{5}19[0-9]{2}((01|03|05|07|08|10|12)(0[1-9]|[1-2][0-9]|3[0-1])|(04|06|09|11)(0[1-9]|[1-2][0-9]|30)|02(0[1-9]|1[0-9]|2[0-8]))[0-9]{3}[0-9Xx]$') # //平年出生日期的合法性正则表达式 # 测试出生日期的合法性
if(re.match(ereg, idcard)):
# 计算校验位
S = (int(idcard_list[0]) + int(idcard_list[10])) * 7 + (int(idcard_list[1]) + int(idcard_list[11])) * 9 + (int(idcard_list[2]) + int(idcard_list[12])) * 10 + (int(idcard_list[3]) + int(idcard_list[13])) * 5 + (int(idcard_list[4]) + int(idcard_list[14])) * 8 + (int(idcard_list[5]) + int(idcard_list[15])) * 4 + (int(idcard_list[6]) + int(idcard_list[16])) * 2 + int(idcard_list[7]) * 1 + int(idcard_list[8]) * 6 + int(idcard_list[9]) * 3
Y = S % 11
M = "F"
JYM = "10X98765432"
M = JYM[Y] # 判断校验位
if(M == idcard_list[17]): # 检测ID的校验位
return Messages[0]
else:
return Messages[3]
else:
return Messages[2]
else:
return Messages[1] # 获取身份证信息
def getIdInfo(idcard):
checkresult = checkIdcard(idcard)
if checkresult == '验证通过!':
idcard = str(idcard)
idcard = idcard.strip()
ID_address = (idcard)[0:2] # 前两位是籍贯
ID_sex = idcard[14:17] # 14位之后表示性别 if(len(idcard) == 15):
ID_birth = '' + idcard[6:12] # 获取15位身份证出生年月日,补全19
else:
ID_birth = idcard[6:14] # 获取18位身份证出生年月日 strAddress = area[ID_address] # 籍贯
strGender = 'male' # 性别 year = ID_birth[0:4]
moon = ID_birth[4:6]
day = ID_birth[6:8]
strBirthDate = year + '-' + moon + '-' + day # 出生日期 if int(ID_sex) % 2 == 0:
strGender = 'female'
else:
strGender = 'male' # print '籍贯', strAddress
# print '性别', strGender
# print '出生日期', strBirthDate idInfo = [strAddress, strGender, strBirthDate] return idInfo
else:
writeLog("异常:"+idcard+checkresult) print idcard, checkresult
return 0; # 读取mongodb身份证信息,更新mongodb
# serverIp mongodb服务器IP
# port mongodb服务器端口
# dbName 要连接的数据库名称
# collectionName 数据库集合名称
def updateMongoInfo(serverIp, port, dbName, collectionName):
client = MongoClient(serverIp, port) # 连接mongodb数据库
db = client[dbName] # 指定数据库名称
collection = db[collectionName] # 获取集合名 log = open(logPath, 'a')
log.writelines([datetime.now().strftime('%Y-%m-%d %H:%M:%S'), ",开始更新……", "\n"])
print datetime.now().strftime('%Y-%m-%d %H:%M:%S'), ",开始更新……", "\n" # 查找身份证号码不为空的记录,才执行
for i in collection.find({'id_card':{"$ne":""}}):
result = getIdInfo(i['id_card'])
if(result != 0):
log.writelines([datetime.now().strftime('%Y-%m-%d %H:%M:%S'), ",更新,", i['idcard'], result[0], result[1], result[2], "\n"])
print i['id_card'], result
collection.update({"id_card":i['id_card']}, {"$set":{"address":result[0], "gender":result[1], "birth_date":result[2]}}) log.writelines([datetime.now().strftime('%Y-%m-%d %H:%M:%S'), ",更新结束……", "\n"])
log.close()
print datetime.now().strftime('%Y-%m-%d %H:%M:%S'), ",更新结束……", "\n" # 写日志
def writeLog(content):
with open(logPath, 'w+') as log:
log.writelines([datetime.now().strftime('%Y-%m-%d %H:%M:%S'), " ", content, "\n"]) # 入口函数
def start(logPath,serverIp, port, dbName, collectionName):
logPath=logPath
updateMongoInfo(serverIp, port, dbName, collectionName) # 测试
start('/Users/tim/updatemongo/log/log.txt','127.0.0.1', 27017, 'tim', 'person')

2、javascript代码

  mongodb是支持Javascript代码的,见我的另一篇博客:Mongodb常用操作

 //----------------------------------------------------------
// 功能:检查身份证号码
// 参数:idcard
// 返回值:检验信息
//----------------------------------------------------------
function checkIdCard(idcard){
  var Errors=new Array(
    "验证通过!",
    "身份证号码位数不对!",
    "身份证号码出生日期超出范围或含有非法字符!",
    "身份证号码校验错误!",
    "身份证地区非法!"
  );   var area={11:"北京",12:"天津",13:"河北",14:"山西",15:"内蒙古",21:"辽宁",22:"吉林",23:"黑龙江",
      31:"上海",32:"江苏",33:"浙江",34:"安徽",35:"福建",36:"江西",37:"山东",
      41:"河南",42:"湖北",43:"湖南",44:"广东",45:"广西",46:"海南",50:"重庆",51:"四川",52:"贵州",53:"云南",54:"*",
      61:"陕西",62:"甘肃",63:"青海",64:"宁夏",65:"*",71:"*",81:"香港",82:"澳门",91:"国外"};   var idcard,Y,JYM;
  var S,M;
  var idcard_array = new Array();
  idcard_array = idcard.split("");
  //地区检验
  if(area[parseInt(idcard.substr(0,2))]==null) return Errors[4];
  //身份号码位数及格式检验
  switch(idcard.length){
    case 15:
      if ( (parseInt(idcard.substr(6,2))+1900) % 4 == 0 || ((parseInt(idcard.substr(6,2))+1900) % 100 == 0 &&
          (parseInt(idcard.substr(6,2))+1900) % 4 == 0 )){
        ereg=/^[1-9][0-9]{5}[0-9]{2}((01|03|05|07|08|10|12)(0[1-9]|[1-2][0-9]|3[0-1])|(04|06|09|11)(0[1-9]|[1-2][0-9]|30)|02(0[1-9]|[1-2][0-9]))[0-9]{3}$/;//测试出生日期的合法性
      } else {
        ereg=/^[1-9][0-9]{5}[0-9]{2}((01|03|05|07|08|10|12)(0[1-9]|[1-2][0-9]|3[0-1])|(04|06|09|11)(0[1-9]|[1-2][0-9]|30)|02(0[1-9]|1[0-9]|2[0-8]))[0-9]{3}$/;//测试出生日期的合法性
      }
      if(ereg.test(idcard)) return Errors[0];
      else return Errors[2];       break;
    case 18:
  //18位身份号码检测
  //出生日期的合法性检查
  //闰年月日:((01|03|05|07|08|10|12)(0[1-9]|[1-2][0-9]|3[0-1])|(04|06|09|11)(0[1-9]|[1-2][0-9]|30)|02(0[1-9]|[1-2][0-9]))
  //平年月日:((01|03|05|07|08|10|12)(0[1-9]|[1-2][0-9]|3[0-1])|(04|06|09|11)(0[1-9]|[1-2][0-9]|30)|02(0[1-9]|1[0-9]|2[0-8]))
      if ( parseInt(idcard.substr(6,4)) % 4 == 0 || (parseInt(idcard.substr(6,4)) % 100 == 0 &&
          parseInt(idcard.substr(6,4))%4 == 0 )){
        ereg=/^[1-9][0-9]{5}19[0-9]{2}((01|03|05|07|08|10|12)(0[1-9]|[1-2][0-9]|3[0-1])|(04|06|09|11)(0[1-9]|[1-2][0-9]|30)|02(0[1-9]|[1-2][0-9]))[0-9]{3}[0-9Xx]$/;//闰年出生日期的合法性正则表达式
      } else {
        ereg=/^[1-9][0-9]{5}19[0-9]{2}((01|03|05|07|08|10|12)(0[1-9]|[1-2][0-9]|3[0-1])|(04|06|09|11)(0[1-9]|[1-2][0-9]|30)|02(0[1-9]|1[0-9]|2[0-8]))[0-9]{3}[0-9Xx]$/;//平年出生日期的合法性正则表达式
      }
      if(ereg.test(idcard)){//测试出生日期的合法性
      //计算校验位
      S = (parseInt(idcard_array[0]) + parseInt(idcard_array[10])) * 7
        + (parseInt(idcard_array[1]) + parseInt(idcard_array[11])) * 9
        + (parseInt(idcard_array[2]) + parseInt(idcard_array[12])) * 10
        + (parseInt(idcard_array[3]) + parseInt(idcard_array[13])) * 5
        + (parseInt(idcard_array[4]) + parseInt(idcard_array[14])) * 8
        + (parseInt(idcard_array[5]) + parseInt(idcard_array[15])) * 4
        + (parseInt(idcard_array[6]) + parseInt(idcard_array[16])) * 2
        + parseInt(idcard_array[7]) * 1
        + parseInt(idcard_array[8]) * 6
        + parseInt(idcard_array[9]) * 3 ;
        Y = S % 11;
        M = "F";
        JYM = "10X98765432";
        M = JYM.substr(Y,1);//判断校验位
      if(M == idcard_array[17]) return Errors[0]; //检测ID的校验位
      else return Errors[3];
    }
    else return Errors[2];
    break;
    default:
    return Errors[1];
    break;
  } } //----------------------------------------------------------
// 功能:根据身份证号获得出生日期
// 参数:身份证号 psidno
// 返回值:出生日期
//----------------------------------------------------------
function getBirthday(psidno){
var birthdayno,birthdaytemp;
if(psidno.length==18){
birthdayno=psidno.substring(6,14);
}else if(psidno.length==15){
birthdaytemp=psidno.substring(6,12);
birthdayno="19"+birthdaytemp;
}else{
print("错误的身份证号码,请核对!");
return false;
} var birthday=birthdayno.substring(0,4)+"-"+birthdayno.substring(4,6)+"-"+birthdayno.substring(6,8);
return birthday;
} //----------------------------------------------------------
// 功能:根据身份证号获得性别
// 参数:身份证号 psidno
// 返回值:性别
//----------------------------------------------------------
function getGender(psidno){
var sexno,sex;
if(psidno.length==18){
sexno=psidno.substring(16,17);
}else if(psidno.length==15){
sexno=psidno.substring(14,15);
}else{
print(psidno+"错误的身份证号码,请核对!");
return false;
}
var tempid=sexno%2;
if(tempid==0){
sex='female';
}else{
sex='male';
} return sex;
} //----------------------------------------------------------
// 功能:获取籍贯
// 参数:身份证号 psidno
// 返回值:籍贯
function getProvinceNameByIdNo(idcard) {
var area = { 11: "北京", 12: "天津", 13: "河北", 14: "山西", 15: "内蒙古",
21: "辽宁", 22: "吉林", 23: "黑龙江", 31: "上海", 32: "江苏",
33: "浙江", 34: "安徽", 35: "福建", 36: "江西", 37: "山东", 41: "河南", 42: "湖北",
43: "湖南", 44: "广东", 45: "广西",
46: "海南", 50: "重庆", 51: "四川", 52: "贵州", 53: "云南", 54: "*", 61: "陕西",
62: "甘肃", 63: "青海", 64: "宁夏",
65: "*", 71: "*", 81: "香港", 82: "澳门", 91: "国外"
}; var provinceName = "";
var provinceNo = idcard.substr(0, 2);
if (area[parseInt(provinceNo)] != null) {
provinceName = area[parseInt(provinceNo)];
} return provinceName;
} //去掉空格
function trim(s) {
return s.replace(/^\s+|\s+$/g, "");
} //入口函数
//查询mongodb,根据身份证号码,先检验身份证,再提取性别、出生日期、籍贯,再更新mongodb
function start(collectionName){
var cursor = db.getCollection(collectionName).find({'id_card':{'$ne':''}});//查询身份证号码不为空的集合
while (cursor.hasNext()) {
var strCardId=cursor.next()["id_card"];
var card_id=trim(strCardId);//去掉空格后 if (card_id.length > 0) {
var checkResult=checkIdCard(card_id);
if (checkResult!='验证通过!') {
print(strCardId+checkResult);
continue;
}
else {
var birthday = getBirthday(card_id);
var provinceName = getProvinceNameByIdNo(card_id);
var gender=getGender(card_id);
print(strCardId+":"+birthday+","+provinceName+","+gender); //更新mongodb
//这里的id_card使用原始的,避免原始的身份证号码带空格,update找不到记录
db.getCollection(collectionName).updateMany({"id_card":strCardId}, {"$set":{"address":provinceName, "gender":gender, "birth_date":birthday}});
}
}
}
} //入口,传入集合名称
start('person');
上一篇:Luogu P2056 [ZJOI2007]捉迷藏


下一篇:Java之集合(十三)WeakHashMap