at coderead.mybatis.log.JdbcCommonCollects$PreparedStatementHandler.invoke(JdbcCommonCollects.java:118)
… 21 more
Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Column ‘update_time’ specified twice
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
at com.mysql.jdbc.Util.handleNewInst
《一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》
【docs.qq.com/doc/DSmxTbFJ1cmN1R2dB】 完整内容开源分享
ance(Util.java:425)
复现问题
====
这个问题简单的来说就是SQL中的字段发生了重复, Column ‘update_time’ specified twice。其实不止update_time字段发生了重复,是很多字段都发生了重复。因为这个接口除了并发高一点之外,和其他的接口没有什么特别之处!突然我脑子里灵光一闪,难道是这个接口并发较高,导致框架在生成INSERT类型的SQL发生了错误???要是这样的话,我直接创造一个这样的场景不就可以实现了嘛!然后我写下了下面的代码:
public void test(){
for (int i = 0; i < 1000; i++) {
ExceptionLogEntity exceptionLogEntity = new ExceptionLogEntity();
exceptionLogEntity.setXX("");
exceptionLogEntity.setXXX("");
exceptionLogEntity.setIp("");
exceptionLogEntity.setUrl("");
exceptionLogEntity.setBusinessScene("");
exceptionLogEntity.setExceptionType("");
exceptionLogEntity.setExceptionDetailType("");
exceptionLogEntity.setExceptionMessage("");
exceptionLogEntity.setNoticeStatus("");
exceptionLogEntity.setCreateTime(new Date());
exceptionLogEntity.setUpdateTime(new Date());
Thread thread = new Thread(() -> {
exceptionLogDao.insert(exceptionLogEntity);
});
thread.start();
}
}
代码写完直接重启项目,最后一触发上面的代码。果然,同样的错误又出现了。这里我先介绍下使用的ORM框架:
此ORM框架是集团O2O研发中心研发的基础组件,提供同Mybatis一样的功能:只需定义接口,无需写实现类。此外,对单表操作还封装了一套常用的增删改查处理,连接口也无需再定义,对开发人员非常友好,大大降低了冗长的jdbc操作代码量,提升了开发效率。
我问了问旁边的同事,在使用公司的ORM框架自带的INSERT方法时,有没有遇到SQL列重复的问题吗?嘿你还别说,大家异口同声说遇到过。那厉害了,看来这真的不是个别现象,真的是框架的bug。于是乎我花了一点时间来找找看到底是在哪个地方出现了问题,皇天不负有心人我还真的找到了,具体的代码如下:
public List getDalColumnsWithoutId() {
if (this.columnsWithoutId != null) {
return this.columnsWithoutId;
} else {
this.columnsWithoutId = new ArrayList(this.dalColumns.size() - 1);
Iterator var1 = this.dalColumns.iterator();
while(var1.hasNext()) {
DalColumn column = (DalColumn)var1.next();
if (!column.isIdColumn()) {
this.columnsWithoutId.add(column);
}
}
return this.columnsWithoutId;
}
}
问题就出在 columnsWithoutId 上,它的类型是 List ,是所在类的一个属性默认为null,保存的是一个表除主键ID之外的所有字段。上面的代码在单线程情况下没有问题,但是在多线程的情况下就问题大了。 columnsWithoutId 在多线程情况下就是一个 线程共享变量 ,假设在某个时机有多个线程恰好执行到 if 代码块,发现 columnsWithoutId 的值为null,则就会同时执行 else代码块,那这时就会执行多次循环,自然 columnsWithoutId 中的字段就会出现了重复。
解决问题
====
这个问题已经找到,那接下来就差一个解决方案了。
官方修复
====
我当时想既然这个框架是公司研发中心提供的基础组件,那就是说明在公司内部会有很多项目组使用,问题说不定早就被修复了。你还别说在公司的wiki上我还真的找到了,有位负责这个组件的大佬在wiki上分享了”单表插入偶发列重复问题定位与解决”的文章。(文章地址我就不发了,公司内部地址发出来你们也访问不了)文章里详细的描述了问题发生的场景(和我上面描述的差不多)、问题定位过程还有解决方案。摘选文章上的解决方案:
明确了是线程安全的问题,解决方案就好确定了,解决线程安全有三种方案:
方案一:互斥同步——synchronized,ReentrantLock
方案二:非阻塞同步——CAS
方案三:无同步方案:——ThreadLocal
结合业务场景,综合分析,最终确认使用方案一,采用synchronized关键字,使用双重检查锁的方式解决此问题。
大佬已经将bug修复并发布了新版本到Maven仓库,项目中有发生上述问题的,直接升级对应的组件版本即可。既然官方已经给出了解决方案,我直接升级项目中的组件版本号就行了。结果我一更换项目中的版本,我的项目就再也没有启动起来。研究发现,组件版本相差太多,很多依赖发生了冲突。我项目中使用的是 1.1.6-RELEASE ,问题官方在版本 2.1.0-RELEASE 中修复。这组件版本差距太大贸然升级肯定是有很大的风险了,于是我放弃了!
另辟蹊径解决
======
既然你自带的插入方法有问题,我直接自定义一个插入方法不就得了。惹不起我还躲不起么!我最后又问了同事们最后都是怎么解决的,大家也都说是自定义SQL,而且都不再用框架自带的方法了,大家都很聪明呀!(其实这个还有后续,后面有一期开发过程中,需要用到批量插入的功能,我又偷懒用了框架自带的batch方法,又把我给坑了。从那之后,我再也没有用自带的方法了……)
问题2
===
我在排查上面的问题的时候,在框架里面看到了下面的代码:
private Number execute4PrimaryKey(String sqlId, Map<String, Object> paramMap, KeyHolder keyHolder) {
long startTimestamp = System.currentTimeMillis();
String sql = null;
Object var8;
try {
MappedStatement mappedStatement = this.configuration.getMappedStatement(sqlId, true);
mappedStmtThreadLocal.set(mappedStatement);
sql = mappedStatement.getBoundSql(paramMap);
int result = false;
int result;
if (keyHolder != null) {
this.execution.update(sql, new MapSqlParameterSource(DalUtils.mapIfNull(paramMap)), keyHolder);
result = keyHolder.getKey() == null ? 0 : keyHolder.getKey().intValue();
} else {
result = this.execution.update(sql, DalUtils.mapIfNull(paramMap));
}
Integer var9 = result;
return var9;
} catch (Exception var13) {
this.throwException(var13);
var8 = null;
} finally {
mappedStmtThreadLocal.remove();
logger.debug("{} method:{}, sql:{}, param:{}", new Object[]{this.logPrefix, “execute”, sql, paramMap});
this.logProfileLongTimeRunningSql(startTimestamp, sql, paramMap);
}
return (Number)var8;
}
大家仔细看看,这上面的代码有个不容易发现的问题。问题是这样的,我们系统中表的主键类型定义的都是 bigint ,这个类型对应的是Java中的 Long 类型,说到这大家明白了么?对了,就是数据溢出的问题。
复现问题
====
我将表中的主键自增量设置为Java Int类型的最大值+1,也就是2147483648。然后数据库再新增一条记录,此时表中记录的主键是2147483648,但Java实体中的主键ID已经是个负数-2147483648了。
使用Long类型时,要注意JavaScript接收后端Long类型数据精度丢失问题
解决问题
====
这个问题还真不好另辟蹊径了,只能后面出现类似的问题,升级ORM框架的版本了。
问题3
===
其实这个问题我应该在看那篇内部文章的时候就应该发现的,但我当时就是没有看出来!此时的我留下了没有技术的泪水。对于问题1,当时那位大佬最终采用 synchronized 进行加锁解决多线程情况下共享变量读写问题,具体代码如下(敏感信息打码):
修改前的代码:
public List getDalColumnsWithoutId() {
if (this.columnsWithoutId != null) {
return this.columnsWithoutId;
} else {
this.columnsWithoutId = new ArrayList(this.dalColumns.size() - 1);
Iterator var1 = this.dalColumns.iterator();
while(var1.hasNext()) {
DalColumn column = (DalColumn)var1.next();
if (!column.isIdColumn()) {
this.columnsWithoutId.add(column);
}
}
return this.columnsWithoutId;
}
}
修改后的代码(引用文章中的代码截图):
问题复现
====
这个问题要复现的话,不太好复现,因为情况是比较极端的,但是在复杂的生产环境还是很可能出现的。
举例说明:
假设有A、B两个线程,A线程执行到for循环处,B线程恰好执行到最开始的if判断处,由于此时的cloumnsWithId已经被A线程赋值,肯定不为null,然后线程B就直接返回了,导致B线程调用者获得了一个空的或者保存部分字段的cloumnsWithId。这种情况最终导致的结果是INSERT SQL中的字段缺失。
解决办法
====
对于多线程下的共享变量,我们一定要坚持 读读可并行,读写要排队 的原则。当然能不加锁的话,也是不错的选择。
我发现这个问题之后,就找到了前文中说的大佬,跟他反馈了我的想法,并提出我的解决方案。