Spring Batch之Step的提交间隔(十七)

        批处理作业通常针对大数据量进行处理,同时框架需要将作业处理的状态实时地持久化到数据库中,如果读取一条记录就进行写操作或者状态数据的提交,会大量消耗系统资源,导致批处理框架性能下降。在面向批处理Chunk的操作中,可以通过属性commit-interval设置read多少条记录后进行一次提交。通过设置commit-interval的间隔值,减少提交频次,降低资源使用率。

Spring Batch之Step的提交间隔(十七)

通过commit-interval设置Chunk的提交频次:

<!--定义名字为billJob的作业-->
<batch:job id="billJob">
  <!--定义名字为billStep的作业步-->
  <batch:step id="billStep">
     <batch:tasklet transaction-manager="transactionManager">
        <!--规定每处理5条数据,进行一次写入操作,这样可以提高写的效率-->
        <batch:chunk reader="read" processor="processor" writer="writer" 
                commit-interval="5">
        </batch:chunk>
     </batch:tasklet>
  </batch:step>
</batch:job>

按照上面的Chunk的操作,提交间隔是5次,那么读操作被调用5次,处理操作被调用5次,写操作只被调用1次。

项目实例:

Spring Batch之创建一个简单的Spring Batch项目(一)_人……杰的博客-CSDN博客_springbatch项目创建

上一篇:elasticsearch 调优


下一篇:mysql 查询一个虚拟时间表