在使用JPA的仓储repository进行查询时，经常用到findAllbyId的方法： repository.findAllbyId()

但如果像下面的代码，当list的size量太大的话，就会报栈溢出的的错误：java.lang.*Error

@RequestMapping("/*")
    public Integer *() {

        List<String> ids = new ArrayList<>();
        for (int i = 0; i < 5000; i++) {
            ids.add("123123123123");
        }
        List<BillDO> allById = dwBillRepository.findAllById(ids);

        return allById.size();
    }

报错信息如下：

Caused by: java.lang.*Error
    at antlr.BaseAST.toString(BaseAST.java:333) ~[antlr-2.7.7.jar:?]
    at antlr.BaseAST.toStringList(BaseAST.java:341) ~[antlr-2.7.7.jar:?]
    at antlr.BaseAST.toStringList(BaseAST.java:347) ~[antlr-2.7.7.jar:?]
    at antlr.BaseAST.toStringList(BaseAST.java:347) ~[antlr-2.7.7.jar:?]
    at antlr.BaseAST.toStringList(BaseAST.java:347) ~[antlr-2.7.7.jar:?]
    at antlr.BaseAST.toStringList(BaseAST.java:347) ~[antlr-2.7.7.jar:?]
    at antlr.BaseAST.toStringList(BaseAST.java:347) ~[antlr-2.7.7.jar:?]
    at antlr.BaseAST.toStringList(BaseAST.java:347) ~[antlr-2.7.7.jar:?]
    at antlr.BaseAST.toStringList(BaseAST.java:347) ~[antlr-2.7.7.jar:?]
    at antlr.BaseAST.toStringList(BaseAST.java:347) ~[antlr-2.7.7.jar:?]
    at antlr.BaseAST.toStringList(BaseAST.java:347) ~[antlr-2.7.7.jar:?]

原因就是在拼sql时方法入栈太深，超过了jvm允许的最大深度，也就是递归调用的太深了。

public String toStringList() {
        String var2 = "";
        if (this.getFirstChild() != null) {
            var2 = var2 + " (";
        }

        var2 = var2 + " " + this.toString();
        if (this.getFirstChild() != null) {
            var2 = var2 + ((BaseAST)this.getFirstChild()).toStringList();
        }

        if (this.getFirstChild() != null) {
            var2 = var2 + " )";
        }

        if (this.getNextSibling() != null) {
            var2 = var2 + ((BaseAST)this.getNextSibling()).toStringList();
        }

        return var2;
    }

 

解决方法就是不要递归的太深。具体到上面的问题就是一次不要查太多的数据。如果in的数量有5000，我们就分开查询一次只查1000，查5次。再把结果组合在一起。

如果每个业务都单独写的话，就太麻烦了，可以写个公共的方法，如下： JPA_QUERY_LIST_MAX_SIZE是一个常量数据值，如1000个查一次。这里使用了并行查询，查询效率更高。

public <T> List<T> findAll(List<String> ids, Function<List<String>, List<T>> func) {

        List<List<String>> idGroups = Lists.partition(ids, JPA_QUERY_LIST_MAX_SIZE);
        ExecutorService executor = Executors.newFixedThreadPool(idGroups.size());

        return idGroups
                .stream()
                .collect(ParallelCollectors
                        .parallelToList(i -> func.apply(i), executor, idGroups.size()))
                .join()
                .stream()
                .flatMap(Collection::stream)
                .collect(toList());
    }

以上代码利用如一个第三方的库：需要引用:

<dependency>
            <groupId>com.pivovarit</groupId>
            <artifactId>parallel-collectors</artifactId>
            <version>1.1.0</version>
        </dependency>

 

这里引出一个题外话，如果in查询数据量很大的话，可能会导致索引失效的问题。需要重点看一下。