应用同事反馈,在使用es的滚动导出的时候,一共有5567条数据,但是实际上只拿到4567条数据,并且打断点,最后一次是获取到了456条数据。

        所以可以判断,中间少了1000条数据。因为滚动导出是每次1000条。初步判断,是少了一次数据解析,有可能第一次构建请求的时候,没有解析数据。实际上并不是,看报错如下图,是 entity content is too long[xxx1] for the configured buffer limit [xxx2]
   

问题分析

    根据这个错误,判断这个是以内召回的数据,总大小超过了response这个对象能够承载的大小了。之间见过类似的错误。

解决方案一

    这里只需要构造一个RequestOptions对象,然后,调整大小。HttpAsyncResponseConsumerFactory.HeapBufferedResponseConsumerFactory(10 * 104857600)

    代码示例。这里只贴了相关的代码。RequestOptions对象用在client.search()方法中。也就是给es发请求的前前一刻。

        RequestOptions.Builder options = RequestOptions.DEFAULT.toBuilder();
        options.setHttpAsyncResponseConsumerFactory(
                new HttpAsyncResponseConsumerFactory.HeapBufferedResponseConsumerFactory(10 * 104857600));
        final RequestOptions requestOptions = options.build();


        searchResponse = client.search(
                            searchRequest,
                            //ElasticClient.requestOptions(rc.getEsEntity().getUsername(), rc.getEsEntity().getPassword())
                            requestOptions
                    );

解决方案二

        上述的方案并不是最佳解决方案。以为很明显,这属于数据太大了。通过上述的方法 虽然能解决问题。还是很可能带来堆的问题。虽然上述是在滚动导出的时候遇到的,但是单次查询,假如召回的数太多也会遇到相同的问题。

        更好的解决方法,是控制单次请求召回的数据总数。

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐