记一次中间件宕机以后持续请求导致应用OOM的排查思路(server.max-http-header-size属性配置不当的严重后果)

avatar
作者
猴君
阅读量:0

一、背景

最近有一次在系统并发比较高的时候,数据库突然发生了故障,导致大量请求失败,在数据库宕机不久,通过应用日志可以看到系统发生了OOM

二、排查

初次看到这个现象的时候,我还是有点懵逼的,数据库宕机以后为什么会导致应用发生OOM呢?

不管怎么样,先按照传统思路,分析一下应用此时的dump文件。

通过MemoryAnalyzer工具进行dump文件分析,通过Leak Suspects页面可以发现,有两个可以点,如下:

在这里插入图片描述

system class loader看起来没有什么问题,org.apache.coyote.http11.Http11OutputBuffer对象占用这么多内存倒是真的可疑。

打开MemoryAnalyzer工具Dominator Tree页面,过滤org.apache.coyote.http11.Http11OutputBuffer,截图如下:

在这里插入图片描述

可以看到,内存中有大量org.apache.coyote.http11.Http11OutputBuffer对象,同时每个对象都持有一个2048000长度的字节数据。

通过在IDEA中对org.apache.coyote.http11.Http11OutputBuffer对象的引用发现,Http11OutputBuffer是用于tomcat处理请求时,用于每个请求处理时都会生成,代码如下:

org.apache.coyote.http11.Http11Processor#Http11Processor 

在这里插入图片描述

进入protocol.getMaxHttpRequestHeaderSize()方法:

在这里插入图片描述

进入getMaxHttpHeaderSize()方法:

在这里插入图片描述

可以看到maxHttpHeaderSize属性值默认是8192字节,怎么变成了上面的2048000长度了呢?

通过debug代码可以发现,在org.springframework.boot.autoconfigure.web.embedded.TomcatWebServerFactoryCustomizer#customizeMaxHttpHeaderSize方法中会进行覆盖设置,如果你在配置文件中配置了server.max-http-header-size属性,那么maxHttpHeaderSize默认的8192就会被覆盖。

同时,根据org.apache.coyote.http11.Http11Processor#Http11Processor源码,发现每次请求时也都会创建org.apache.coyote.http11.Http11InputBuffer对象,于是我又在MemoryAnalyzer工具Dominator Tree页面搜索了Http11InputBuffer类,如下:

在这里插入图片描述

此时,我发现为什么Http11InputBuffer对象持有的buffer大小不是2048000而是2056192,整整大了8192呢?

通过debug可以发现,答案可以在org.apache.coyote.http11.Http11InputBuffer#init方法中找到:

在这里插入图片描述

Http11InputBuffer对象中,buffer大小除了设置的size之外,还会加一个wrapper.getSocketBufferHandler().getReadBuffer().capacity(),通过代码调试可以发现,SocketBufferHandler的设置在org.apache.tomcat.util.net.NioEndpoint#setSocketOptions方法中进行的:

在这里插入图片描述

进入org.apache.tomcat.util.net.SocketProperties可以发现,buff的默认大小就是8192:

在这里插入图片描述

此时,问题排查基本结束了,排查中遇到的疑问也基本解决了。

三、原因

通过上面的分析可以发现,由于有人在配置文件中设置了server.max-http-header-size属性,

server:   max-http-header-size: 2048000 

覆盖了默认的8KB大小,导致每次请求创建的Http11InputBufferHttp11OutputBuffer对象持有的buffer大小增加到2MB,在数据库宕机以后,tomcat还在继续接受请求,由于请求响应阻塞,同时此时会有大量请求进行堆积,但是每次请求都会创建Http11InputBufferHttp11OutputBuffer对象,同时会向JVM申请内存,导致JVM内存使用量急剧增加,从而导致OOM

四、问题解决

找到问题原因以后,有点好奇,为什么要修改server.max-http-header-size属性呢?通过内部排查得知,原来是应用提供的某个接口是GET请求方式,在请求URL中拼接的参数过大的时候会报Request header is too large异常信息。

看到这个异常信息有点奇怪,为什么GET请求会有这个错误呢,为什么修改server.max-http-header-size属性可以解决呢?通过代码debug发现,Http11InputBuffer对象其实处理的是整个请求报文,包括请求头请求行等信息,所以GET方式请求URL大小和请求头大小都会被Http11InputBuffer对象持有的buffer大小限制,因此修改server.max-http-header-size属性确实可以解决GET请求方式由于URL过长导致的Request header is too large异常问题。

最后,将该GET请求方式接口修改成了POST方式请求,参数传递也通过请求体进行,删除配置文件中

server.max-http-header-size属性配置,恢复默认值8192,在测试环境进行测试,发现OOM问题可以解决。不过,虽然程序层面问题解决了,不过数据库稳定性问管理还需要进一步加强。

广告一刻

为您即时展示最新活动产品广告消息,让您随时掌握产品活动新动态!