tomcat 的并发能力分析

tomcat

参考：Tomcat的3个参数acceptCount、maxConnections、maxThreads

Tomcat 的核心组件

Tomcat 由 2 大核心组件组成：Connector、Container

Tomcat 处理请求的过程

请求在 tomcat 服务器的处理过程（BIO 模式）

1. 客户端与服务端完成三次握手建立了连接，连接信息会存放在 ServerSocket 连接请求的队列中（队列长度为 acceptCount）

2. 如果提交到线程池的任务数没有超过 maxConnections，那么就 ServerSocket.accept() 返回 socket 对象，封装为任务提交到线程池；

   如果提交的任务数超过了 maxConnections，则阻塞

3. 任务提交到线程池后，分三种情况：

   • 线程数 <= minSpareThreads：不管有没有空闲线程，都新建线程来处理任务
   • minSpareThreads < 线程数 < maxThreads：新任务会优先使用空闲线程，如果没有空闲线程就新建线程
   • 线程数 == maxThreads：新任务就会在 Connector 创建的 ServerSocket 队列中堆积起来，直到到达最大的配置值（acceptCount 属性值）

4. 若队列已满，任何再来的请求将会收到 connection refused 错误，直到有可用的资源来处理它们

   当任务被处理完后，则销毁任务以及任务中的 socket 对象，该连接被释放

   
   

Connector 的 protocol（协议）

Connector 在处理 HTTP 请求时，会使用不同的 protocol。不同的 Tomcat 版本支持的 protocol 不同，其中最典型的 protocol 包括BIO、NIO 和 APR（Tomcat7 中支持这 3 种，Tomcat8 增加了对 NIO2 的支持，而到了 Tomcat8.5 和 Tomcat9.0，则去掉了对 BIO 的支持）。

• BIO（Blocking IO）：阻塞的 IO

• NIO（Non-blocking IO）：非阻塞的 IO

• APR（Apache Portable Runtime）：是 Apache 可移植运行库，利用本地库可以实现高可扩展性、高性能；

  Apr 是在 Tomcat 上运行高并发应用的首选模式，但需要安装 apr、apr-utils、tomcat-native 等包。

BIO

在 BIO 实现的 Connector 中，处理请求的主要实体是 JIoEndpoint 对象。

JIoEndpoint 维护了 Acceptor 和 Worker：

• Acceptor 接收 socket，然后从 Worker 线程池中找出空闲的线程处理 socket，如果 worker 线程池没有空闲线程，则 Acceptor 将阻塞。
• Worker 是 Tomcat 自带的线程池，如果通过配置了其他线程池，原理与 Worker 类似。

NIO

在 NIO 实现的 Connector 中，处理请求的主要实体是 NIoEndpoint 对象。

NIoEndpoint 中除了包含 Acceptor 和 Worker 外，还使用了 Poller，处理流程如下图所示：

• Acceptor 接收 socket 后，不是直接使用 Worker 中的线程处理请求，而是先将请求发送给了 Poller，而 Poller 是实现 NIO 的关键。Acceptor 向 Poller 发送请求通过队列实现，使用了典型的生产者-消费者模式。
• 在 Poller 中，维护了一个 Selector 对象；当 Poller 从队列中取出 socket 后，注册到该 Selector 中；然后通过遍历 Selector，找出其中可读的 socket，并使用 Worker 中的线程处理相应请求。
• 与 BIO 类似，Worker 也可以被自定义的线程池代替。

在 NIoEndpoint 处理请求的过程中，无论是 Acceptor 接收 socket，还是线程处理请求，使用的仍然是阻塞方式；但在 ”读取socket并交给Worker中的线程” 的这个过程中，使用非阻塞的 NIO 实现，这是 NIO 模式与 BIO 模式的最主要区别（其他区别对性能影响较小，暂时略去不提）。而这个区别，在并发量较大的情形下可以带来 Tomcat 效率的显著提升。

影响并发的 tomcat 参数

• maxConnections ：Tomcat 在任意时刻接收和处理的最大连接数（可以提交给线程池的最大任务数）

  当 Tomcat 接收的连接数达到 maxConnections 时，Acceptor 线程不会读取 accept 队列中的连接（socket）；这时 accept 队列中的线程会一直阻塞着，直到 Tomcat 接收的连接数小于 maxConnections。

  如果设置为 -1，则连接数不受限制。

  默认值与连接器使用的协议有关：

  • NIO 的默认值是 10000

  • APR/native 的默认值是 8192

    在windows下，APR/native 的 maxConnections 值会自动调整为设置值以下最大的 1024 的整数倍

    如设置为 2000，则最大值实际是 1024

  • BIO 的默认值为 maxThreads（如果配置了 Executor，则默认值是 Executor 的 maxThreads）

• acceptCount ：允许的最大并发连接数（瞬时连接、瞬时并发数），为 ServerSocket 连接请求的队列长度，默认值为 100

  请求连接在任务队列中时，客户端显示为浏览器显示“转圈”

  当 accept 队列中连接的个数达到 acceptCount 时，队列满，进来的请求一律被拒绝。

  实际场景中，常见的表象是 nginx 响应 502，Tomcat 中没有任何 access 日志，此时应该调大该值。

• minProcessors：服务器启动时，线程池创建的最少线程数

• maxProcessors（maxThreads ）：线程池最大连接线程数。默认值为 200

  线程数小于此数时，每次来任务若有空闲线程，使用空闲线程处理，如果没有空闲线程则新建线程处理

  如果该 Connector 绑定了 Executor，这个值会被忽略，因为该 Connector 将使用绑定的 Executor，而不是内置的线程池来执行任务。

  注：

  • maxThreads 规定的是最大的线程数目，并不是实际 running 的 CPU 数量；

    实际上，maxThreads 的大小比 CPU 核心数量要大得多。

    因为处理请求的线程真正用于计算的时间可能很少，大多数时间可能在阻塞，如等待数据库返回数据、等待硬盘读写数据等。

  • 因此，在某一时刻，只有少数的线程真正的在使用物理 CPU，大多数线程都在等待；

    故线程数远大于物理核心数才是合理的。

    换句话说，Tomcat 通过使用比 CPU 核心数量多得多的线程数，可以使 CPU 忙碌起来，大大提高 CPU 的利用率

• minSpareThreads ：线程池最小空闲线程数（多余的空闲线程都将杀死）。默认值为 25

  线程数小于此数时，每次来任务都新建线程处理

• maxSpareThreads ：线程池最大空闲线程数

  一旦创建的线程超过这个值，Tomcat 就会关闭不再需要的 socket 线程

• maxIdLeTime：一个线程空闲多久算是一个空闲线程，单位：毫秒

• connectionTimeout ：网络连接超时。单位：毫秒。默认值为 60000ms（60秒）

  设置为 0 表示永不超时，但这样设置有隐患的。通常设置为 30000 毫秒或使用默认值

• disableUploadTimeout ：禁用上传超时，主要用于大数据上传时，允许 Servlet 容器正在执行使用一个较长的连接超时值，以使 Servlet 有较长的时间来完成它的执行，默认值为 false

• enableLookups ：是否反查域名，取值为：true 或 false

  若为 true，则可以通过调用 request.getRemoteHost() 进行 DNS 查询来得到远程客户端的实际主机名

  若为 false，则不进行DNS查询，而是返回其 ip 地址

  为了提高处理能力，应设置为 false

补充说明：

• maxThreads 和 acceptCount 属性对 tomcat 能同时处理的请求数和请求响应时间有直接的影响。

  无论 acceptCount 值为多少，maxThreads 直接决定了实际可同时处理的请求数。

  而不管 maxThreads 如何，acceptCount 则决定了有多少请求可等待处理。

• 然而，不管是可立即处理请求还是需要放入等待区，都需要 tomcat 先接受该请求（即接受客户端的连接请求，建立socketchannel），那么 tomcat 同时可建立的连接数（maxConnections 属性值）也会影响可同时处理的请求数。

如何设置 acceptCount 、maxConnections、maxThreads 的值：

• CPU 越不密集（或 IO 越密集），maxThreads 应该越大

• maxConnections 的设置与 Tomcat 的运行模式有关

  如果 tomcat 使用的是 BIO，那么 maxConnections 的值应该与 maxThreads 一致（默认值为 maxThreads）

  如果 tomcat使用的是 NIO，maxConnections 值应该远大于 maxThreads（默认值为 10000）

• Tomcat 能够接收的连接数 = maxThreads + acceptCount

  acceptCount 的设置，与应用在连接过高情况下希望做出什么反应有关系

  • 如果设置过大，后面进入的请求等待时间会很长
  • 如果设置过小，后面进入的请求立马返回 connection refused

在线用户数、连接数、瞬时并发数、线程数的区别

• 在线用户数 = 连接数 + 静态用户数（已登录，但连接已断开，只是在浏览静态数据）（有session对象，没有socket对象）
• 连接数 = 已接受连接数 + 瞬时并发数（acceptCount：在连接队列里等待的socket对象数）
• 已接受连接数 = 线程数（RUNNABLE状态）（正在处理）+ 任务队列中的任务数（已接受，待处理）

影响并发的其他限制因素

• Tomcat 的运行模式

  • BIO（阻塞式的 Socket 通信）模式

    Tomcat8 以下版本，默认的 HTTP 实现是采用 BIO 模式，每个请求都需要创建一个线程处理

    这种模式下的并发量受到线程数的限制，不大适合高并发，但技术成熟。

    每个进程中的线程数受制于操作系统的内核参数设置：

    • Windows 主机每个进程中的线程数不允许超过 2000
    • Linux 主机每个进程中的线程数不允许超过 1000

  • NIO模式（非阻塞式的 Socket 通信）

    Tomcat8 以上版本，默认使用的就是 NIO 模式，在性能上高于阻塞式的，每个请求也不需要创建一个线程进行处理，并发能力比前者高。

  • APR 模式（全称 Apache Portable Runtime）

    是 Tomcat 生产环境运行的首选方式。但必须要安装 APR 和 Native，直接启动就支持 APR。

    APR 是从操作系统级别解决异步 IO 问题。APR 的本质就是使用 JNI 技术调用操作系统底层的 IO 接口，所以需要提前安装所需要的依赖。

    如果操作系统未安装 APR 或者 APR 路径未指到 Tomcat 默认可识别的路径，则 APR 模式无法启动，自动切换启动 NIO 模式。

    注：APR 模式可以提升 Tomcat 对静态文件的处理性能，当然也可以采用动静分离。

• JVM 调优（tomcat 可以使用的内存）

  Tomcat 是运行在 JVM 上的，所以对 JVM 的调优也是非常有必要的

  在 Java 中每开启一个线程需要耗用 1MB 的 JVM 内存空间用于作为线程栈之用

  tomcat 默认可以使用的内存为128MB，在并发量较大的应用项目中，这点内存是不够的，需要修改 JVM 参数调优

  • Unix下，在文件{tomcat_home}/bin/catalina.sh的前面，增加如下设置：

    JAVA_OPTS=‘-Xms【初始化内存大小】 -Xmx【可以使用的最大内存】’

    需要把这个两个参数值调大。例如：JAVA_OPTS=‘-Xms256m -Xmx512m’

    表示初始化内存为 256MB，可以使用的最大内存为 512MB

• 一台主机允许的连接数、线程数、内存大小、硬件性能和 CPU 数量，都会限制实际并发数

• 并发能力还与应用的逻辑密切相关，如果逻辑很复杂需要大量的计算，那并发能力势必会下降。

  如果每个请求都含有很多的数据库操作（或其他中间件的连接），那么对于数据库的性能要求也是非常高的。

  对于单台数据库服务器来说，允许客户端的连接数量是有限制的（数据库读写的并发能力）

  建议当某个应用拥有 250 个以上并发的时候，应考虑应用服务器的集群

拓展

tomcat 服务器 server.xml 文件

<Server port="8005" shutdown="SHUTDOWN">   <!-- 属性说明       port: 指定一个端口，这个端口负责监听关闭Tomcat的请求       shutdown: 向以上端口发送的关闭服务器的命令字符串   -->       <Listener className="org.apache.catalina.core.AprLifecycleListener" />       <Listener className="org.apache.catalina.mbeans.ServerLifecycleListener" />       <Listener className="org.apache.catalina.mbeans.GlobalResourcesLifecycleListener" />       <Listener className="org.apache.catalina.storeconfig.StoreConfigLifecycleListener"/>        <GlobalNamingResources>           <Environment name="simpleValue" type="java.lang.Integer" value="30"/>           <Resource name="UserDatabase" auth="Container" type="org.apache.catalina.UserDatabase"                    description="User database that can be updated and saved"                   factory="org.apache.catalina.users.MemoryUserDatabaseFactory"                    pathname="conf/tomcat-users.xml" />         </GlobalNamingResources>            <!--  每个Service元素只能有一个Engine元素。元素处理在同一个<Service>中所有<Connector>元素接收到的客户请求 -->       <Service name="Catalina">       <!-- 属性说明 name: Service的名称 -->            <!-- Connector元素: 由Connector接口定义。<Connector>元素代表与客户程序实际交互的给件, 它负责接收客户请求，以及向客户返回响应结果 -->           <Connector port="8080" maxHttpHeaderSize="8192" maxThreads="150" acceptCount="100"                     minSpareThreads="25" maxSpareThreads="75"                     connectionTimeout="20000" disableUploadTimeout="true"                     enableLookups="false" redirectPort="8443" />          <Connector port="8009" enableLookups="false" redirectPort="8443" protocol="AJP/1.3" />           <!--属性说明               port: 服务器连接器的端口号，该连接器将在指定端口侦听来自客户端的请求               maxThreads: 设定在监听端口的线程的最大数目，这个值也决定了服务器可以同时响应客户请求的最大数目，默认值为200             acceptCount: 当所有可以使用的处理请求的线程都被用光时，可以放到处理队列中的请求数                          超过这个数的请求将不予处理，而返回Connection refused错误               minProcessors: 服务器启动时创建的处理请求的线程数，每个请求由一个线程负责               maxProcessors: 最多可以创建的处理请求的线程数               minSpareThreads: 最小备用线程                maxSpareThreads: 最大备用线程             connectionTimeout: 等待超时的时间数（以毫秒为单位）             disableUploadTimeout: 禁用上传超时,主要用于大数据上传时             enableLookups: 如果为true，则可以通过调用request.getRemoteHost()进行DNS查询来得到远程客户端的实际主机名；                            若为false则不进行DNS查询，而是返回其ip地址             redirectPort: 服务器正在处理http请求时收到了一个SSL传输请求后重定向的端口号             debug: 日志等级             protocol: 必须设定为AJP/1.3协议             address: 如果服务器有两个以上IP地址，该属性可以设定端口监听的IP地址，默认情况下,端口会监听服务器上所有IP地址         -->          <Engine name="Catalina" defaultHost="localhost">           <!-- 属性说明           	name: 对应$CATALINA_HOME/config/Catalina中的Catalina                defaultHost: 缺省的处理请求的虚拟主机名 					对应Host元素中的name属性，也就是$CATALINA_HOME/config/Catalina/localhost中的localhost                  		它至少与其中的一个Host元素的name属性值是一样的               debug: 日志等级           -->                <Realm className="org.apache.catalina.realm.UserDatabaseRealm" resourceName="UserDatabase"/>                           <!-- 由Host接口定义。一个Engine元素可以包含多个<Host>元素，每个<Host>的元素定义了一个虚拟主机。它包含了一个或多个Web应用 -->               <Host name="localhost" appBase="webapps" autoDeploy="true" unpackWARs="true"                     xmlValidation="false" xmlNamespaceAware="false">               <!-- 属性说明           		name: 虚拟主机名。即 $CATALINA_HOME/config/Catalina/localhost中的localhost             	appBase: 默认的应用路径，此路径相对于$CATALINA_HOME/ (web应用的基本目录) 。 						 在autoDeploy为true的情况下，可自动部署应用此路径             	autoDeploy: 默认为true，表示如果有新的WEB应用放入appBase并且Tomcat在运行的情况下，自动载入应用 				debug: 是日志的调试等级 				unpackWARs: 如果为true，在Web应用为*.war时，tomcat会自动将WAR文件解压； 							否则不解压，直接从WAR文件中运行应用程序        		 -->                    <Context path="/demm" docBase="E:\\projects\\demm\\WebRoot" debug="0" reloadable="true" >                    </Context>                   <!-- 属性说明   					path: 访问应用的上下文路由URI 						  如果http://localhost/是应用的根目录，访问此应用接口的url前缀为http://localhost/demm             		docBase: WEB应用的目录。即 web应用的文件存放路径或者是WAR文件存放路径                  			 注意：此目录必须符合Java WEB应用的规范             		debug: 日志等级                		reloadable: 是否在程序有改动时自动重新载入。如果为true，则Tomcat将支持热部署，但会影响性能。 						即可以自动检测web应用的/WEB-INF/lib和/WEB-INF/classes目录的变化，自动装载新的JSP和Servlet。 						可以在不重起Tomcat的情况下改变web应用。         		-->               </Host>           </Engine>       </Service>   </Server>   

注：

• tomcat 启动后会默认占用 8080，8009和 8005 三个端口
  • 8080 端口负责建立 HTTP 连接。在通过浏览器访问 Tomcat服务器的 Web 应用时，使用的就是这个连接器
  • 8009 端口负责和其他 HTTP服务器建立连接。在把 Tomcat 与其他 HTTP 服务器集成时就需要用到这个连接器
  • 8005 端口用来向 Tomcat 发布 shutdown 命令的

对网络端口的理解

• 实际上，电脑在网卡上的硬件网络端口只有一个。
• 常说的 1-65535 号端口，并不是真的有这么多个硬件端口，硬件端口实际上只有一个，访问所有端口的数据包都发往这个硬件端口。
• 硬件端口接收到数据包之后进行解析，然后通知监听对应端口的socket对象来取数据。

并发量计算

参考： 并发量计算

几个概念：业务并发用户数、最大并发访问数、系统用户数、同时在线用户数

• 假设一个 OA 系统有 1000 用户，这就是系统用户数
• 最高峰同时有 500 人在线，是“同时在线人数”，也称作“最大业务并发用户数”
• 500 个同时使用系统用户中20%查看系统公告，不构成压力；20%填写表格（只在提交时才会请求，填写对服务器不构成压力）；40%在发呆（什么都没做）；20%用户不停从一个页面跳转另一个页面（只有这20%对服务器产生了压力）
• 服务器实际压力（能承受的最大并发访问数），既取决于业务并发用户数，还取决于用户的业务场景，**这些可以通过对服务器日志的分析得到，**一般只需要分析典型业务（用户常用，最关注的业务操作）。

估算业务并发用户数的公式（测试人员一般只关心业务并发用户数）

• C = nL / T

• C^ = C + 3 × (C的平方根)

  • C 是平均的业务并发用户数

• n 是 login session 的数量

  • L 是 login session 的平均长度

• T 是指考察的时间段长度

  • C^ 是指业务并发用户数的峰值

该公式的得出是假设用户的 login session 产生符合泊松分布而估算得到。

假设：OA 系统有1000用户，每天400个用户发访问，每个登录到退出平均时间2小时，在1天时间内用户只在8小时内使用该系统。

C = 400 × 2 / 8 = 100

C^ = 100 + 3 × (100的平方根) = 100 + 3 × 10 = 130

另外，如果知道平均每个用户发出的请求数 u，则系统吞吐量可以估算为 u × C

注意：

• 精确估算，还要考虑用户业务操作存在一定的时间集中性（比如上班后 1 小时内是 OA 系统高峰期），采用公式计算仍然会存在偏差
• 针对例子 OA 系统可以把 1 小时设定为考察时间的粒度，将一天 8 小时划分为 8 个区间，这样可以解决业务操作存在集中性问题，更趋于精准，偏差更小。

系统吞度量要素

参考：系统吞吐量（TPS）、用户并发量、性能测试概念和公式

系统吞吐量的几个重要参数：QPS（TPS）、并发数、响应时间

• QPS（TPS）= 并发数 / 平均响应时间

  • QPS（TPS）：每秒钟request / 事务数
  • 并发数： 系统同时处理的request / 事务数
  • 响应时间： 一般取平均响应时间

  （很多人经常会把并发数和 TPS 理解混淆）

• 一个系统吞吐量通常由 QPS（TPS）、并发数两个因素决定。

  每套系统这两个值都有一个相对极限值，在应用场景访问压力下，只要某一项达到系统最高值，系统的吞吐量就上不去了

  如果压力继续增大，系统的吞吐量反而会下降，原因是系统超负荷工作，上下文切换、内存等等其它消耗导致系统性能下降。

• 系统响应时间，由 CPU 运算、IO、外部系统响应等等组成。

tomcat 高并发配置与优化

参考：tomcat高并发配置与优化