线程池大小多少合适?

概述

通常来说,服务分为两种类型:

也叫计算密集型,当计算机完成任务的时间主要取决于CPU的速度时,计算机受CPU限制(或计算限制):CPU利用率很高,可能在100%的使用时间内持续很多秒或分钟。外围设备产生的中断可能会被缓慢处理或无限期延迟处理。

  • IO密集型

完成计算所花费的时间主要由等待I/O操作完成所花费的时间来确定。 这与CPU密集的任务相反。 当请求数据的速率低于其消耗速率时,或者换句话说,请求数据所花费的时间多于处理数据所花费的时间,就会出现这种情况。

那有没有可以落地的实践方法指导呢?Little’s Law

一个系统请求数=请求的到到达率*平均每个单独请求花费的时间

利用Little’s Law判定线程池大小,也就是

线程池大小 = (线程IO时间+线程CPU时间) / 线程CPU时间 / CPU数目

所需数值分别为:

  • 一个请求所消耗的时间
    • 线程IO时间+线程CPU时间
  • 该请求计算时间
    • 线程CPU时间
  • CPU数目

请求消耗时间

Web服务中,可以通过Filter来拦截获取该请求前后消耗的时间

1
2
3
4
5
6
7
8
9
10
11
public class MyFilter implements Filter{
@Override
public void doFilter(ServletRequest request, ServletResponse response){
long start = System.currentTimeMillis();
try{
//处理业务
}finally{
long cost = System.currentTimeMillis() - start;
}
}
}

CPU计算时间

CPU计算时间 = 请求总耗时 - CPU IO时间

假设该请求有一个查询DB的操作,只要查询DB的耗时,也就是CPU IO时间,就可以得出CPU计算时间。

可以通过JDK动态代理或者是CGLIB的方式添加AOP切面,来获取线程IO耗时。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
public class DaoInterceptor implements MethodInterceptor{
@override
public Object invoke(MethodInvocation invocation) throws Throwable{
StopWatch watch = new StopWatch();
watch.start();
Object result = null;
Throwable t = null;
try{
result = invocation.proceed();
}catch(Exception ex){
//handle ex
}finally{
// 得出时间
watch.stop();
}
return result;
}
}

CPU数目

1
cat /proc/cpuinfo | grep "processor" | wc -l

总结

还是需要通过压测来进行微调,以保证配置的正确性。