高并发面试:线程池的七大参数?手写一个线程池?

线程池

1. Callable接口的使用

package com.yuxue.juc.threadPool;

import java.util.concurrent.Callable;
import java.util.concurrent.ExecutionException;
import java.util.concurrent.FutureTask;

/**
 * 多线程中,第三种获得多线程的方式
 * */
public class CallableTest {
    public static void main(String[] args) throws ExecutionException, InterruptedException {
        //FutureTask(Callable<V> callable)
        FutureTask<Integer> futureTask = new FutureTask<>(new myThread());

        new Thread(futureTask, "AAA").start();
        //new Thread(futureTask, "BBB").start();//复用,直接取值,不要重启两个线程
        int a = 100;
        int b = 0;
        //b = futureTask.get();//要求获得Callable线程的计算结果,如果没有计算完成就要去强求,会导致堵塞,直到计算完成
        while (!futureTask.isDone()) {
            ////当futureTask完成后取值
            b = futureTask.get();
        }
        System.out.println("===Result is:" + (a + b));
    }
}

class myThread implements Callable<Integer> {
    @Override
    public Integer call() throws Exception {
        System.out.println(Thread.currentThread().getName() + "\tget in the callable");
        Thread.sleep(5000);
        return 1024;
    }
}

两者区别:

  • Callable:有返回值,抛异常
  • Runnable:无返回值,不抛出异常

2. 为什么要使用线程池

  1. 线程池做的工作主要是控制运行的线程的数量,处理过程中将任务放入队列,然后在线程创建后启动给这些任务,如果线程数量超过了最大数量,超出数量的线程排队等候,等其他线程执行完毕,再从队列中取出任务来执行

  2. 主要特点

    线程复用、控制最大并发数、管理线程

    • 减少创建和销毁线程上所花的时间以及系统资源的开销 => 减少内存开销,创建线程占用内存,创建线程需要时间,会延迟处理的请求;降低资源消耗,通过重复利用已创建的线程降低线程创建和销毁造成的消耗
    • 提高响应速度。当任务到达时,任务可以不需要等到线程创建就能立即执行
    • 提高线程的客观理性。线程是稀缺资源,如果无限制的创建,不仅会消耗系统资源,还会降低系统的稳定性,使用线程池可以进行统一的分配,调优和监控(根据系统承受能力,达到运行的最佳效果) => 避免无限创建线程引起的OutOfMemoryError【简称OOM】

3. 线程池如何使用?

  1. 架构说明

    Java中的线程池是通过Executor框架实现的,该框架中用到了 :Executor,Executors,ExecutorService,ThreadPoolExecutor

    高并发面试:线程池的七大参数?手写一个线程池?

  2. 编码实现

    实现有五种,Executors.newScheduledThreadPool()是带时间调度的,java8新推出

    Executors.newWorkStealingPool(int),使用目前机器上可用的处理器作为他的并行级别

    重点有三种

    • Executors.newFixedThreadPool(int)

      执行长期的任务,性能好很多

      创建一个定长线程池,可控制线程最大并发数,超出的线程回在队列中等待newFixedThreadPool创建的线程池corePoolSize和maximumPoolSize值是相等的,它使用的是 LinkedBlockingQueue

      底层源码:

      高并发面试:线程池的七大参数?手写一个线程池?

    • Executors.newSingleThreadExecutor()

      一个任务一个任务执行的场景

      创建一个单线程话的线程池,他只会用唯一的工作线程来执行任务,保证所有任务按照指定顺序执行

      newSingleThreadExecutor将corePoolSize和maximumPoolSize都设置为1,使用LinkedBlockingQueue

      源码:

      高并发面试:线程池的七大参数?手写一个线程池?

    • Executors.newCachedThreadPool()

      执行很多短期异步的小程序或负载较轻的服务器

      创建一个可缓存线程池,如果线程池长度超过处理需要,可灵活回收空闲县城,若无可回收,则新建线程

      newCachedThreadPool将corePoolSize设置为0,将maximumPoolSize设置为Integer.MAX_VALUE,使用 的SynchronousQueue,也就是说来了任务就创建线程运行,当县城空闲超过60s,就销毁线程

      源码:

      高并发面试:线程池的七大参数?手写一个线程池?

    我们可以看到底层的代码都是由ThreadPoolExecutor这个类的构造方法创建的,只是传入的参数不同,那么研究一下这个类以及这些参数就很有必要,下节我们将介绍这些参数的使用

  3. ThreadPoolExecutor

4. 线程池的几个重要参数

核心执行代码为:

public ThreadPoolExecutor(int corePoolSize,
                          int maximumPoolSize,
                          long keepAliveTime,
                          TimeUnit unit,
                          BlockingQueue<Runnable> workQueue) {
  this(corePoolSize, maximumPoolSize, keepAliveTime, unit, workQueue,
       Executors.defaultThreadFactory(), defaultHandler);
}

那么我们再点进this方法可以看到其全参数的构造方法为:

public ThreadPoolExecutor(int corePoolSize,
                          int maximumPoolSize,
                          long keepAliveTime,
                          TimeUnit unit,
                          BlockingQueue<Runnable> workQueue,
                          ThreadFactory threadFactory,
                          RejectedExecutionHandler handler) 

简单介绍一下:

  1. corePoolSize: 线程池中常驻核心线程数

    • 在创建了线程池后,当有请求任务来之后,就会安排池中的线程去执行请求任务
    • 当线程池的线程数达到corePoolSize后,就会把到达的任务放到缓存队列当中
  2. maximumPoolSize: 线程池能够容纳同时执行的最大线程数,必须大于等于1

  3. keepAliveTime: 多余的空闲线程的存活时间

    • 当前线程池数量超过corePoolSize时,档口空闲时间达到keepAliveTime值时,多余空闲线程会被销毁到只剩下corePoolSize个线程为止
  4. unit: keepAliveTime的单位

  5. workQueue: 任务队列,被提交但尚未被执行的任务

    任务队列底层是BlockingQueue阻塞队列!不清楚阻塞队列的参考这篇文章:用阻塞队列实现一个生产者消费者模型?

  6. threadFactory:表示生成线程池中工作线程的线程工厂,用于创建线程一般用默认的即可

  7. handler: 拒绝策略,表示当队列满了并且工作线程大于等于线程池的最大线程数(maximumPoolSize)时如 何来拒绝请求执行的runable的策略

5. 线程池的底层工作原理以及过程

高并发面试:线程池的七大参数?手写一个线程池?

如上图所属,其流程为:

  1. 在创建了线程池之后,等待提交过来的任务请求

  2. 当调用execute()方法添加一个请求任务时,线程池会做出如下判断:

    2.1 如果正在运行的线程数量小于corePoolSize,那么马上创建线程运行这个任务;

    2.2 如果正在运行的线程数量大于或等于corePoolSize,那么将这个任务放入队列;

    2.3 如果此时队列满了且运行的线程数小于maximumPoolSize,那么还是要创建非核心线程立刻运行此任务;

    2.4 如果队列满了且正在运行的线程数量大于或等于maxmumPoolSize,那么启动饱和拒绝策略来执行

  3. 当一个线程完成任务时,他会从队列中取出下一个任务来执行

  4. 当一个线程无事可做超过一定的时间(keepAliveTime)时,线程池会判断:

    如果当前运行的线程数大于corePoolSize,那么这个线程会被停掉;所以线程池的所有任务完成后他最大会收 缩到corePoolSize的大小

5. 实际工作中如何设置合理参数

5.1 线程池的拒绝策略

  1. 什么是线程的拒绝策略
    1. 等待队列也已经排满了,再也塞不下新任务了,同时线程池中的max线程也达到了,无法继续为新任务服务。这时我们就需要拒绝策略机制合理的处理这个问题
  2. JDK内置的拒绝策略
    • AbortPolicy(默认):如果满了会直接抛出RejectedExecutionException异常阻止系统正常运行
    • CallerRunsPolicy:”调用者运行“一种调节机制,该策略既不会抛弃任务,也不会抛出异常,而是将某些任务回退到调用者, 从而降低新任务的流量
    • DiscardOldestPolicy:抛弃队列中等待最久的任务,然后把当前任务加入队列中尝试再次提交当前任务
    • DiscardPolicy:直接丢弃任务,不予任何处理也不抛异常。如果允许任务丢失,这是最好的一种方案
  3. 均实现了RejectedExecutionHandler接口

5.2 你在工作中单一的/固定数的/可变的三种创建线程池的方法,用哪个多?

回答:一个都不用,我们生产上只能使用自定义的!!!!

为什么?

线程池不允许使用Executors创建,试试通过ThreadPoolExecutor的方式,规避资源耗尽风险

阿里巴巴规范手册当中提到:

  • FixedThreadPool和SingleThreadPool允许请求队列长度为Integer.MAX_VALUE,可能会堆积大量请求,导致OOM;
  • CachedThreadPool和ScheduledThreadPool允许的创建线程数量为Integer.MAX_VALUE,可能会创建大量线程,导致OOM

5.3 你在工作中时如何使用线程池的,是否自定义过线程池?

上代码:

package com.yuxue.juc.threadPool;

import java.util.concurrent.Executors;
import java.util.concurrent.LinkedBlockingQueue;
import java.util.concurrent.ThreadPoolExecutor;
import java.util.concurrent.TimeUnit;

public class MyThreadPoolDemo {
    public static void main(String[] args) {
        ThreadPoolExecutor threadPoolExecutor = new ThreadPoolExecutor(
                //corePoolSize:常驻核心线程数
                2,
                //maximumPoolSize:最大的可容纳线程数
                5,
                //存活时间设置为1s
                1L,
                TimeUnit.SECONDS,
                //这里用LinkedBlockingQueue,且容量为3,意味着等候区最大容量三个任务
                new LinkedBlockingQueue<>(3),
                //默认的defaultThreadFactory即可
                Executors.defaultThreadFactory(),
                //丢弃方法使用AbortPolicy()
                new ThreadPoolExecutor.AbortPolicy());

        //这里用来做任务的处理执行
        for (int i = 0; i < 5; i++) {
            threadPoolExecutor.execute(()->{
                System.out.println(Thread.currentThread().getName()+"\t 办理业务;");
            });
        }
        threadPoolExecutor.shutdown();
    }
}

我们运行结果为:

pool-1-thread-2	 办理业务;
pool-1-thread-1	 办理业务;
pool-1-thread-2	 办理业务;
pool-1-thread-1	 办理业务;
pool-1-thread-2	 办理业务;
//可以看到当我们任务书为5且处理速度非常快时,我们就用核心的corePoolSize就可以满足任务需求

当任务数量变多或者任务变重时:如将我们的任务数量调整为20时,此时运行结果为:

pool-1-thread-1	 办理业务;
pool-1-thread-3	 办理业务;
pool-1-thread-2	 办理业务;
pool-1-thread-3	 办理业务;
pool-1-thread-1	 办理业务;
pool-1-thread-4	 办理业务;
pool-1-thread-1	 办理业务;
pool-1-thread-3	 办理业务;
pool-1-thread-2	 办理业务;
pool-1-thread-5	 办理业务;
pool-1-thread-4	 办理业务;
pool-1-thread-1	 办理业务;
pool-1-thread-3	 办理业务;
pool-1-thread-1	 办理业务;
pool-1-thread-2	 办理业务;
Exception in thread "main" java.util.concurrent.RejectedExecutionException: Task com.yuxue.juc.threadPool.MyThreadPoolDemo$$Lambda$1/558638686@6d03e736 rejected from java.util.concurrent.ThreadPoolExecutor@568db2f2[Running, pool size = 5, active threads = 0, queued tasks = 0, completed tasks = 15]
	at java.util.concurrent.ThreadPoolExecutor$AbortPolicy.rejectedExecution(ThreadPoolExecutor.java:2063)
	at java.util.concurrent.ThreadPoolExecutor.reject(ThreadPoolExecutor.java:830)
	at java.util.concurrent.ThreadPoolExecutor.execute(ThreadPoolExecutor.java:1379)
	at com.yuxue.juc.threadPool.MyThreadPoolDemo.main(MyThreadPoolDemo.java:27)

发生了异常,且任务只执行完了15个,我们可以看到其中active threads = 0, queued tasks = 0也就是说我的阻塞队列已经满了,且没有空闲的线程了,此时再申请任务我就会抛出异常,这是线程池handler参数的拒绝策略,当我们更改策略为ThreadPoolExecutor.CallerRunsPolicy()时,运行结果当中存在main 办理业务;语句,也就意味着线程池将某些任务回退到了调用者,另外的两个拒绝策略在此就不演示

5.4 合理配置线程池你是如何考虑的?

  1. CPU密集型:

    • CPU密集的意思是该任务需要大量的运算,而没有阻塞,CPU一直全速运行
    • CPU密集任务只有在真正多核CPU上才可能得到加速(通过多线程) 而在单核CPU上,无论你开几个模拟的多线程该任务都不可能得到加速,因为CPU总的运算能力就那些
    • CPU密集型任务配置尽可能少的线程数量

    一般公式:CPU核数+1个线程的线程池

  2. IO密集型

    • 由于IO密集型任务线程并不是一直在执行任务,则应配置经可能多的线程,如CPU核数 * 2
    • IO密集型,即该任务需要大量的IO,即大量的阻塞。在单线程上运行IO密集型的任务会导致浪费大量的 CPU运算能力浪费在等待。
    • 所以在IO密集型任务中使用多线程可以大大的加速程序运行,即使在单核CPU上,这种加速主要就是利用 了被浪费掉的阻塞时间。
    • IO密集型时,大部分线程都阻塞,故需要多配置线程数:

    参考公式:CPU核数/(1-阻塞系数) 阻塞系数在0.8~0.9之间

例如八核CPU:,利用公式,约为:8/(1-0,9)=80个线程

上一篇:多线程处理


下一篇:python多进程和多线程效率比较,ProcessPoolExecutor,ThreadPoolExecutor