高并发(outline&factors)

高并发(outline&factors)

本篇和大家聊聊我理解的并发中我们需要学习的东西,我们之前的博文已经写了

  • 并发编程(异步的方式提高程序的整体性能)
  • 分布式消息中间件(部分)

后续我的想法是聊:

  • 分布式存储(优化IO部分)
  • 分布式架构(服务治理等->架构层面的优化)
  • 性能优化(Jvm、Tomcat、MySQL、算法)

有时候发现学习一些技术,并不知道他有什用处,所以本篇,我想对并发这里这的一些点做一个梳理,看看什么时候可以使用什么技术。这里使用一个1000w用户的并发问题来阐述使在并发中用什么技术能够达到问题落地。

1000w用户问题的分解

当我们收到这样一个需求的时候,我们关心的肯定是TPS(客户端发送一个请求,服务端返回一个请求)、QPS(每秒查询数量-1个TPS中可能有多个QPS)、并发数、RT(平均响应时长)、DAU(日活)等,我们需要根据这些指标对整个架构进行设计。

通过数据进行判断】,在之前的系统运行期间,肯定有监控,可以知道那个页面的QPS等这些参数是多少

通过经验判断】:二八定律(这里想清楚一个概念,1000w的用户不一定是1000w的并发数,因为这些用户不可能实时的访问)按照这个定律来讲,

  • 一天访问的用户量可能就占用了20%(200w),假设每个用户点击50次,那我们的pv就是1个亿
  • 再次按照这个法则,每天大部分活跃用户的集中在一天中的20%的时间去访问(这个就是峰值,淘宝的一天访问量就下午的两点,和晚上的九点)。
  • 那一天是24小时的20%那就是5个小时。那就意味着有(1亿pv的80%)8000w的pv在一天内的5个小时中集中访问。
  • 那就意味着每秒大概有4500个的请求(这个意味着是这5个小时的平均值,不包括峰值),
  • 按照经验我们把这个数字4500*4=18000个请求1s(峰值),最终就算出来了,我们服务器要承载的是18000/s(qps)
  • 并发量=QPS*RT  比如说一个请求,平均处理速度是3s 那就是18000*3=54000(并发数) 那1000w的用户,我们的服务器要支撑54000/S的并发数

知道了并发数量,那我们就开始设计架构,首先我们要知道影响我们并发的因素有哪些,以及如何优化:

Tomcat:

(请求到首先到Tomcat,在NIO的模式下,默认的数量是1w,如果请求超过1w,那Tomcat就拒收请求,tomcat内部把请求变成一个个request转发到我们的controller中,所以首先优化连接数量  

系统层:

  • 优化连接数量:一个请求就是一个连接数量。一个请求过来就会生成一个FD文件在linux中,默认情况下一个进程能够打开的文件是1024个,所有用户的进程打开文件上限改为65536      高并发(outline&factors)
  • 修改系统层面的连接数:一个tcp连接有两个缓冲区一个是4096(缓冲区和&接受缓存区)会占用8kb的内存(那对于一个8G的内存,最多我们支持的是100w(服务器能够支撑的并发数量)  高并发(outline&factors) 高并发(outline&factors)

应用层:

  • NIO: 他采用了多路复用机制,当一个请求过来他不阻塞,这样就可以处理N个连接
  • 线程池:max-therad(设置工作线程数量 默认是200)  max-connection(最大连接数量  在NIO模式下默认是1000)

查看tomcat官网http://tomcat.apache.org/tomcat-8.0-doc/config/http.html

高并发(outline&factors)

JVM:Tomcat是用java写的,那我们肯定要看对JVM进行优化,jvm其实就是一个虚拟机,我们的VMware一样,他也有自己的内存等。我们针对两点进行调优:

  • GC算法和内存空间:空间不足的情况下就会导致频繁GC,随之就会暂停所有线程,那就会造成系统卡顿,那就会造成请求堆积。后面关于JVM调优这里我会专门写一篇博文。

服务器数量评估】:

  服务器可以支撑的并发可以通过压测得出,比如一台服务器可以支撑500个qps, 那我们的18000就需要36台服务器,天哪,太多了,实际上我们这样干公司要换人了。我们肯定是针对频繁访问的服务进行机器的堆积。那服务器的架构就是这样的,比如我这个服务是需要5台Tomcat集群,然后我们给tomcat前面架Nginx集群进行分发,防止Nginx挂,我们给他前面放LVS对他进行主备。

应用层面(RT值)】:业务逻辑处理的本质就是io

  • 查询数据库(磁盘IO):数据库层面的优化、分库分表、索引、读写分离、so on
  • 访问磁盘(磁盘iIO):磁盘的页缓存(异步刷盘、同步刷盘)、顺序读写、零拷贝、mmp(内存映射、减少拷贝次数)、异步化
  • 内存运算(内存IO):内存缓存
  • 远程通讯(rpc)(网络io):池化技术(一次性创建多个连接)、长链接、同网段通信(内网通信)、减少网络通信的场景
  • 数据结构算法

架构层面分布式架构(分摊压力,提升性能,单点增加服务等优势使其成为承载并发的一个利器)

高并发(outline&factors)

上一篇:python | 秦九昭算法详细介绍


下一篇:c语言:找1000中的“完数”