前言
Linux 网络协议栈是根据 TCP/IP 模型来实现的,TCP/IP 模型由应用层、传输层、网络层和网络接口层,共四层组成,每一层都有各自的职责。
应用程序要发送数据包时,通常是通过 socket 接口,于是就会发生系统调用,把应用层的数据拷贝到内核里的 socket 层,接着由网络协议栈从上到下逐层处理后,最后才会送到网卡发送出去。
而对于接收网络包时,同样也要经过网络协议逐层处理,不过处理的方向与发送数据时是相反的,也就是从下到上的逐层处理,最后才送到应用程序。
网络的速度往往跟用户体验是挂钩的,那我们又该用什么指标来衡量 Linux 的网络性能呢?以及如何分析网络问题呢?
这次,我们就来说这些。
二、六大性能调优技术(JVM调优+网络调优+数据库调优+LINUX内核调优+中间件底层探索+容器环境调优)
手绘板(脑图)
1、JVM调优
JVM调优必备理论知识-Gc COLLECTOR-三色标记
垃圾回收算法串讲
JVM常见参数总结
JVM调优实战
JVM(HotSpot)核心源码解读
JVM核心模块(GC算法)手写实战
2、网络调优
TCP内核参数
JAVA API参数
IO模型TRADE OFF
资源隔离优化
网卡、CPU配置调优
网络安全的加密算法与数字签名
3、数据库调优
Mysql性能监控
SCHEMA与数据类型优化
通过执行计划优化
通过索引进行优化
查询优化
参数优化
分布式Mysql优化
SQL注入、WebShell攻击的危险和规避方法
4、LINUX内核调优
单进程最大打开文件数限制
内核内存参数调优
TCP发送KEEPALIVE消息频度
TCP FIN_WAIT_2状态时间
定义UDP和TCP链接的本地端口取值范围
优化TCP接收缓存的最大值、最小值、默认值
优化内核套接字接收缓存区默认大小
优化内核TCP的SYN攻击
内存溢出、内存泄漏的原因与解决
如何高效利用CPU缓存
内存问题分析与性能优化
磁盘I/O性能优化
5、中间件底层探索
Redis6.X核心源码解读
Redis6.X内核编码解读
String/Hash/List/Set/ZSet数据结构解读
Kernel与Epoll多路复用机制底层解读
LRU算法解读
RocketMQ源码解读
6、容器环境调优
镜像体积调优
镜像体积最小化
构建速度最快化
使用CMD VOLUME指令对IMAGE进行服务化
DOCKER网络方案优化
三、关于性能调优你必须知道的几个点
1、性能指标
我们进行性能优化肯定是为了获得更好的性能,那我们怎么去衡量呢?性能指标又是什么呢?一般衡量一个项目(这里指的是网站)的指标有三个:
吞度量:是单位时间内完成的用户或系统的请求数量。
并发数:同时可以去接收多少用户的访问请求。
响应时间:用户发出请求到收到响应的时间间隔。
2、怎么去进行性能分析?
如果我们通过测试发现网站的性能没有达到我们的预期,我们可以通过什么工具去查找到性能瓶颈呢?
① 硬件
用vmstat、sar、iostat检测是否是CPU瓶颈
用free、vmstat检测是否是内存瓶颈
用iostat检测是否是磁盘I/O瓶颈
用netstat检测是否是网络带宽瓶
② 操作系统
进程
文件系统
SWAP分区
内核参数调整
③ 应用程序(Mysql等)
mysqlreport性能分析报告
mysqlsla慢查询日志分析
3、根据三大法则进行性能优化
查找出问题之后我们可以通过三大法则去进行调优,首先确定调优目标,其次具体化调优步骤,最后检测调优结果。
4、性能调优就是运维工程师的事?
其实在我看来性能优化是一个团队的事情,为什么这么说,比如我们需要在网上做一个商城,大体的流程应该是这样的:
- 运营提出需求
- 产品整理需求
- 开发开发具体的业务应用
- 运维搭建开发环境
- QA进行项目测试
- 运维进行项目上线
- 监控进行项目监控
这么多部门的参与,可能出现在产品,也可能出现在程序上,也可能是运维的环境搭建的有问题。只是参加性能调优的更多的是开发、运维、测试和监控。
总结:绘上一张Kakfa架构思维大纲脑图(xmind)
其实关于Kafka,能问的问题实在是太多了,扒了几天,最终筛选出44问:基础篇17问、进阶篇15问、高级篇12问,个个直戳痛点,不知道如果你不着急看答案,又能答出几个呢?
若是对Kafka的知识还回忆不起来,不妨先看我手绘的知识总结脑图(xmind不能上传,文章里用的是图片版)进行整体架构的梳理
梳理了知识,刷完了面试,如若你还想进一步的深入学习解读kafka以及源码,那么接下来的这份《手写“kafka”》将会是个不错的选择。
-
Kafka入门
-
为什么选择Kafka
-
Kafka的安装、管理和配置
-
Kafka的集群
-
第一个Kafka程序
-
Kafka的生产者
-
Kafka的消费者
-
深入理解Kafka
-
可靠的数据传递
-
Spring和Kafka的整合
-
SpringBoot和Kafka的整合
-
Kafka实战之削峰填谷
-
数据管道和流式处理(了解即可)
-
Kafka的集群
-
第一个Kafka程序
-
Kafka的生产者
-
Kafka的消费者
-
深入理解Kafka
-
可靠的数据传递
-
Spring和Kafka的整合
-
SpringBoot和Kafka的整合
-
Kafka实战之削峰填谷
-
数据管道和流式处理(了解即可)
[外链图片转存中…(img-Jab9fxY7-1618473472035)]