Java架构师的升级之路,腾讯T3手把手教你

二、资深架构师平时要解决的问题


如下的问题均是来源于实际,出于项目保密的原则,本人隐去了关键性的业务描述,但大家都能看懂,并能感受到架构师平时要解决问题的难度。

问题一,A公司有财务管理人事管理等10个左右的项目,它们在产线上,需要标准化管理,比如用同一个Maven仓库,不论功能业务如何,得用同一套配置管理服务,用同一套日志管理和分析组件,还得用同一套大数据组件来根据不同的业务维度来分析数据。

如果是重新搭建一套系统,这个难度也不小,更何况,对资深架构师的要求是,在历史项目的技术上做标准化管理,否则每个项目各管各的,维护成本大不算,不同项目间的库还很容易产生冲突。架构师要在保持业务稳定的前提下实现这点,大家可以考虑下难度。

问题二,随着B公司业务量的上升,数据库里的数据达到了T级,所以需要通过分库分表来实现优化。这本身不难,但如何在升级的过程中保持业务的稳定?不能说上个功能点,关键业务就挂了,而且,万一上线后出现问题,得提供应急的回退方案。

问题三,C公司是个创业型公司,刚开始的时候,通过SSM外加Oracle,能满足大多数的业务需求,但随着业务量的提升,需要资深架构在短时间里实现针对高并发和大数据的方案,比如并发量高了,系统至少不能垮,而且针对每笔订单,处理可以稍作延迟,但不能丢数据。

问题四,D公司需要在linux上搭建一套和产线一样的测试环境,在平时的开发过程中,各业务组可以通过工具,在测试环境上部署或回退本项目的组件,这里,不仅要搭建测试环境,更要通过jenkins等工具给各业务组搭建一套能便捷部署系统的工具。

除了上述的问题之外,资深架构更像一个救火队员,比如在公司的业务体系里,任何一个团队报出的和架构相关的问题,比如调消息队列有延迟,调分库分表时报内存OOM异常了,或者因Dubbo底层而导致的延迟或OOM,资深架构得能亲自或带领手下解决具体的问题。

三、和高级开发相比,资深架构一定得精通的技能(或素质)


其实高级开发和资深架构在需要掌握的技能方面,并没太大的差别,具体而言,能帮助实现性能优化的分布式组件和数据库组件(或者叫中间件)也就这么多,linux下的操作命令也就这么些,一些系统管理的工具,比如Maven,Jenkins,ant等的用法也不难。但和高级开发相比,资深架构的差别在于如下几点。

①. 资深架构解决的问题种类和数量要比高级开发多很多,所谓神枪手得靠子弹喂出来,有些问题,比如针对Kafka消息中间件的问题,资深架构一看日志就知道该怎么改,或者一看log4j错误信息就知道和其它哪些类有冲突了,又如,在搭建线程池时遇到了OOM问题,资深架构估计也能通过简单地看日志,也能快速定位问题所在。也就是说,资深架构已经积累了很多处理问题的经验,遇到一般问题时,无需再通过比较耗时的debug看问题根源,往往在脑子里已经存储了大量可能会导致问题的原因,再通过查看关键日志即可定位到具体的代码点,然后就能很快地给出解决方案。

②. 在给出解决方案时,比如要上个分布式redis集群,或者上个消息中间件,对高级开发而言,往往会有很多试错的时间,比如上线后有某些功能点没调通,得通过Debug或查日志来逐一解决问题,或上线某个基于python的大数据分析系统后,虽然能满足基本的功能,但在某个场景(比如写日志线程并发量太多)里,可能会导致OOM异常。而对资深架构来说,往往之前已经做过同类事情,所以能避免很多坑(少了很多试错成本和时间),而且由于对底层代码比较熟悉,所以哪怕出现比较疑难的问题(比如不能稳定重现),资深架构能通过看日志很快定位到具体的底层类,(而高级开发一般对此就束手无策了)。相比之下,资深架构的中流砥柱效应就能体现出来。

③. 资深架构一般具有对各组件的差别非常了解,比如做分布式队列,该先用Kafka还是rabbitMQ,或者搭建数据库集群时,该用MySQL里的哪种引擎。这样,在选型时,由于知道了各种方案的优缺点,所以能知道哪类方案更适合本业务系统,或者说,通过重写哪类组件的底层代码,能很快地搭建起满足本系统的中间件组件。这点,高级开发未必能做到。

总结一下,资深架构得对关键组件的底层非常了解,并且精通针对某些组件(比如消息组件,分库组件)的实施和排查问题的能力,此外,资深架构的基本功也得非常扎实。

①. debug能力就不用说了,得能熟练地通过linux命令,从各类日志中发现并解决问题。

②. 无需了解所有组件的底层代码(这太难了,也做不到),但需要了解一些常用组件的关键底层实现(比如Spring IOC或常用中间件) 方式,更得具备到组件内部jar里debug排查问题的能力。

③. 学习能力更不说了,和高级开发相比,资深架构更得了解哪类组件该学,而且,每个组件内部的知识太多,比如Kafka的知识就能写至少一本书,对于资深架构而言,首先需要用较短的时间了解该组件(比如kafka)的架构以及和其它分布式组件(比如Flume)的整合方式,而且还得具备过滤知识的能力,即知道哪些知识不用学。这样一旦有需求,就可以较快地搭建出系统原型骨架,随后再逐步完善功能效果。

四、对于程序员而言,如何高效地升级到架构或资深架构?


当我还处在一般开发和高级开发的中间水平时,我认为我能很快地升级到架构师的水平,所谓无知者无畏。当我迈出升级的步伐时,刚开始,我突然发现升级的难度很大,从而无处下手,因为平时我缺乏实践架构师技能的实战机会。现在,通过一些努力,我虽然没有自信说自己一定达到了架构师的水平,但大多数架构师能干的活,我勉强能做好。而且我平时也在不断揣摩身边技术架构的思考方式和解决问题的方法,所以在这方面我自认为给出的建议不会耽误大家。

首先是巩固自己基本功方面的建议。

①. 学再多的视频和材料,也不及动手实践一个案例。

比如,大家在学习消息队列时,一定得动手搭建个环境,最好用虚拟机模式分布式的场景,这时可能就有同学说了,环境太难搭建,怎么办?自己查资料,这种动手能力对架构师而言就属于基本功,如果这也做不好,那么也没希望升级到架构师了。

类似这样,大家可列个学习列表,网上升级到架构师的系列视频很多,质量高的也不少,都是别人的经验之谈,但如果就看理论,或者看关键点,这连架构师的面试都通过不了,更何况做实际的架构师的活。

②. 平时不能畏难,一定得多解决问题。

在平时工作中,一定会出很多问题,而且不少是出在核心代码和底层代码里,这时就一定得通过看日志等方式去排查问题。 我知道,对很多想升级的高级开发而言,刚开始的时候一定很难,比如linux命令都不熟,或者效率很慢,别人都找出问题点了,自己才刚打开日志。其实大家都这样过来的,多查多练,最多三个月,动手能力一定能提升。

③. 得锻炼自己在linux里(或在分布式环境里)部署系统部署组件的能力,尤其是部署集群的能力,在此基础上,通过各种工具能进行压力测试。

上一篇:【硬刚Hadoop】HADOOP MAPREDUCE(4):MapReduce工作流程


下一篇:MapReduce学习+案例