C++ & Linux后端开发进阶之:C++的开源项目

在前文 C++ & Linux后端进BAT的学习路线 中,讲述了C++后端的学习路线。进一步,本文讲解两个问题:

  • 怎么阅读学习C++源码
  • 学习哪些C++项目

怎么学习

在介绍具体的C++项目之前,先介绍我自己学习开源项目、阅读源码的方式:

  1. 首先!!!要学会使用这个项目。以STL为例,应该极少有人学习STL是直接从阅读STL源码开始的,基本都是从学习std::vectorstd::list等容器的使用方式开始。当你能熟练使用了,才有会更好的基础来对内部实现一探究竟。
  2. 再看看有没有相关书籍、博客介绍源码的,如果有则可以参考。一般比较好的项目都会有相应的博客、书籍。
  3. 掌握gdb,能对源码更深层次的学习,让gdb来帮助你学习。当然,你也选择个人喜好的其他工具。

项目

下面介绍的项目前后紧密联系,不断进阶,对自身能力的提升也呈螺旋式上升。

Nanolog

日志功能,是稍微大点型项目的必备功能,自然也是后端项目的必备。

GitHub上有个纳秒级低延迟项目:Nanolog。不过这项目有两个版本,原版本是基于C++17实现的Nanolog-17,还有个C++11的实现的Nanolog-11。他们是基于std::atomic实现的高性能多线程无锁日志。仔细研究一番,值得写入简历。

by the way

看一项目,不能就光看懂完事,要对他的一些指标进行考核,比如Nanolog中有benchmark,进行性能测试。对一个项目你需要了解的层次:

  • 内部实现原理:怎么实现无锁多线程,怎么保证数据同步之类。
  • 性能:这个很重要,面试的过程中,涉及到项目几乎都会问。

你还需要知道你在复写这个项目时,遇到了哪些问题。毕竟看懂不代表是你的,只有你真的能写出来,调试过其中的问题,才能理解的更加深刻。

libuv

libevent或者libuv,非常好的事件库,代码量相对较少:

  • 二者整体设计上也是符合《Linux高性能服务器编程》书中设计
  • libuv对于慢速任务有独特的处理,能增加你对多线程编程的理解:多线程对IO密集型任务有效,但是对资源密集型,增加线程数是无效的,可以看看libuv是怎么处理的。
  • 此外,libevent的C++版本就是muduo

我个人阅读的是muduolibuv。此外,muduo作者陈硕还有一本书籍《Linux多线程服务端》讲解了设计一个多线程服务器的要点。

by the way

libuv/muduo这类项目,一开始阅读的时候,最大困难在于理解回调函数机制。他们的处理流程大致如下:

  1. 先注册可读、可写事件;
  2. 再等待可读、可写事件触发;
  3. 触发后,在回调函数中处理相应的读写事件。

有的回调函数链可能会很长,难以理解,这个时候就需要gdb帮你理清这个链路。因此,在学习开源库之前,建议先学习下gdb调试。有时间,我也还准备写个使用gdb阅读开源项目的文档,或者录制个视频。

如果libuv熟悉了,可以基于libuv写个webserver也不错。记住:

  • 要记录过程中遇到的问题;
  • 写完做个压力测试。

推荐项目:

uv-cpp:  https://github.com/wlgq2/uv-cpp

RPC

RPC(Remote Procedure Call),即远程过程调用。可以通俗地理解为服务器为客户端提供服务。比如Redis,由客户端向Redis服务器发起请求,server在接受到请求后进行处理,最后把结果返回给客户端。

RPC框架的源码一般比较多,比如gRPC、bRPC等,但是一开始学习RPC会找不到重点,gRPC、bRPC代码量也会很大。在校招时间允许的范围内,先选择一个熟练使用。

有个更加简单的RPC项目libjson-rpc,可以帮助你理解RPC:

  • libjson-rpc
    • 底层负责网络通信的网络库设计,比如上面的libuv、muduo等
    • 传输协议的前后的序列化方式
    • 服务器怎么处理数据,怎么确定一个请求执行什么操作
  • json-tutorials 教程详细讲述了怎么设计一个json解析器、生成器,不过是C语言版本。对应的C++是 rapidJson,作者是同一个人。

推荐项目

https://github.com/szza/jrpc

这个项目两个好处:

  • 传承至libjson-rpcmuduo,如果遵循上面的建议,那么jrpc会非常好懂。
  • 底层的网络通信基于c++11设计,更加方便理解。
  • 中间的Json设计,基于json-tutorials 改进,也是rapidJson的简化
  • 里面还有文档专门描述了这个RPC的过程。

你甚至可以将Nanolog融入到这个项目中,实现日志功能。因此,这个项目不仅能让你理解RPC,还能把之前学的项目串联起来,融为一体,颇为丰富。

protobuf

如果时间有余,可以看看protobuf使用。

coroutine

libuv、muduo、redis等都是基于事件驱动的回调函数机制,你学完也肯会觉得回调函数这种机制链比较复杂。在golang中有了coroutine(协程)后,C++中也开始有了coroutine库,使用同步思想完成异步任务。经历过前面的项目,会更加深刻的感受到 coroutine 的便利。

此时,如果还有余力,可以看看怎么实现一个协程库。刚开始可以从云风的coroutine项目开始,他用的是Linux下封装的ucontext函数簇,实现了一个共享栈协程模型,学完要知道:

  • 协程怎么切换的
  • 协程之间怎么调度的

如果上面都完成了,有能力可以去看看bRPC的怎么实现的bthread,bthread是一个多线程多协程模型,相对复杂,bRPC就是基于bthread建立起来的。在bRPC有详细的官网文档可以参考,可以看看里面的设计思想。

by the way

最后建议一点,在有限的时间内,没有必要去实现 STL 这类项目,因为STL的各个数据结构原理本身不难,但是如果你尝试去实现他却很难,因为STL里涉及到大量的元编程,元编程属于黑魔法,用人脑完成编译器的任务,除了在学习的时候会用到,估计这辈子在公司里都用不到。

有这个时间,不如去看看facebook的C++库folly

上面一个流程,是比较完整的C++后端进阶流程,也是自己之前学习的方法。


感谢你的观看,你的点赞、关注与分享就是对我最大的支持。

上一篇:hdu2876 Connections between cities


下一篇:drf框架之 路飞学城(第二天)