百度外卖的同仁主要分享了他们自己的运维平台,知识点都在平台上,下面记录的比较零散,有需要的小伙伴可以留言跟我要PPT~
GPDB在百度外卖的实践
物理架构:
- 总共60个节点
- 单个节点1T多的数据
- 总空间100T左右
- 目前已经使用80T左右
选型:
前期使用Hadoop平台,上面计算用Impala,使用过程中,发现Impala无法满足业务场景下,数据查询快速返回,经过选型,选择了Greenplum。
监控平台实践:
- 分布键监控策略 - 分布键是否经常用于join;分布键数据分布是否均匀
- 角色资源分配 - 根据角色重要性分配资源,对于资源要求高的情况,动态的调整资源
- 锁 - 根据Greenplum的锁机制,实现了操作影响范围提示功能,当操作一个SQL时,提示可能导致的锁影响范围
技术点
- 有时候一些满查询,从Master杀掉后,在segment依然可以看到,也就是说杀不干净,这时候可以使用ps -ax查询到相关进程并杀掉
Ends~