百度外卖分享的Greenplum技术点

百度外卖的同仁主要分享了他们自己的运维平台,知识点都在平台上,下面记录的比较零散,有需要的小伙伴可以留言跟我要PPT~

GPDB在百度外卖的实践

物理架构:

  • 总共60个节点
  • 单个节点1T多的数据
  • 总空间100T左右
  • 目前已经使用80T左右

选型:

前期使用Hadoop平台,上面计算用Impala,使用过程中,发现Impala无法满足业务场景下,数据查询快速返回,经过选型,选择了Greenplum。

监控平台实践:

  • 分布键监控策略 - 分布键是否经常用于join;分布键数据分布是否均匀
  • 角色资源分配 - 根据角色重要性分配资源,对于资源要求高的情况,动态的调整资源
  • 锁 - 根据Greenplum的锁机制,实现了操作影响范围提示功能,当操作一个SQL时,提示可能导致的锁影响范围

技术点

  • 有时候一些满查询,从Master杀掉后,在segment依然可以看到,也就是说杀不干净,这时候可以使用ps -ax查询到相关进程并杀掉

Ends~

上一篇:如何配置通过ODBC方式连接Deepgreen数据库


下一篇:福利来了!!! - PostgreSQL9.5架构图及外存图