简述云服务基本概念及体系结构的理解?
云服务的商业模式是通过繁殖大量创业公司提供丰富的个性化产品,以满足市场上日益膨胀的个性化需求。其繁殖方式是为创业公司提供资金、推广、支付、物流、客服一整套服务,把自己的运营能力像水和电一样让外部随需使用。
云计算的体系结构由5部分组成,分别为应用层,平台层,资源层,用户访问层和管理层,云计算的本质是通过网络提供服务,所以其体系结构以服务为核心。
简述云计算使用的虚拟化技术主要有哪些?
当前的虚拟化技术有:服务器虚拟化、CPU虚拟化、程序虚拟化、操作系统虚拟化、硬件虚拟化、完全虚拟、超虚拟化、桌面虚拟化、操作系统级的虚拟化等。其中比较简单的是操作系统虚拟化。即其中一台计算机可以运行相同类型的多个操作系统。这种虚拟化可以将一个操作系统的多个服务器隔离开来。通过这种虚拟化可以减少服务器的数量,提高服务器的使用效率,可以在一定程度上摆脱物理上的空间限制,实现随时随地随需的*掌控。
简述OpenStack的主要组件及其功能?
keystone(身份服务模块),其作用是:认证管理服务、提供了其余所有组件的认证信息/令牌的管理、创建、修改等等。
Nova(计算服务组件),其作用是:计算资源的管理,实例生命周期的管理(虚拟机),对外提供Restful API通信。
Glance(镜像服务组件),其作用是:提供虚拟机镜像的存储,查询和检索功能,为nova进行服务,依赖于存储服务(存储镜像本身)和数据库服务(存储镜像相关的数据)。
Swift(对象存储服务模块)其作用是:提供高可用分布式对象存储服务,特点是无限和扩展没有单点故障。
Cinder(块存储服务模块)其作用:管理所有块存储设备,为虚拟机提供存储服务。
Neutorn(网络服务组件)其作用:为云计算提供虚拟的网络功能,为每个不同的租户建立独立的网路环境。
Ceilometer(监控服务组件)其作用是:为上层的计费、结算或者监控应用提供统一的资源使用数据收集功能。
Horizon(控制台服务)其作用是:提供了以Web形式对所有节点的所有服务的管理,通常把该服务成为Dashboard。
简述HDFS的基本架构
HDFS采用的是主从结构,一个HDFS集群是由一个NameNode和一定数目的DataNodes组成的。NameNode是HDFS的元数据节点,负责系统的命名空间(NameSpace)管理,以及客户端对文件的访问。Secondary NameNode会周期性地合并fsimage和edits log日志文件,并且将edits log的大小保持在一定范围内。DataNode是HDFS文件系统的工作节点,DataNode会按照客户端或者是NameNode的调度来存储和检索数据,并定期向NameNode发送它所存储的数据块列表,DataNode是文件系统中真正存储数据的地方。
简述Yarn的架构及其构件功能
主要由ResourceManager、 NodeManager、ApplicationMaster 和 Container组
ResourceManager(RM)
RM是一个全局的资源管理器,负责整个系统的 资源管理和分配。它主要由两个组件构成:调度器(Schedule)和应用程序管理器(Application Manager, ASM)
ApplicationMaster(AM)
ApplicationMaster管理一个在YARN内运行的应用程序的每个实例。ApplicationMaster负责协调来自ResourceManager的资源,并通过NodeManager监视容器的执行和资源的使用(cpu、内存等资源分配)NodeManager(NM)
NodeManager管理一个YARN集群中的每个节点。NodeManager提供针对集群中每个节点的服务,从监督对一个容器的终身管理到监视资源和跟踪节点健康。MRv1通过插槽管理Map和Reduce任务执行,而NodeManager管理抽象容器,这些容器代表着可供一个特定应用程序使用的针对每个节点的资源。YARN继续使用HDFS层。它的主要NameNode主要用于元数据服务,而DataNode用于分散在一个集群中的复制存储服务。
Container
Container是YARN中的资源抽象,它封装了某个节点上的多维度资源,如内存,CPU,磁盘,网络等。当AM向RM申请资源时,RM为AM返回的资源便是用Container表示的。
简述HBase的数据模型与架构
HBase的数据模型包含:
Name Space:
HBase有两个自带的命名空间,分别是hbase和default,
hbase中存放的是HBase内置的表
default表是用户默认使用的命名空间
基本架构
Region Server:
Region Server 为 Region 的管理者,其实现类为HRegionServer,
主要作用是操作 数据 和 Region
Master:
Master 是所有 Region Server 的管理者,其实现类为HMaster,
主要作用是操作 表 和 RegionServer ,分配regions 到每个 RegionServer,监控每个 RegionServer 的状态,负载均衡和故障转移
Zookeeper:
通过 zookeeper 来做Master的高可用、 RegionServer的监控、 元数据的入口以及集群配置的维护等工作
HDFS:
HDFS为HBase提供高可用的支持