云计算知识点-02

  • 简述云服务基本概念及体系结构的理解?

    ​ 云服务的商业模式是通过繁殖大量创业公司提供丰富的个性化产品,以满足市场上日益膨胀的个性化需求。其繁殖方式是为创业公司提供资金、推广、支付、物流、客服一整套服务,把自己的运营能力像水和电一样让外部随需使用。

    云计算的体系结构由5部分组成,分别为应用层,平台层,资源层,用户访问层和管理层,云计算的本质是通过网络提供服务,所以其体系结构以服务为核心。

  • 简述云计算使用的虚拟化技术主要有哪些?

    ​ 当前的虚拟化技术有:服务器虚拟化、CPU虚拟化、程序虚拟化、操作系统虚拟化、硬件虚拟化、完全虚拟、超虚拟化、桌面虚拟化、操作系统级的虚拟化等。其中比较简单的是操作系统虚拟化。即其中一台计算机可以运行相同类型的多个操作系统。这种虚拟化可以将一个操作系统的多个服务器隔离开来。通过这种虚拟化可以减少服务器的数量,提高服务器的使用效率,可以在一定程度上摆脱物理上的空间限制,实现随时随地随需的*掌控。

  • 简述OpenStack的主要组件及其功能?

    keystone(身份服务模块),其作用是:认证管理服务、提供了其余所有组件的认证信息/令牌的管理、创建、修改等等。

    Nova(计算服务组件),其作用是:计算资源的管理,实例生命周期的管理(虚拟机),对外提供Restful API通信。

    Glance(镜像服务组件),其作用是:提供虚拟机镜像的存储,查询和检索功能,为nova进行服务,依赖于存储服务(存储镜像本身)和数据库服务(存储镜像相关的数据)。

    Swift(对象存储服务模块)其作用是:提供高可用分布式对象存储服务,特点是无限和扩展没有单点故障。

    Cinder(块存储服务模块)其作用:管理所有块存储设备,为虚拟机提供存储服务。

    Neutorn(网络服务组件)其作用:为云计算提供虚拟的网络功能,为每个不同的租户建立独立的网路环境。

    Ceilometer(监控服务组件)其作用是:为上层的计费、结算或者监控应用提供统一的资源使用数据收集功能。

    Horizon(控制台服务)其作用是:提供了以Web形式对所有节点的所有服务的管理,通常把该服务成为Dashboard。

  • 简述HDFS的基本架构

    ​ HDFS采用的是主从结构,一个HDFS集群是由一个NameNode和一定数目的DataNodes组成的。NameNode是HDFS的元数据节点,负责系统的命名空间(NameSpace)管理,以及客户端对文件的访问。Secondary NameNode会周期性地合并fsimage和edits log日志文件,并且将edits log的大小保持在一定范围内。DataNode是HDFS文件系统的工作节点,DataNode会按照客户端或者是NameNode的调度来存储和检索数据,并定期向NameNode发送它所存储的数据块列表,DataNode是文件系统中真正存储数据的地方。

  • 简述Yarn的架构及其构件功能

    主要由ResourceManager、 NodeManager、ApplicationMaster 和 Container组

    ResourceManager(RM)
    RM是一个全局的资源管理器,负责整个系统的 资源管理和分配。它主要由两个组件构成:调度器(Schedule)和应用程序管理器(Application Manager, ASM)

    ApplicationMaster(AM)

    ApplicationMaster管理一个在YARN内运行的应用程序的每个实例。ApplicationMaster负责协调来自ResourceManager的资源,并通过NodeManager监视容器的执行和资源的使用(cpu、内存等资源分配)NodeManager(NM)

    NodeManager管理一个YARN集群中的每个节点。NodeManager提供针对集群中每个节点的服务,从监督对一个容器的终身管理到监视资源和跟踪节点健康。MRv1通过插槽管理Map和Reduce任务执行,而NodeManager管理抽象容器,这些容器代表着可供一个特定应用程序使用的针对每个节点的资源。YARN继续使用HDFS层。它的主要NameNode主要用于元数据服务,而DataNode用于分散在一个集群中的复制存储服务。

    Container
    Container是YARN中的资源抽象,它封装了某个节点上的多维度资源,如内存,CPU,磁盘,网络等。当AM向RM申请资源时,RM为AM返回的资源便是用Container表示的。

  • 简述HBase的数据模型与架构

    HBase的数据模型包含:
    Name Space:
    HBase有两个自带的命名空间,分别是hbase和default,
    hbase中存放的是HBase内置的表
    default表是用户默认使用的命名空间

    基本架构

    Region Server:

    Region Server 为 Region 的管理者,其实现类为HRegionServer,

    主要作用是操作 数据 和 Region

    Master:

    Master 是所有 Region Server 的管理者,其实现类为HMaster,

    主要作用是操作 表 和 RegionServer ,分配regions 到每个 RegionServer,监控每个 RegionServer 的状态,负载均衡和故障转移

    Zookeeper:

    通过 zookeeper 来做Master的高可用、 RegionServer的监控、 元数据的入口以及集群配置的维护等工作

    HDFS:

    HDFS为HBase提供高可用的支持

  • 上一篇:Python爬虫入门


    下一篇:Faiss原理和使用总结-    1.数据准备:首先需要将数据转换为高维向量,这些向量可以是图像、文本或商品的embeddings。    2.建立索引:使用Faiss提供的索引结构对向量进行索引,以便快速检索。    3.相似度查询:在实际应用中,如文本召回,可以通过Faiss快速找到与给定query最相似的top k个商品或文档。    4.性能优化:Faiss通过量化和高效的搜索算法显著降低了相似度查询的时间复杂度,提高了查询每秒(QPS)的处理能力。 Faiss的优势: