模仿OpenStack写自己的RPC

在openstack中使用两种通信方式,一种是Restful API,另一种是远程过程调用RPC。本片文章主要讲解openstack中RPC的使用方式,以及如何在我们自己的架构中使用RPC。

在我前面的一篇文章《基于Rabbitmq的RPC调用》中已经简单的介绍过RPC,Rabbitmq两种技术,openstack中的RPC调用实现是自己的通用库oslo_message,该库是对基于Rabbitmq实现的RPC的一个封装。

一、技术介绍

nova模块是openstack中最核心的服务,nova模块使用了众多的RPC服务将业务解耦,如:nova-api; nova-conductor; nova-scheduler; nova-compute等。每一个服务都是一个RPC的服务端,同时每一个服务都是一个RPC的客户端。

模仿OpenStack写自己的RPC

service服务启动的就是nova的RPC服务

模仿OpenStack写自己的RPC

nova各个服务启动时就是开启了一个RPC的服务端,在调用其他服务时会创建一个客户端,通过客户端调用到相应的服务。以nova创建虚拟机为例,在上图的第三步中,nova-scheduler选择好计算节点,将创建虚拟机的信息通过RPC发送给计算节点。代码经过RPC客户端的封装和调用,本文的重点就是如何调用RPC客户端。

模仿OpenStack写自己的RPC

 cctxt = self.client.prepare(version=version)

 cctxt.cast(context,'select_destinations',**kw) 

这里的client是 rpc.get_client(target,serializer=serializer),见下图。

模仿OpenStack写自己的RPC

通过查找rpc的导入路径,可以发现rpc是从nova模块中导入。

模仿OpenStack写自己的RPC

rpc.py 在get_client函数中,返回了messaging的调用。

模仿OpenStack写自己的RPC

这里的messaging就是来自oslo_messaging库。

模仿OpenStack写自己的RPC

从rpc.py中可知,客户端来自messaging,其实就是oslo_messaging。所以能够看出openstack中RPC的实现封装在oslo_messagin库当中。

oslo_messaging其内部的实现暂时先不管,我们已经知道了调用其接口就能驾驭这个已经封装好的oslo_messaging库来完成自己的一些功能。下面就模拟openstack使用oslo_messaging来完成自己的功能。

二、代码移植

要使用oslo_messagin封装好的RPC,主要步骤分为如下几步:

  1. 安装oslo_messaging库
  2. 安装rabbitmq消息队列
  3. 创建消息队列用户名
  4. 设置用户权限
  5. 创建配置文件
  6. 调用oslo_messaging中客户端,服务器端
  7. 启动服务

1、安装oslo_messaging库

pip install oslo_messaging oslo_config

2、安装rabbitmq

apt-get install rabbitmq-server

3、创建消息队列用户名

rabbitmqctl add_user openstack stack2018

4、设置权限

rabbitmqctl set_permissions openstack ".*" ".*" ".*"

其中步骤2,步骤3,步骤4对很对读者来说肯定十分眼熟,不错,流程和openstack安装Message queue是一样一样的。

模仿OpenStack写自己的RPC

5、创建配置文件

my.conf

[DEFAULT]

url = 'rabbit://openstack:stack2018@127.0.0.1:5672/'

用户名:openstack ,密码:stack2018

6、调用oslo_messaging,完成客户端和服务器端

oslo_message_server.py

#coding:utf-8

from oslo_config import cfg
import oslo_messaging
import time
 
class ServerControlEndpoint(object):
 
    def __init__(self, server):
        self.server = server
 
    def stop(self, ctx):
        if self.server:
            self.server.stop()
 
class AddEndpoint(object):
 
    def add(self, ctx, a,b):
        print 'revice message'
        return a+b #从配置文件中加载transport_url。在openstack中,账号、密码、端口号等都是从配置文件中读取,支持可配置的。
#配置文件的内容通过oslo_config库读取。
opts = [
    cfg.StrOpt('url', default='0.0.0.0'),
] CONF = cfg.CONF
CONF.register_opts(opts) CONF(default_config_files=['my.conf']) #transport_url是指定实现RPC的底层技术,可以使rabbitmq,也可以是别的技术
#从my.conf文件中读取到该URL。
transport_url = CONF.url transport = oslo_messaging.get_transport(cfg.CONF,transport_url)  #target用来指定该rpc server监听在哪些队列上。
#target指定了2个参数:topic和server。
target = oslo_messaging.Target(topic='test', server='server1') #可供别人调用的方法类
endpoints = [
    ServerControlEndpoint(None),
    AddEndpoint(),
] #创建Server对象时,需要指定Transport、Target和一组endpoint
server = oslo_messaging.get_rpc_server(transport, target, endpoints,
                                       executor='blocking')
try:
    server.start()
    print 'The Server!'
    while True:
        time.sleep(1)
except KeyboardInterrupt:   
    print("Stopping server")
 
server.stop()

service文件中使用两个openstack通用库,除了oslo_messaging之外,还有一个oslo_config。首先说oslo_config,这个库的主要功能是从配置文件或者命令行中读取特定信息。在openstack的安装过程中,需要配置各种参数,例如nova.conf中配置rabbitmq。

模仿OpenStack写自己的RPC

同样,我们在配置文件中也配置了transport_url,通过oslo_config读取配置的值。下面的client也是一样,通过oslo_config读取配置信息。另外一个就是主角oslo_messaging的调用。创建一个RPC的服务端,需要四个参数,分别是:

  1. transport
  2. target
  3. endpoints
  4. executor

他们的功能分别是:

  1. transport        RPC功能的底层实现方法,这里是rabbitmq的消息队列的访问路径
  2. target             指定RPC topic交换机的匹配信息和绑定主机
  3. endpoints      是可供别人远程调用的方法,也是RPC中的远程函数
  4. executor        服务的运行方式,单线程或者多线程

通过这四个参数,形成一个可调用的RPC服务端,服务以阻塞的方式在后台运行。

oslo_message_client.py

#coding:utf-8

from oslo_config import cfg
import oslo_messaging opts = [
    cfg.StrOpt('url', default='helloworld'),
] CONF = cfg.CONF
CONF.register_opts(opts) CONF(default_config_files=['my.conf']) transport_url = CONF.url  
transport = oslo_messaging.get_transport(cfg.CONF,transport_url)  
target = oslo_messaging.Target(topic='test')  
client = oslo_messaging.RPCClient(transport, target)  
r = client.call({}, 'add', a=2,b=3)
print 'result :',r #Target对象的属性在RPCClient对象构造之后,还可以通过prepare()方法修改,
#可以修改的属性包括exchange,topic,namespace,version,server,fanout和retry。
#修改后的target属性只在这个prepare()方法返回的对象中有效。 cctxt = client.prepare(version='1.0')
r_two = cctxt.call({},'add',a=2,b=3)
print 'result_two :',r_two

客户端调用了oslo_messaging.RPCClient()方法,这个方式就是openstack调用oslo_messaging库的方法。通过传入参数:transport:消息处理的端点;target:消息队列中topic的路由关键字,能够准确定位到要发送的消息队列的。另外如果创建的client客户端是共用的,而具体使用时还要修改自己的特性的话,可以使用client.prepare这个方法来修改client的参数。例如代码中使用该方法修改了client的版本号。这样和openstack的代码就是保持了一致。

7、开启服务

先开启服务器

模仿OpenStack写自己的RPC

运行客户端,调用远程函数

模仿OpenStack写自己的RPC

一次RPC的远程调用就完成了,同时这也是贴近openstack源码的RPC使用方式,很方便在自己的架构中移植这种现有的技术。

最后还有一个小彩蛋。在安装rabbitmq的主机上,进入路径   cd /usr/lib/rabbitmq/bin/,然后执行命令

rabbitmq-plugins enable rabbitmq_management

在浏览器中进入地址 http://localhost:15672,使用账号 guest/guest 登录,能打开rabbitmq的监控界面。

模仿OpenStack写自己的RPC

上一篇:爬虫入门之scrapy模拟登陆(十四)


下一篇:《C和指针》---指针