Openstack 通过 SQLAlchemy-ORM 访问数据库

2022-06-25 11:15:28

Demo

Github/JmilkFan/my-code-repertory/openstack

SQLAlchemy

SQLAlchemy 是 Python 下的一款开源软件。提供了 SQL 和对象关系映射(ORM/Object Relational Mappers)工具。使开发者可以像操作对象一般的操作数据库。

SQLAlchemy 1.1 Documentation
SQLAlchemy 1.0 Documentation

数据库的初始化

在部署 Openstack Services 的过程中需要为这些 Services 创建数据库 :

CREATE DATABASE glance;

这时我们其实仅仅是建立了数据库而已, 但是数据库中并没有表结构, 所以 Openstack Services 还提供了一条初始化(同步)数据库的指令 :

glance-manage db_sync

下面是 db_sync的代码实现方式:

# octopunch/octopunch/db/sqlalchemy/migrate_repo/versions/001_octopunch_init.py
def define_tables(meta):
    vcenters = Table(
        'vcenters', meta,
        Column('created_at', DateTime),
        Column('updated_at', DateTime),
        Column('deleted_at', DateTime),
        Column('uuid', String(length=45), primary_key=True),
        Column('vc_value', String(length=255)),
        Column('name', String(length=255)),
        Column('vcs_ip', String(length=255), nullable=False),
        Column('username', String(length=255), nullable=False),
        Column('password', String(length=255), nullable=False),
        mysql_engine='InnoDB'
    )

这些 Table 的定义就是我们数据库表结构的定义, 它会在我们执行数据库初始化指令的时候被用于表的创建.

数据库的操作实现

Openstack Services 对数据库的操作一般就是对数据库中的资源表的操作, 也就是对资源的操作, 所以我们先看看 Openstack 中的资源是怎么定义的.

octopunch/octopunch/api/v1/router.py
mapper.connect() 将Resource URL & Action方法 & Controller & HTTP函数绑定到一起, 实现HTTP请求/资源/操作函数的一一对应.

from octopunch.api.v1 import vcenter


class APIRouter(octopunch.api.openstack.APIRouter):

...

    def _setup_routes(self, mapper, ext_mgr):
        self.resources['versions'] = versions.create_resource()
        mapper.connect("versions", "/",
                       controller=self.resources['versions'],
                       action='show')

        mapper.redirect("", "/")

        self.resources['vcenters'] = vcenter.create_resource(ext_mgr)
        mapper.resource('vcenter', 'vcenters',
                         controller=self.resources['vcenters'])

octopunch/octopunch/api/v1/vcenter.py
每一个 Resource 都会对应有一个 Controller 的类定义, 包含了对应的 Action 方法的实现.

class VcenterController(wsgi.Controller):
...
    def index(self, req):
        """Show all vcenter list."""
        context = req.environ['octopunch.context']
        vcenters = self.vcenter_api.vcenter_list(context)
        return {'vcenters':vcenters}
...
def create_resource(ext_mgr):
    """Vcenter resource factory method."""
    return wsgi.Resource(VcenterController(ext_mgr))

octopunch/octopunch/vsphere/vcenter/api.py
在 Resource 目录下的 api.py 文件中定义对数据库的操作接口.

from octopunch.db import base

class API(base.Base):

    def vcenter_list(self, context, filters=None):
        """Get vcenter list.

        :param context: class:`RequestContext` instance

        :param filters: select data by filter.
        :type: ``dict``

        :return: return a list of class:`VenterInfo` instance
        """
        return self.db.vcenter_get_all(context, filters)

octopunch/octopunch/db/api.py
这一层 API 接口决定使用哪种 ORM 实现和数据库类型, 而且还定义了对应 vcenter/api.py 中数据库操作接口的函数. 这样做是为了支持 Openstack 数据库的异构性. 首先需要在 octopunch/octopunch/db/base.py 中使用self.db.dispose_engine()方法让 Openstack 与数据库建立连接.

# octopunch/octopunch/db/base.py
class Base(object):
    """DB driver is injected in the init method."""

    def __init__(self, db_driver=None):
        # NOTE(mriedem): Without this call, multiple inheritance involving
        # the db Base class does not work correctly.
        super(Base, self).__init__()
        if not db_driver:
            db_driver = CONF.db_driver
        self.db = importutils.import_module(db_driver)  # pylint: disable=C0103
        self.db.dispose_engine()

# octopunch/octopunch/db/api.py
from oslo_db import concurrency as db_concurrency
...

# 指定使用 SQLALchemy, 并指定了 SQLAlchhemy 的接口路径
_BACKEND_MAPPING = {'sqlalchemy': 'octopunch.db.sqlalchemy.api'}
IMPL = db_concurrency.TpoolDbapiWrapper(CONF, _BACKEND_MAPPING)


...
def vcenter_get_all(context, filters=None):
    """Get the vcenter list.

    :param context: class:`RequestContext` instance

    :param filters: select data by filters.
    :type: ``dict``

    :return: return a list of class:`VcenterInfo` instance.
    """
    return IMPL.vcenter_get_all(context, filters=filters)

octopunch/octopunch/db/sqlalchemy/api.py
这里是 SQLAlchemy 操作数据库的具体实现, EG: 查询

@require_context
def vcenter_get_all(context, filters=None):
    session = get_session()
    with session.begin():
        vcenters_info = session.query(models.Vcenter).all()
    return vcenters_info

ORM 的数据库操作方式中, 很重要一部分就是 Table Mapping Class 的实现:

# octopunch/octopunch/db/sqlalchemy/models.py
class Vcenter(BASE, OctopunchBase):
    """Represents the vcenter list."""

    __tablename__ = 'vcenters'
    vc_value = Column(String(255))
    name = Column(String(255))
    vcs_ip = Column(String(255), nullable=False)
    username = Column(String(255), nullable=False)
    password = Column(String(255), nullable=False)

    datacenters = relationship('Datacenter', backref='vcenters',
                               foreign_keys='Datacenter.vcenter_uuid',
                               primaryjoin='Vcenter.uuid =='
                                           'Datacenter.vcenter_uuid')

将上述的 Table 定义映射为 Class之后, 我们就可以通过对 Class instance 的操作来实现对数据库 Table 的操作.

数据库的操作请求

在调试的时候我们可以在客户端通过 curl 指令来发送 HTTP 请求, 一般来说对每个 Resource 的 HTTP 请求都具有下面 5 种类型, 每一种类型都应该在 api/v1/resourceName.py 文件下(针对本文而言, 其实可以有多种实现方式)有相应的 Action 实现函数, 当然我们还可以自定义更多的实现方法.

全部查询

GET <==> show

curl -i 'http://<Service_host_ip>:<service_port>/v1/<project_id>/<ResourceUrl>' -X GET -H "Acceptn" -H "X: admin" -H "X-Auth-Token: <token_id>"

单个查询

GET <==> index

curl -i 'http://<Service_host_ip>:<service_port>/v1/<project_id>/<ResourceUrl>/<ResourceID>' -X GET -H "Acceptn" -H "X-Auth-Project-Id: admin" -H "X-Auth-Token: <token_id>"

创建

POST <==> create

curl -i 'http://<Service_host_ip>:<service_port>/v1/<project_id>/<ResourceUrl>' -X POST -H "Content-Type: application/json" -H "X-Auth-Project-Id: admin" -H "X-Auth-Token: <token_id>" -d '<body_content_dict>'

更新

PUT <==> update

curl -i 'http://<Service_host_ip>:<service_port>/v1/<project_id>/<ResourceUrl>/<ResourceID>' -X PUT -H "Content-Type: application/json" -H "X-Auth-Project-Id: admin" -H "X-Auth-Token: <token_id>" -d '<body_content_dict>'

删除

DELETE <==> delete

curl -i 'http://<Service_host_ip>:<service_port>/v1/<project_id>/<ResourceUrl>/<ResourceID>' -X DELETE -H "Acceptn" -H "X-Auth-Project-Id: admin" -H "X-Auth-Token: <token_id>"

码农公寓

目录