Ansible Dynamic Inventory 管理阿里云资源

2022-03-31 03:38:34

Ansible 作为一款主流的自动化运维工具，可同时操作一台或者多台机器。当机器逐渐增多，机器角色越来越复杂多样时，分组管理就变得必不可少了。Ansible可同时操作属于一个组的多台主机，组和主机之间的关系通过 Inventory 文件进行配置。

Ansible Inventory 分为静态 Inventory 和动态 Inventory 两部分。

静态 Inventory 指的是在一个静态文件中，预先配置主机名称，主机地址，连接信息，连接方式等，如：

[targets]

localhost              ansible_connection=local
other1.example.com     ansible_connection=ssh        ansible_user=mpdehaan
other2.example.com     ansible_connection=ssh        ansible_user=mdehaan
10.0.2.23              ansible_connection=ssh        ansible_user=mdehaanip

在 playbook 中，我们可以直接指定组名或者特定的hots的名称。

动态 Inventure 指的是通过外部脚本自动获取主机列表，并按照设置的分组方式自动对主机列表进行分组，同时按照 ansible 所要求的格式返回给 ansilbe 命令。如下是阿里云动态 Inventory 获取到的一部分的主机信息：

{
  "_meta": {
    "hostvars": {
      "i_bp171m264ryt9*******": {
        "ansible_ssh_host": "47.98.xx.xx", 
        "availability_zone": "cn-hangzhou-g", 
        "block_device_mapping": [
          ...
        ], 
        ...
        "host_name": "iZbp171m264ryt9******Z", 
        "id": "i-bp171m264ryt9*******", 
        "image_id": "ubuntu_16_0402_64_20G_alibase_20180409.vhd", 
        "inner_ip_address": "", 
        ...
        "tags": {
          "env": "dev"
        }      }, 
      "i_bp1i1aitghkkq*******": {
        "ansible_ssh_host": "47.96.xx.xx", 
        "availability_zone": "cn-hangzhou-g", 
        "block_device_mapping": [
          ...
        ], 
        "eip": {
          ...
          "ip_address": "47.96.xx.xx"
        }, 
        ...
        "host_name": "terraform", 
        "id": "i-bp1i1aitghkkq*******", 
        "image_id": "m-bp1243pi65bw8*****", 
        "inner_ip_address": "", 
        ...
      }, 
      ...
    }
  }
},
"alicloud": {
  "children": [
    "i_bp1i1aitghkkq*******", 
    "i_bp171m264ryt9*******"
  ]
},
"cn-hangzhou": [
  "i_bp1i1aitghkkq*******", 
  "i_bp171m264ryt9*******"
],
"cn-hangzhou-g": [
  "i_bp1i1aitghkkq*******", 
  "i_bp171m264ryt9c******"
],

动态 Inventory 通常通过调用服务 API 或者接入库查询的方式，自动查询返回主机列表，并更新 Inventory 的主机信息，以应对主机资源动态的增减的场景。

阿里云已经提供了动态 Inventory 文件，利用该文件可实现对指定过滤条件的主机信息的动态获取。

环境准备

由于目前阿里云的动态 Inventory 处在被官方集成的过程中，因此在使用之前，需要安装 Inventory 依赖的组件 ansible_alicloud_module_utils。该组件用于 Inventory 对 OpenAPI 请求的调用：

# 直接使用 Pip 完成对 Ansible Alicloud Module Utils 的安装
$ sudo pip install ansible_alicloud_module_utils

在组件ansible_alicloud_module_utils的安装过程中，会自动安装 Ansible 和组件的依赖，如 footmark，阿里云 Python sdk等。完成安装后，通过命令 pip show footmark 来确保 footmark 的版本大于 1.9.0:

$ pip show footmark
Name: footmark
Version: 1.9.0
Summary: A Python interface to Aliyun Web Services
Home-page: UNKNOWN
Author: xiaozhu
Author-email: heguimin36@163.com
License: MIT
Location: /Library/Python/2.7/site-packages
Requires: aliyun-python-sdk-core, aliyun-python-sdk-ecs, aliyun-python-sdk-slb, aliyun-python-sdk-vpc, aliyun-python-sdk-rds, aliyun-python-sdk-ess, oss2, importlib
Required-by: ansible-alicloud, ansible-alicloud-module-utils

如果，版本号为满足要求，可通过命令 sudo pip install footmark --upgrade 完成对 footmark 版本的升级。

显示地指定阿里云 Inventory

和其他 Inventory 一样，阿里云的动态 Inventory 也有两种使用方式：“显示指定” 和 “默认指定”。所谓“显示指定”，就是在执行 Ansible 命令时以参数 -i 显示地指定动态 Inventory 文件。

下载 Inventory

下载最新版本的阿里云动态 Inventory 文件，并为其赋予可执行权限：

$ wget https://raw.githubusercontent.com/alibaba/ansible-provider/master/contrib/inventory/alicloud.py
$ chmod +x alicloud.py

下载获取与阿里云动态 Inventory 配套的 alicloud.ini 配置文件，并将其放到 alicloud.py 所在到目录：

$ wget https://raw.githubusercontent.com/alibaba/ansible-provider/master/contrib/inventory/alicloud.ini

在配置文件 alicloud.ini 中，包含多种配置选项，包括缓存控制和目的地址变量，主机所在region，主机的属性等。基于该文件来实现对主机信息的自定义过滤。

访问预配置

在调用 Inventory 文件前，需要指定所使用的 AccessKey 和 SecretKey，他们可以直接定义在配置文件 alicloud.ini 中：

alicloud_access_key = Abcd1234
alicloud_secret_key = Abcd2345

也可以直接通过环境变量进行指定：

$ export ALICLOUD_ACCESS_KEY = Abcd1234
$ export ALICLOUD_SECRET_KEY = Abcd2345

访问验证

如何知道配置是否正确，可通过执行 Inventory 文件来测试：

$ ./alicloud.py --list

你可以看到以 JSON 格式表示的覆盖所有 regions 的 inventory 信息。正如上文中展示的。

如果你只想获取部分 region 的信息，可以编辑 alicloud.ini，输入目标 Regions。除此之外，还可通过 alicloud.ini 中的 instance_filters过滤所有的主机信息。

阿里云的动态 Inventory 提供了一种从多个组到实例的映射：

Global  
所有的实例都属于 alicloud 这个组。如：

 "alicloud": {
     "children": [
       "i_bp1i1aitghkkq*******", 
       "i_bp171m264ryt9*******"
     ]
  },

实例ID

主机的ID。例如:

"i-bp171m264ryt9******": [
      "i_bp171m264ryt9******"
], 
"i-bp1i1aitghkkq******": [
      "i_bp1i1aitghkkq*****"
],

Region

属于一个阿里云 region 的所有实例构成的一个组。例如:

"cn-hangzhou": [
    "i_bp1i1aitghkkq*******", 
    "i_bp171m264ryt9*******"
  ],

可用性Zone

属于同一个可用区的所有实例构成一个组。例如:

"cn-hangzhou-g": [
      "i_bp1i1aitghkkq*******", 
      "i_bp171m264ryt9c******"
],

安全组

实例可属于一个或多个安全组。每一个组的前缀都是 security_group_。例如：

"security_group_sg_bp1cp0behw74aa******": [
    "i_bp1i1aitghkkqp******"
], 
"security_group_sg_bp1dtemf7bv5******": [
    "i_bp171m264ryt9******"
],

标签Tag

每一个实例有多个不同的 key/value 键值对。这些键值对被称为标签。标签名可以随意定义，每一个键值对是一个组。特殊字符已被转换为下划线，格式为 tag_KEY_VALUE 例如:

"tag_acsversion_1_0": [
    "i_t4nd1ehd9umu5******", 
    "i_t4n6v8wv6jue5******"
], 
"tag_env_dev": [
    "i_bp171m264ryt9******"
],

除此之外，还有很多类似属性用于划分主机组，如 VPC ID，VSwitch ID，镜像ID等。

场景使用

一旦确认了阿里云的 Inventory 可以运行，便可将 alicloud.py 作为一个 inventory 应用在 Ansible 具体的使用场景中，如下所示：

$ ansible -i alicloud.py alicloud -m ping
47.93.xx.xx | SUCCESS => {
    "changed": false, 
    "ping": "pong"
}
47.93.xx.xx | SUCCESS => {
    "changed": false, 
    "ping": "pong"
}

如果在运行的过程遇到如下问题：

47.93.xx.xx| UNREACHABLE! => {
    "changed": false, 
    "msg": "Failed to connect to the host via ssh: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).\r\n", 
    "unreachable": true
}
47.93.xx.xx | UNREACHABLE! => {
    "changed": false, 
    "msg": "Failed to connect to the host via ssh: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).\r\n", 
    "unreachable": true
}

需在执行的时候指定主机实例的用户名和密码：

$ ansible -i alicloud.py alicloud -m ping -u root -k
SSH password: 

47.93.xx.xx | SUCCESS => {
    "changed": false, 
    "ping": "pong"
}
47.93.xx.xx | SUCCESS => {
    "changed": false, 
    "ping": "pong"
}

Refresh 主机信息

值得注意的是，阿里云的动态 Inventory 文件会将每次执行结果进行缓存，以避免重复的 API 调用。这个缓存的设置可通过编辑 alicloud.ini 文件中的 cache_path 进行配置。如果想要显式地清空缓存，可以在执行Inventory时加上 --refresh-cache:

$ ./alicloud.py --refresh-cache

默认地指定阿里云 Inventory

除了显示地指定阿里云的 Inventory 文件，还可将动态 Inventory 配置为默认的 Inventory。在安装完 ansible 之后，ansible inventory 默认为 /etc/ansible/hosts。

下载最新版本的阿里云动态 Inventory 文件，并为其赋予可执行权限，之后用其替换默认 Inventory：

$ wget https://raw.githubusercontent.com/alibaba/ansible-provider/master/contrib/inventory/alicloud.py
$ chmod +x alicloud.py
$ sudo cp alicloud.py /etc/ansible/hosts

下载阿里云动态 Inventory 的配置文件，并将其移动到默认 Inventory 所在的目录 /etc/ansible:

$ wget https://raw.githubusercontent.com/alibaba/ansible-provider/master/contrib/inventory/alicloud.ini
$ sudo cp alicloud.ini /etc/ansible

运行如下命令进行验证：

ansible alicloud -m ping

写在最后

目前阿里云不断地与主流开源工具 Ansible 进行集成，包括对阿里云资源 Module 的开发，动态 Inventory 的提供等，不断提升开发者体验，提高企业运维效率。

目前阿里云已经提供了超过 20 个 Module，涉及多个阿里云产品和资源，欢迎大家积极使用。

如果您在使用阿里云Module的过程中，遇到任何问题，可随时在 GitHub ansible-provider 上提交 Issue，我们将尽快予以解决。

码农公寓