运维自动化-Ansible ( 一 )

2022-01-16 15:15:37

前言

天天说运维，究竟是干什么的？先看看工作流程呗。一般来说，运维工程师在一家企业里属于个位数的岗位，甚至只有一个。面对生产中NNN台服务器，NN个人员,工作量也是非常大的。
所以嘛，图中的我好歹也会配置盔甲的。

运维自动化-Ansible ( 一 )

这就是我主要干的事情（呵呵）

运维自动化-Ansible ( 一 )

就算你会很厉害的脚本，面对成百上千，甚至上万的主机，效率问题将会困扰你的。
因此，有没有解放的工具呢？

Ansible 是什么

Ansible 简单的说是一个配置管理系统(configuration management system)。你只需要可以使用 ssh 访问你的服务器或设备就行。它也不同于其他工具，因为它使用推送的方式，而不是像 puppet 等那样使用拉取安装agent的方式。你可以将代码部署到任意数量的服务器上!

Ansible能做什么

ansible可以帮助我们完成一些批量任务，或者完成一些需要经常重复的工作。
比如：同时在100台服务器上安装nginx服务，并在安装后启动它们。
比如：将某个文件一次性拷贝到100台服务器上。
比如：每当有新服务器加入工作环境时，你都要为新服务器部署某个服务，也就是说你需要经常重复的完成相同的工作。
这些场景中我们都可以使用到ansible。

Ansible特性

 模块化：调用特定的模块，完成特定任务
 有Paramiko，PyYAML，Jinja2（模板语言）三个关键模块
 支持自定义模块
 基于Python语言实现
 部署简单，基于python和SSH(默认已安装)，agentless
 安全，基于OpenSSH
 支持playbook编排任务
 幂等性：一个任务执行1遍和执行n遍效果一样，不因重复执行带来意外情况
 无需代理不依赖PKI（无需ssl）
 可使用任何编程语言写模块
 YAML格式，编排任务，支持丰富的数据结构
 较强大的多层解决方案

Ansible架构

运维自动化-Ansible ( 一 )

Ansible工作原理

运维自动化-Ansible ( 一 )

Ansible主要组成部分功能说明

 PLAYBOOKS：
            任务剧本（任务集），编排定义Ansible任务集的配置文件，由Ansible顺序依次执行，通常是JSON格式的YML文件
 INVENTORY：
            Ansible管理主机的清单/etc/anaible/hosts
 MODULES：
            Ansible执行命令的功能模块，多数为内置的核心模块，也可自定义,ansible-doc –l 可查看模块
 PLUGINS：
            模块功能的补充，如连接类型插件、循环插件、变量插件、过滤插件等，该功能不常用
 API：
            供第三方程序调用的应用程序编程接口
 ANSIBLE：
            组合INVENTORY、 API、 MODULES、PLUGINS的绿框，可以理解为是ansible命令工具，其为核心执行工具

注意事项

 执行ansible的主机一般称为主控端，中控，master或堡垒机
 主控端Python版本需要2.6或以上
 被控端Python版本小于2.4需要安装python-simplejson
 被控端如开启SELinux需要安装libselinux-python
 windows不能做为主控端

安装Ansible

安装方法有很多，这里仅仅以Centos yum安装为例。

Ansible默认不在标准仓库中，需要用到EPEL源。

请自行参考
https://mirrors.aliyun.com/help/centos

#yum install ansible

运维自动化-Ansible ( 一 )

#ansible --version
ansible 2.4.2.0
  config file = /etc/ansible/ansible.cfg
  executable location = /usr/bin/ansible
  python version = 2.7.5

Ansible 功能详解

配置文件

配置文件或指令	描述
/etc/ansible/ansible.cfg	主配置文件，配置ansible工作特性
/etc/ansible/hosts	主机清单
/etc/ansible/roles/	存放角色的目录
/usr/bin/ansible	主程序，临时命令执行工具
/usr/bin/ansible-doc	查看配置文档，模块功能查看工具
/usr/bin/ansible-galaxy	下载/上传优秀代码或Roles模块的官网平台
/usr/bin/ansible-playbook	定制自动化任务，编排剧本工具
/usr/bin/ansible-pull	远程执行命令的工具
/usr/bin/ansible-vault	文件加密工具
/usr/bin/ansible-console	基于Console界面与用户交互的执行工具

Ansible 配置文件

Ansible 配置文件/etc/ansible/ansible.cfg （一般保持默认）
 [defaults]
 #inventory = /etc/ansible/hosts # 主机列表配置文件
 #library = /usr/share/my_modules/ # 库文件存放目录
 #remote_tmp = $HOME/.ansible/tmp #临时py命令文件存放在远程主机目录
 #local_tmp = $HOME/.ansible/tmp # 本机的临时命令执行目录
 #forks = 5 # 默认并发数
 #sudo_user = root # 默认sudo 用户
 #ask_sudo_pass = True #每次执行ansible命令是否询问ssh密码
 #ask_pass = True      #连接时提示输入ssh密码
 #remote_port = 22     #远程主机的默认端口，生产中这个端口应该会不同
 #log_path = /var/log/ansible.log #日志
 #host_key_checking = False # 检查对应服务器的host_key，建议取消注释。也就是不会弹出
                                Are you sure you want to continue connecting (yes/no)?

实验规划

实验环境：VMware Workstation Pro 14（试用版）
系统平台：
CentOS Linux release 7.4.1708 (Core)       内核  3.10.0-693.el7.x86_64
最小化安装

实验环境：VMware Workstation Pro 14（试用版）
系统平台：
CentOS release 6.9 (Final)             内核  2.6.32-696.el6.x86_64
最小化安装

主机名	系统版本	IP地址	功能
7-web-0	Centos 7.4	192.168.7.200	Ansible主控端
6-dns-1	Centos 6.9	192.168.7.254	DNS服务器
6-web-1	Centos 6.9	192.168.7.201	服务器
7-web-2	Centos 7.4	192.168.7.202	服务器
7-db-3	Centos 7.4	192.168.7.203	服务器

除了6-DNS-1以外，所有的主机的DNS均指向192.168.7.254

正向区域设置
#dig -t axfr hunk.tech

; <<>> DiG 9.8.2rc1-RedHat-9.8.2-0.62.rc1.el6 <<>> -t axfr hunk.tech
;; global options: +cmd
hunk.tech.      600 IN  SOA 6-dns-1.hunk.tech. admin.hunk.tech. 24 720 600 86400 10800
hunk.tech.          600 IN  NS  6-dns-1.hunk.tech.
6-dns-1.hunk.tech.  600 IN  A   192.168.7.254
6-web-1.hunk.tech.  600 IN  A   192.168.7.201
7-db-3.hunk.tech.   600 IN  A   192.168.7.203
7-web-0.hunk.tech.  600 IN  A   192.168.7.200
7-web-2.hunk.tech.  600 IN  A   192.168.7.202
hunk.tech.          600 IN  SOA 6-dns-1.hunk.tech. admin.hunk.tech. 24 720 600 86400 10800

Inventory 主机清单

Ansible必须通过Inventory 来管理主机。Ansible 可同时操作属于一个组的多台主机,组和主机之间的关系通过 inventory 文件配置。

语法格式：

单台主机
green.example.com    >   FQDN
192.168.100.10       >   IP地址
192.168.100.11:2222  >   非标准SSH端口

[webservers]         >   定义了一个组名     
alpha.example.org    >   组内的单台主机
192.168.100.10 

[dbservers]
192.168.100.10       >   一台主机可以是不同的组，这台主机同时属于[webservers] 

[group:children]     >  组嵌套组，group为自定义的组名，children是关键字，固定语法，必须填写。
dns                  >  group组内包含的其他组名
db                   >  group组内包含的其他组名

[webservers] 
www[001:006].hunk.tech > 有规律的名称列表，
这里表示相当于：
www001.hunk.tech
www002.hunk.tech
www003.hunk.tech
www004.hunk.tech
www005.hunk.tech
www006.hunk.tech

[databases]
db-[a:e].example.com   >   定义字母范围的简写模式,
这里表示相当于：
db-a.example.com
db-b.example.com
db-c.example.com
db-d.example.com
db-e.example.com

以下这2条定义了一台主机的连接方式，而不是读取默认的配置设定
localhost       ansible_connection=local
www.163.com     ansible_connection=ssh        ansible_ssh_user=hunk

最后还有一个隐藏的分组，那就是all，代表全部主机,这个是隐式的，不需要写出来的。

Inventory 参数说明

ansible_ssh_host
      将要连接的远程主机名.与你想要设定的主机的别名不同的话,可通过此变量设置.

ansible_ssh_port
      ssh端口号.如果不是默认的端口号,通过此变量设置.这种可以使用 ip:端口 192.168.1.100:2222

ansible_ssh_user
      默认的 ssh 用户名

ansible_ssh_pass
      ssh 密码(这种方式并不安全,我们强烈建议使用 --ask-pass 或 SSH 密钥)

ansible_sudo_pass
      sudo 密码(这种方式并不安全,我们强烈建议使用 --ask-sudo-pass)

ansible_sudo_exe (new in version 1.8)
      sudo 命令路径(适用于1.8及以上版本)

ansible_connection
      与主机的连接类型.比如:local, ssh 或者 paramiko. Ansible 1.2 以前默认使用 paramiko.1.2 以后默认使用 'smart','smart' 方式会根据是否支持 ControlPersist, 来判断'ssh' 方式是否可行.

ansible_ssh_private_key_file
      ssh 使用的私钥文件.适用于有多个密钥,而你不想使用 SSH 代理的情况.

ansible_shell_type
      目标系统的shell类型.默认情况下,命令的执行使用 'sh' 语法,可设置为 'csh' 或 'fish'.

ansible_python_interpreter
      目标主机的 python 路径.适用于的情况: 系统中有多个 Python, 或者命令路径不是"/usr/bin/python",比如  \*BSD, 或者 /usr/bin/python 不是 2.X 版本的 Python.
      我们不使用 "/usr/bin/env" 机制,因为这要求远程用户的路径设置正确,且要求 "python" 可执行程序名不可为 python以外的名字(实际有可能名为python26).

      与 ansible_python_interpreter 的工作方式相同,可设定如 ruby 或 perl 的路径....

上面的参数用这几个例子来展示可能会更加直观

some_host         ansible_ssh_port=2222     ansible_ssh_user=manager
aws_host          ansible_ssh_private_key_file=/home/example/.ssh/aws.pem
freebsd_host      ansible_python_interpreter=/usr/local/bin/python
ruby_module_host  ansible_ruby_interpreter=/usr/bin/ruby.1.9.3

第一条 Ansible 命令

很重要的一点，主机清单必须要先配置，由于这搭建了内部DNS服务器，所以，这里的主机使用了FQDN名称。

#cat /etc/ansible/hosts 
[web]
6-web-1.hunk.tech
7-web-0.hunk.tech
7-web-2.hunk.tech

[group:children]
dns
db

[dns]
6-dns-1.hunk.tech

[db]
7-db-3.hunk.tech

192.168.7.[200:203]
192.168.7.254

#ansible dns -m ping       # 使用ansible对dns组内的主机进行ping模块测试

运维自动化-Ansible ( 一 )
非常抱歉哦，竟然是失败的。为什么呢？Ansible是基于ssh进行工作的，那么当ssh一台远程主要的时候，是不是需要输入密码呢？可是这一条指令并没有提示输入口令呢

#ansible dns -m ping -k
加上-k选项后，会提示输入ssh密码了。

运维自动化-Ansible ( 一 )

另外，值得注意的是，当指令成功和失败都会有不同的颜色反映出来，配以changed :false,changed :SUCCESS,可以让我们非常清晰的知道执行的结果。

当主机数量多的时候，输入密码可不是一个好差事呢？前面的章节已经讲过主机之间可以使用基于密钥的SSH链接。为了更方便的管理主机，这个章节的实验都用这种方法。

基于key的免密码登录

#ssh-keygen
#ssh-copy-id 6-web-1.hunk.tech
#ssh-copy-id 6-DNS-1.hunk.tech
#ssh-copy-id 7-web-0.hunk.tech
#ssh-copy-id 7-web-2.hunk.tech
#ssh-copy-id 7-db-3.hunk.tech

现在就不会再提示密码的问题了。

#ansible all -m ping
6-web-1.hunk.tech | SUCCESS
7-web-0.hunk.tech | SUCCESS
7-web-2.hunk.tech | SUCCESS
7-db-3.hunk.tech | SUCCESS 
6-dns-1.hunk.tech | SUCCESS 
192.168.7.201 | SUCCESS 
192.168.7.200 | SUCCESS

是不是很简单呀，Ansible用的指令也不是太多，可以使用man ansible和官方网站去查询。http://docs.ansible.com/ansible/latest/

Ansible常用命令语法

ansible <host-pattern> [-m module_name] [options]
指令 匹配规则的主机清单 -m 模块名 选项

--version 显示版本
-a 模块参数（如果有）
-m module 指定模块，默认为command
-v 详细过程 –vv -vvv更详细
--list-hosts 显示主机列表，可简写--list
-k, --ask-pass 提示连接密码，默认Key验证
-K，--ask-become-pass 提示使用sudo密码
-C, --check 检查，并不执行
-T, --timeout=TIMEOUT 执行命令的超时时间，默认10s
-u, --user=REMOTE_USER 执行远程执行的用户
-U， SUDO_USER, --sudo-user 指定sudu用户
-b, --become 代替旧版的sudo 切换

ansible-doc: 显示模块帮助
ansible-doc [options] [module...]

-a 显示所有模块的文档
-l, --list 列出可用模块
-s, --snippet 显示指定模块的简要说明

例子：#ansible-doc ping

由于ansible的模块有1378个(2.4.2.0),并且一直在持续更新。因此，这个指令必须要掌握的。
#ansible-doc -l |wc -l
1378

Ansible 主机匹配列表

通配符

注意用单引号
*  匹配任意字符
#ansible '*' -m ping   等同于 #ansible all -m ping

#ansible '*dns*' -m ping
6-dns-1.hunk.tech | SUCCESS

? 匹配单个字符
#ansible '192.168.7.20?' -m ping
192.168.7.201 | SUCCESS
192.168.7.203 | SUCCESS
192.168.7.202 | SUCCESS
192.168.7.200 | SUCCESS

: 或者
#ansible '192.168.7.201:192.168.7.254' -m ping
192.168.7.201 | SUCCESS
192.168.7.254 | SUCCESS

:& 并且  (逻辑与)
#ansible 'test3:&test' --list

  hosts (1):
    192.168.7.254

:! 逻辑非。在test3组内，但是并不在test组内
#ansible 'test3:!test' --list       > 用到感叹号的时候，记得引号为单引号，否则会被bash解析为历史命令

  hosts (2):
    192.168.7.200
    192.168.7.203

使用正则表达式
~表示后面是正则匹配，注意~后面不能有空格
#ansible '~[67]-(db|dns).*\.hunk.*' --list

  hosts (2):
    6-dns-1.hunk.tech
    7-db-3.hunk.tech

这里写一条正则的坑,我们在用bash脚本的时候，匹配数字可以使用[0-9]或[[:digit:]],在用Ansible的时候，我们来看下不同的效果吧

#cat /etc/ansible/hosts 

[web]
6web-1.hunk.tech
7web-0.hunk.tech
7web-2.hunk.tech

[group:children]
dns
db

[dns]
6-dns-1.hunk.tech

[db]
7-db-3.hunk.tech
[test2]
192.168.7.[200:203]
192.168.7.254
[test]
192.168.7.254

[test3]
192.168.7.200
192.168.7.254
192.168.7.203

DNS都是可以正确解析出来的，不要怀疑
6-dns-1.hunk.tech.  600 IN  A   192.168.7.254
6-web-1.hunk.tech.  600 IN  A   192.168.7.201
7-db-3.hunk.tech.   600 IN  A   192.168.7.203
7-web-0.hunk.tech.  600 IN  A   192.168.7.200
7-web-2.hunk.tech.  600 IN  A   192.168.7.202

#ansible '~^[[:digit:]]' --list     有人说这种写法会报错，可是主机都是centos7.4，版本都是一样
  hosts (7):                         这里匹配出7台主机
    192.168.7.200
    192.168.7.201
    192.168.7.202
    192.168.7.203
    192.168.7.254
    6-dns-1.hunk.tech
    7-db-3.hunk.tech

#ansible '~^[0-9]' --list
  hosts (10):                       这里匹配出10台主机
    6web-1.hunk.tech
    6-dns-1.hunk.tech
    7-db-3.hunk.tech
    7web-0.hunk.tech
    7web-2.hunk.tech
    192.168.7.254
    192.168.7.201
    192.168.7.200
    192.168.7.203
    192.168.7.202

#ansible '~^[[:digital:]]' --list
  hosts (10):                       这里匹配出10台主机
    6web-1.hunk.tech
    7web-0.hunk.tech
    7web-2.hunk.tech
    192.168.7.200
    192.168.7.201
    192.168.7.202
    192.168.7.203
    192.168.7.254
    6-dns-1.hunk.tech
    7-db-3.hunk.tech

分享2个正则表达式的网址
https://en.wikipedia.org/wiki/Regular_expression#POSIX_basic_and_extended

python2的
https://docs.python.org/2/library/re.html

不同软件对正则的表达都不一样，还是用那些通用性强的吧。

[0-9]纯数字
[a-zA-Z0-9]数字和字母

Ansible 的命令执行过程

以 ansible db -m command -a 'ls -l /' -vvv 这条命令为例，根据显示的信息时行解读

1. 加载自己的配置文件，默认/etc/ansible/ansible.cfg
    Using /etc/ansible/ansible.cfg as config file

2.匹配主机清单
    Parsed /etc/ansible/hosts inventory source with ini plugin

3. 加载指令对应的模块文件，如command，生成.py的文件到本机的临时目录，这个目录就是在/etc/ansible/ansible.cfg定义的
    Using module file /usr/lib/python2.7/site-packages/ansible/modules/commands/command.py
    PUT /tmp/tmp4JvsLH TO /root/.ansible/tmp/ansible-tmp-1517301292.6-155771303493861/command.py

4. 通过ansible将模块或命令生成对应的临时py文件，并将该文件传输至远程服务器的对应执行用户$HOME/.ansible/tmp/ansible-tmp-数字/XXX.PY文件，
    这个目录就是在/etc/ansible/ansible.cfg定义的
    ( umask 77 && mkdir -p "` echo /root/.ansible/tmp/ansible-tmp-1517301292.6-155771303493861 `" ....)
    sftp> put /tmp/tmp4JvsLH /root/.ansible/tmp/ansible-tmp-1517301292.6-155771303493861/command.py\n'

5. 给文件+x 权限
    'chmod u+x /root/.ansible/tmp/ansible-tmp-1517301292.6-155771303493861/ /root/.ansible/tmp/ansible-tmp-1517301292.6-155771303493861/command.py && sleep 0'

6. 执行并返回结果
    '/usr/bin/python /root/.ansible/tmp/ansible-tmp-1517301292.6-155771303493861/command.py;

7. 删除临时py文件，sleep 0退出
    rm -rf "/root/.ansible/tmp/ansible-tmp-1517301292.6-155771303493861/" > /dev/null 2>&1 && sleep 0

8.断开远程主机连接
    'Shared connection to 7-db-3.hunk.tech closed.\r\n')

执行结果状态

 绿色：执行成功并且不需要做改变的操作

 ×××：执行成功并且对目标主机做变更

 红色：执行失败

可以在配置文件中定义
[colors]
#highlight = white
#verbose = blue
#warn = bright purple
#error = red
#debug = dark gray
#deprecate = purple
#skip = cyan
#unreachable = red
#ok = green
#changed = yellow
#diff_add = green
#diff_remove = red
#diff_lines = cyan

本文转自 ljpwinxp 51CTO博客，原文链接:http://blog.51cto.com/191226139/2066936

码农公寓

前言

Ansible 是什么

Ansible能做什么

Ansible特性

Ansible架构

Ansible工作原理

Ansible主要组成部分功能说明

安装Ansible

Ansible 功能详解

配置文件

Ansible 配置文件

实验规划

Inventory 主机清单

Inventory 参数说明

第一条 Ansible 命令

基于key的免密码登录

Ansible常用命令语法

Ansible 主机 匹配列表

通配符

Ansible 的命令执行过程

执行结果状态

相关文章

Ansible 主机匹配列表