saltstack一

Saltstack概述

Salt一种全新的基础设施管理方式,部署轻松,在几分钟内可运行起来,扩展性好,很容易管理上万台服务器,速度够快,服务器之间秒级通讯。

salt底层采用动态的连接总线, 使其可以用于编配, 远程执行, 配置管理等等.

参考中文文档:http://docs.saltstack.cn/zh_CN/latest/topics/tutorials/starting_states.html

参考英文文档:https://docs.saltstack.com/en/latest/

Saltstack运行模式:

  • Local
  • Master/Minion
  • Salt SSH

Saltstack三大功能:

  • 远程执行(执行远程命令)
  • 配置管理(状态管理)
  • 云管理

Saltstack部署环境准备:

1、主机名要固定统一

[root@linux-node1 ~]# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
:: localhost localhost.localdomain localhost6 localhost6.localdomain6
10.0.0.7 linux-node1.example.com linux-node1
10.0.0.8 linux-node2.example.com linux-node2
[root@linux-node1 ~]# cat /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=linux-node1.example.com

而且能够ping通

要想实现自动化运维,首先要满足PPT原则(流程、人员、工具技术)

Saltstack准备环境

两台Centos6.6,10.0.0.7做master,10.0.0.8做minion

1、安装epel和salt组件

# 安装epel源
[root@linux-node1 ~]# rpm -ivh http://mirrors.aliyun.com/epel/epel-release-latest-6.noarch.rpm
# 服务端安装master
[root@linux-node1 ~]# yum -y install salt-master
# 为了做实验,在服务端也安装下客户端
[root@linux-node1 ~]# yum -y install salt-minion
# 客户端安装minion
[root@linux-node2 ~]# yum -y install salt-minion
# 设置开机启动
[root@linux-node1 ~]# chkconfig salt-master on
[root@linux-node1 ~]# chkconfig salt-minion on

提示:如果安装时提示没有依赖包,说明yum源版本不够,可以去saltstack官网http://repo.saltstack.com/#rhel 找到对应系统安装即可(或https://repo.saltstack.com/yum/redhat/里面找相应版本repo文件下载),可能安装的yum文件路径会报错,可以自行对应修改。

设置完成后,可以先讲master启动。然后修改配置文件,需要告诉minion端master是谁。

2、启动master服务

[root@linux-node1 ~]# /etc/init.d/salt-master start
Starting salt-master daemon: [确定]

3、修改两台客户端的配置文件

[root@linux-node1 ~]# egrep "master: 10.0.0.7|#id" /etc/salt/minion
master: 10.0.0.7
#id:

master:master的IP地址

id:默认通过python的方法socket.getfqdn()去获取fqdn名。所以要求设置好主机名并能解析。也可以使用IP地址,看业务需求。

4、启动minion客户端。

[root@linux-node1 ~]# /etc/init.d/salt-minion start
Starting salt-minion daemon: [确定]
[root@linux-node2 ~]# /etc/init.d/salt-minion start
Starting salt-minion daemon: [确定]

5、minion端的认证

# minion启动的时候会创建KEY
[root@linux-node1 /]# ll /etc/salt/pki/minion/
总用量
-r-------- root root 12月 : minion.pem
-rw-r--r-- root root 12月 : minion.pub
# master启动的时候会创建KEY
[root@linux-node1 /]# ll /etc/salt/pki/master/
总用量
-r-------- root root 12月 : master.pem
-rw-r--r-- root root 12月 : master.pub
# 等待同意的Key
[root@linux-node1 /]# ll /etc/salt/pki/master/minions_pre/
总用量
-rw-r--r-- root root 12月 : linux-node1.example.com
-rw-r--r-- root root 12月 : linux-node2.example.com
# 查看需要同意的Key
[root@linux-node1 /]# salt-key
Accepted Keys:
Denied Keys:
Unaccepted Keys:
linux-node1.example.com
linux-node2.example.com
Rejected Keys:
# 执行同意操作 -A 全部同意
[root@linux-node1 /]# salt-key -A
The following keys are going to be accepted:
Unaccepted Keys:
linux-node1.example.com
linux-node2.example.com
Proceed? [n/Y] y
Key for minion linux-node1.example.com accepted.
Key for minion linux-node2.example.com accepted.
# -a 匹配的同意,可以使用*通配符
[root@linux-node1 /]# salt-key -a linux*
# 通过认证的主机位置会发生改变,原本在minion_pre下面
[root@linux-node1 /]# tree /etc/salt/pki/master/
/etc/salt/pki/master/
├── master.pem
├── master.pub
├── minions
│ ├── linux-node1.example.com
│ └── linux-node2.example.com
├── minions_autosign
├── minions_denied
├── minions_pre
└── minions_rejected

其实上面的master下面的minion中的两个主机名命名的文件是minion端的公钥(你要是不信自己打开see),同时在master认证通过的时候,master也偷偷的把他的公钥放到了minion端一份。用事实说话,在minion端上查看。

[root@linux-node2 ~]# ll /etc/salt/pki/minion/
总用量 12
-rw-r--r-- 1 root root 451 12月 28 23:11 minion_master.pub
-r-------- 1 root root 1675 12月 28 23:03 minion.pem
-rw-r--r-- 1 root root 451 12月 28 23:03 minion.pub

6:salt-key命令

[root@linux-node1 /]# salt-key --help
Actions:
-l ARG, --list=ARG List the public keys. The args "pre", "un", and
"unaccepted" will list unaccepted/unsigned keys. "acc"
or "accepted" will list accepted/signed keys. "rej" or
"rejected" will list rejected keys. "den" or "denied"
will list denied keys. Finally, "all" will list all
keys.
-L, --list-all List all public keys. (Deprecated: use "--list all")
-a ACCEPT, --accept=ACCEPT
Accept the specified public key (use --include-all to
match rejected keys in addition to pending keys).
Globs are supported.
-A, --accept-all Accept all pending keys
-r REJECT, --reject=REJECT
Reject the specified public key (use --include-all to
match accepted keys in addition to pending keys).
Globs are supported.
-R, --reject-all Reject all pending keys
--include-all Include non-pending keys when accepting/rejecting
-p PRINT, --print=PRINT
Print the specified public key
-P, --print-all Print all public keys
-d DELETE, --delete=DELETE
Delete the specified key. Globs are supported.
-D, --delete-all Delete all keys

Saltstack远程执行

salt命令  ‘client’ 模块.方法   ‘参数’

[root@linux-node1 /]# salt '*' test.ping
linux-node1.example.com:
True
linux-node2.example.com:
True
[root@linux-node1 /]# salt '*' cmd.run 'w'
linux-node2.example.com:
:: up min, user, load average: 0.00, 0.00, 0.00
USER TTY FROM LOGIN@ IDLE JCPU PCPU WHAT
root pts/ 10.0.0.1 : : .06s .06s -bash
linux-node1.example.com:
:: up min, users, load average: 0.00, 0.00, 0.00
USER TTY FROM LOGIN@ IDLE JCPU PCPU WHAT
root pts/ 10.0.0.1 : .00s .85s .67s /usr/bin/python
root pts/ 10.0.0.1 : : .00s .00s -bash

Saltstack配置管理

1、修改master的配置文件

# 开启base环境
[root@linux-node1 /]# vim /etc/salt/master
:file_roots:
: base:
: - /srv/salt
# 创建目录
[root@linux-node1 /]# mkdir /srv/salt
# 只要改动配置文件就要重启
[root@linux-node1 /]# /etc/init.d/salt-master restart
Stopping salt-master daemon: [确定]
Starting salt-master daemon: [确定]

2:写一个apache的安装sls

[root@linux-node1 salt]# cd /srv/salt/
[root@linux-node1 salt]# cat /srv/salt/apache.sls
apache-install:
pkg.installed:
- names:
- httpd
- httpd-devel
apache-service:
service.running:
- name: httpd
- enable: True
- reload: True
# 在所有minion端,执行state模块下的sls方法,运行apache这个状态
[root@linux-node1 salt]# salt '*' state.sls apache
# 检查是否安装成功
[root@linux-node1 salt]# lsof -i:

apache-install:                                   #ID声明,声明是干什么用的

pkg.installed:                                 #PKG是一个软件包状态模块,installed是其中的方法

- names:                                     #表明要装的包的名字,因为是装多个包

- httpd

- httpd-devel

[root@linux-node1 master]# salt '*' state.sls apache

#使用salt对所有的机器使用state这个模块下的sls方法来执行apache这个状态模块

#如果使用的分目录的方式,执行的方法是:salt '*' state.sls init.apache

3、使用高级状态

要有一个入口文件默认是top.sls,不建议修改,且必须放在base环境目录下。

# top文件,入口文件
[root@linux-node1 salt]# cat /srv/salt/top.sls
base:
'*.example.com':
- apache
# 使用高级状态执行
[root@linux-node1 salt]# salt '*' state.highstate

Saltstack数据系统

Grains  and    Pillar

Grains里面收集了minion启动时候的所有系统信息,存储在minion端。静态数据,只有重启的时候才重新收集。

在minion设置

应用场景:

1、信息查询

# 查看grains的key
[root@linux-node1 salt]# salt 'linux-node1*' grains.ls
# 查看grains的所有信息
[root@linux-node1 salt]# salt 'linux-node1*' grains.items
# 查询某个的信息
[root@linux-node1 salt]# salt 'linux-node1*' grains.get fqdn 或 salt 'linux-node1*' grains.item fqdn
linux-node1.example.com: 
  linux-node1.example.com
[root@linux-node1 salt]# salt 'linux-node1*' grains.get os
linux-node1.example.com:
  CentOS

2、主机匹配

# 使用granis来匹配主机 -G 参数,
[root@linux-node1 salt]# salt -G 'os:CentOS' cmd.run 'uptime'
linux-node2.example.com:
:: up :, user, load average: 0.00, 0.00, 0.00
linux-node1.example.com:
:: up :, users, load average: 0.00, 0.00, 0.00
# 编辑minion配置文件,自定义设置角色,我添加一个cgt
[root@linux-node1 ~]# vim /etc/salt/minion
grains:
roles:
- webserver
- memcache
- cgt
# 修改配置文件需要重启服务
[root@linux-node1 ~]# /etc/init.d/salt-minion restart
Stopping salt-minion daemon: [确定]
Starting salt-minion daemon: [确定]
# 对角色有cgt的机器进行操作
[root@linux-node1 salt]# salt -G roles:cgt cmd.run 'uptime'
linux-node1.example.com:
:: up :, users, load average: 0.06, 0.02, 0.00

如果你觉得写在配置文件中不方便,可以写在他的一个默认文件中,在minion配置文件中开启default_include: minion.d/*.conf,并在对应目录编写.conf文件如下

[root@linux-node1 ~]# vim /etc/salt/minion.d/grains_test.conf
grains:
roles:
- nginx
- apache
Sys:
- centos
- danny

3、在top.sls中匹配使用

[root@linux-node1 salt]# cat /srv/salt/top.sls
base:
'os:CentOS':
- match: grain
- apache
[root@linux-node1 salt]# salt '*' state.highstate

Pillar:给minion指定它想要的数据。

在master端设置的

1、修改配置文件

# 在服务端开启pillar
[root@linux-node1 ~]# vim /etc/salt/master
pillar_roots:
base:
- /srv/pillar
pillar_opts: False
[root@linux-node1 ~]# mkdir /srv/pillar
[root@linux-node1 ~]# /etc/init.d/salt-master restart
Stopping salt-master daemon: [确定]
Starting salt-master daemon: [确定]

2、编写pillar中的文件

# 编写一个apache.sls 这是pillar中的,与前面的salt下的文件没有任何的关系
[root@linux-node1 ~]# cat /srv/pillar/apache.sls
{%if grains['os'] == 'CentOS' %}
apache: httpd
{% elif grains['os'] == 'Debian' %}
apache: apache2
{% endif %}
# 告诉pillar下面哪些主机可以来使用apache.sls文件,这是所有主机*
[root@linux-node1 ~]# cat /srv/pillar/top.sls
base:
'*':
- apache

3、执行pillar

因为都是centos是系统,所以获取的都是httpd

[root@linux-node1 ~]# salt '*' pillar.items
linux-node2.example.com:
----------
apache:
httpd
linux-node1.example.com:
----------
apache:
httpd

4、用来定位主机

# 对apache:httpd的minion执行命令
[root@linux-node1 ~]# salt -I 'apache:httpd' test.ping
No minions matched the target. No command was sent, no jid was assigned.
ERROR: No return received
# 刷新pillar,grains是需要重启minion端,pillar是需要刷新
[root@linux-node1 ~]# salt '*' saltutil.refresh_pillar
linux-node2.example.com:
True
linux-node1.example.com:
True
[root@linux-node1 ~]# salt -I 'apache:httpd' test.ping
linux-node2.example.com:
True
linux-node1.example.com:
True

Grains和Pillar的区别

saltstack一

远程执行

  • 目标(Targeting)
  • 模块(Module)
  • 返回(Returnners)

Targeting目标

1、Globbing and regex

匹配minions 通过通配符和正则表达式,与minion ID有关系。

2、Grains

用来匹配minion的grains,是指那些关于minion主机的静态信息,比如OS,软件版本,虚拟化,CPU,内存等等。

3、Pillar

通过用户定义的变量匹配minion主机

4、Subnet/IP Address

通过子网或IP地址匹配minion主机(当前仅支持IPV4)。

5、Compound matching

把上面的全部匹配器组合为一个表达式。

6、Node groups

在master配置文件中静态定义minion组,使用:ref:复合 <targeting-compound> 匹配语法。

7、Batching execution

一些命令集在匹配上的minions时只需要执行一次。

Modules模块

Salt 模块是远程执行的基础。它提供了一系列的功能,比如安装包,重启一个服务,运行名称命令,传输文件等等。

用户权限的限制

# 设置用户名:larry,和可以执行的命令
[root@linux-node1 ~]# vim /etc/salt/master
client_acl:
larry:
- test.ping
- network.*
# 更改权限
[root@linux-node1 sudoers.d]# chmod /var/cache/salt /var/cache/salt/master /var/cache/salt/master/jobs /var/run/salt /var/run/salt/master
# 重启服务
[root@linux-node1 sudoers.d]# /etc/init.d/salt-master restart
# 切换到larry用户执行
[larry@linux-node1 ~]$ salt '*' test.ping
linux-node2.example.com:
True
linux-node1.example.com:
True
[larry@linux-node1 ~]$ salt '*' cmd.run 'uptime'
Failed to authenticate!

Returners

Salt返回接收器(returner)允许把minion的响应保存在各种数据存储或不同的位置,甚至把响应内容显示在命令行。Returner可以用来扩展Salt,和新的、定制的接口和支持新的数据库进行通信。

以mysql的返回为例

# 安装数据库
[root@linux-node1 ~]# yum -y install mysql-server
# 安装依赖包
[root@linux-node1 ~]# yum -y install python-mysqldb
# 启动数据库
[root@linux-node1 ~]# /etc/init.d/mysqld start
# 客户端安装MySQL-python
[root@linux-node1 ~]# yum -y install MySQL-python

创建相应的表

CREATE DATABASE  `salt`
DEFAULT CHARACTER SET utf8
DEFAULT COLLATE utf8_general_ci; USE `salt`; DROP TABLE IF EXISTS `jids`; CREATE TABLE `jids` (
`jid` varchar() NOT NULL,
`load` mediumtext NOT NULL,
UNIQUE KEY `jid` (`jid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8; DROP TABLE IF EXISTS `salt_returns`; CREATE TABLE `salt_returns` (
`fun` varchar() NOT NULL,
`jid` varchar() NOT NULL,
`return` mediumtext NOT NULL,
`id` varchar() NOT NULL,
`success` varchar() NOT NULL,
`full_ret` mediumtext NOT NULL,
`alter_time` TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
KEY `id` (`id`),
KEY `jid` (`jid`),
KEY `fun` (`fun`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8; DROP TABLE IF EXISTS `salt_events`;
CREATE TABLE `salt_events` (
`id` BIGINT NOT NULL AUTO_INCREMENT,
`tag` varchar() NOT NULL,
`data` varchar() NOT NULL,
`alter_time` TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
PRIMARY KEY (`id`),
KEY `tag` (`tag`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8; grant all on salt.* to salt@'10.0.0.0/255.255.255.0' identified by 'salt';

修改配置文件

此种方式是主动去Minion端获取,推荐使用。

如果不加job_cache,开启上面的return,就是被动接收。比较麻烦,不但需要每台minion都装上mysql对应的包,还需要客户端也要修改配置文件,添加同样的内容。

[root@linux-node1 ~]# vim /etc/salt/master
#return: mysql
master_job_cache: mysql
mysql.host: '10.0.0.7'    //master_IP,指定master
mysql.user: 'salt'
mysql.pass: 'salt'
mysql.db: 'salt'
mysql.port:

检查是否生效

[root@linux-node1 ~]# /etc/init.d/salt-master restart
[root@linux-node1 ~]# salt '*' saltutil.refresh_pillar
linux-node1.example.com:
True
linux-node2.example.com:
True
[root@linux-node1 ~]# salt '*' test.ping
linux-node2.example.com:
True
linux-node1.example.com:
True # 数据库中检查有么有获取到数据(主动去minion端获取)
mysql> use salt;
mysql> select * from salt_returns;

配置管理

配置管理是通过远程管理来实现的。

环境配置

# 开启分别的file_roots
[root@linux-node1 ~]# vim /etc/salt/master
file_roots:
base:
- /srv/salt/base
test:
- /srv/salt/test
prod:
- /srv/salt/prod
# 重新启动master
[root@linux-node1 ~]# /etc/init.d/salt-master restart
Stopping salt-master daemon: [确定]
Starting salt-master daemon: [确定]
# 创建路径
[root@linux-node1 ~]# mkdir /srv/salt/base
[root@linux-node1 ~]# mkdir /srv/salt/test
[root@linux-node1 ~]# mkdir /srv/salt/prod
[root@linux-node1 salt]# ll /srv/salt/base/
总用量
-rw-r--r-- root root 12月 : apache.sls
-rw-r--r-- root root 12月 : top.sls
[root@linux-node1 salt]# tree
.
├── base
│ ├── apache.sls
│ └── top.sls
├── prod
└── test
[root@linux-node1 ~]# mkdir /srv/salt/base/files

编写配置文件

[root@linux-node1 base]# vim dns.sls
/etc/resolv.conf:
file.managed:
- source: salt://files/resolv.conf
- user: root
- group: root
- mode: [root@linux-node1 base]# cp /etc/resolv.conf /srv/salt/base/files/
[root@linux-node1 base]# cd /srv/salt/base/files/
# 做点修改,最下面加点#
[root@linux-node1 files]# vim resolv.conf
# Generated by NetworkManager
nameserver 10.0.0.2
#########

执行状态

# 执行方式一
# 执行状态(单独执行某个状态)
[root@linux-node1 files]# salt '*' state.sls dns
# 到minion端查看
[root@linux-node2 ~]# cat /etc/resolv.conf
# Generated by NetworkManager
nameserver 10.0.0.2
######### # 执行方式二
# 如果想使用高级状态执行,需要在top.sls中写明
[root@linux-node1 files]# vim /srv/salt/base/top.sls
base:
'*':
- dns
# 执行高级状态,从top.sls中读取,在执行
[root@linux-node1 files]# salt '*' state.highstate

salt语法:YAML 
规则一:缩进 
        两个空格组成 
        不要使用tab键 
规则二:冒号 
        他的结果是以字典的方式 
        以冒号结尾和路径不需要加冒号 
        以冒号结尾 
规则三:短横线线 
        表示是一种列表关系(字典中的列表)      
        短横线后加空格

jinja模版

jinja模版的创建

# jinja模版
# 有- template: 就代表这个文件就是一个模版文件
# - defaults: 是变量列表
[root@linux-node1 base]# vim dns.sls
/etc/resolv.conf:
file.managed:
- source: salt://files/resolv.conf
- user: root
- group: root
- mode:
- template: jinja
- defaults:
DNS_SERVER: 10.0.0.2

jinja模版的使用

# 模板文件里面变量使用方式{{ DNS_SERVER }}
[root@linux-node1 base]# vim /srv/salt/base/files/resolv.conf
# Generated by NetworkManager
# nameserver 10.0.0.2
nameserver {{ DNS_SERVER }}
# 执行高级状态
[root@linux-node1 base]# salt '*' state.highstate
# minion端查看,nameserver 自动将变量代换
[root@linux-node2 ~]# cat /etc/resolv.conf
# Generated by NetworkManager
# nameserver 10.0.0.2
nameserver 10.0.0.2

jinja模版中使用Grains

# 使用grains
[root@linux-node1 base]# cat /srv/salt/base/files/resolv.conf
# Generated by NetworkManager
nameserver 10.0.0.2
# {{ grains['fqdn_ip4'] }}
# minion端查看
[root@linux-node2 ~]# cat /etc/resolv.conf
# Generated by NetworkManager
nameserver 10.0.0.2
# ['10.0.0.8']

还可以在jinja模版中使用执行模块和Pillar

案例

设置DNS执行文件

[root@linux-node1 base]# cd  /srv/salt/base/
[root@linux-node1 base]# mkdir -pv init/files
# dns设置
[root@linux-node1 base]# cat /srv/salt/base/init/dns.sls
/etc/resolv.conf:
file.managed:
- source: salt://init/files/resolv.conf
- user: root
- group: root
- mode: [root@linux-node1 base]# cp /etc/resolv.conf /srv/salt/base/init/files/

记录历史命令

格式:时间 用户 命令

[root@linux-node1 base]# cat /srv/salt/base/init/history.sls
/etc/profile:
file.append: #追加,file模块
- text:
- export HISTTIMEFORMAT="%F %T `whoami` "" "
[root@linux-node1 base]# tree /srv/salt/base/
/srv/salt/base/
├── init
│ ├── dns.sls
│ ├── files
│ │ └── resolv.conf
│ └── history.sls
└── top.sls

记录操作日志

写到/var/log/message

[root@linux-node1 init]# cat audit.sls
/etc/bashrc:
file.append:
- text:
- export PROMPT_COMMAND='{ msg=$(history 1 | { read x y; echo $y; });logger "[euid=$(whoami)]":$(who am i):[`pwd`]"$msg";}'
#记录命令行命令到日志message中

内核调优

使用salt自带的模块sysctl

[root@linux-node1 init]# cat sysctl.sls
vm.swappiness:      #关闭交换空间的使用
sysctl.present:
- value: net.ipv4.ip_local_port_range:    #系统随机端口范围
sysctl.present:
- value: fs.file-max:    #系统最大文件描述符
sysctl.present:
- value:

#如何找呢?从/proc/sys/里面,然后后面的/用.来代替。

将初始化的sls放在一起

[root@linux-node1 init]# cat env_init.sls
include:
- init.dns
- init.history
- init.audit
- init.sysctl

修改top.sls文件

base环境下init目录下的env_init.sls

[root@linux-node1 init]# cat /srv/salt/base/top.sls
base:
'*':
- init.env_init

最终呈现结果

[root@linux-node1 base]# tree
.
├── init
│ ├── audit.sls
│ ├── dns.sls
│ ├── env_init.sls
│ ├── files
│ │ └── resolv.conf
│ ├── history.sls
│ └── sysctl.sls
└── top.sls

结果检查

重新打开minion的tty窗口,分别执行history和去message下面查看,检测

状态模块:状态间关系

功能:条件判断,主要用于cmd状态模块

常用方法:

onlyif:检查的命令,近当onlyif选项指向的命令返回true时才执行

name定义的命令

unless:用于检查的命令,仅当unless选项指向的命令返回false时才执行name指向的命令

功能名称:requisites

功能:处理状态间关系

常用方法:

require                     #我依赖某个状态

require_in                 #我被某个状态依赖

watch                        #我关注某个状态

watch_in                    #我被某个状态关注

    

上一篇:mac上的键盘生活——打字训练


下一篇:FTP弱口令猜解【python脚本】