工作之后我们作为运维人员会用到很多的运维工具,而puppet就是其中的一种,在诸多的自动化工具中,只要会使用一个就足矣,当然如果你有精力可以多搞几个。
背景知识
Puppet的核心功能是配置管理。一般来说,用户在master上集中做配置,同时,被管理节点上的agent会定期从master上下载配置数据,再应用(apply)到本地,从而使管理节点的状态(用户,组,文件,安装包,服务等的设置和运行状态)与masters上定义的保持一致。
有时,出于测试的目的,并不希望真的应用配置,那么就需要执行puppet agent –test –noop让agent运行在dry-run状态
触发条件
在无master模式下(masterless),可以运行puppet agent apply <manifest文件路径> 命令直接加载本地manifest,并应用到本地。这种方式一般只用于测试,生产环境大都使用agent/master模式。
在agent/master模式下,agent默认每30分钟自动触发一次。也就是说在master上做的任何更改可能要过30分钟才能在agent端生效。如果你想改变这个时间间隔,可以通过在agent上修改puppet.conf的runinterval属性
[agent] runinterval=10 #修改为每10分钟运行一次
或者使用splay属性
[agent] splay=true #默认是false。设置为true之后,运行间间隔变为随机数。当agent很多时,可以一定程度降低master的负载 splaylimit = 20m #间隔最长是20分钟,也可以设置成秒,分,小时,天,年
在agent/master模式下,还可以从master上运行puppet kick命令主动触发。为了使用这个功能,需要做以下配置。
1 在agent的puppet.conf中打开listen属性或者运行puppet agent –listen,然后agent就会在8139端口监听master发过来的指令。
[agent] listen = true #agent会监听本地8139端口,需重启服务
注意:如果agent节点有防火墙,打开8139端口
2 然后在master上运行puppet agent <agent节点FQDN>触发一次新的配置应用。
工作流程
1. agent向master发起连接,并使用SSL证书相互认证身份。如果agent是第一次连接master,agent会生成私钥,下载CA证书的副本,提交证书申请,然后等待一个超时(waitforcert)。如果master在这个时间内签发了agent的证书,agent会下载证书,继续后面步骤。
2. 如果pluginsync是true,agent从master下载plugin
3. agent向master请求catalog,同时向master发送fact(软件及硬件信息,比如hostname, ip).然后等待catalog生成。
4. master使用site.pp(4的左侧部分)或者ENC(4的右侧部分)进行节点分类,获取agent节点所需的配置。然后使用一些agent/master提供的变量,比如facts,environement还有内部变量,编译相关manifest生成catalog
5. agent从master下载catalog,然后应用到本地。
6. 如果catalog中使用了mount point,比如"source=>"puppet:///abc",agent会在应用过程中访问master的相关URI(/file_metadata/和/file_content/)下载文件内容并应用到本地
7. agent将应用结果生成report,发送给master
8. 结束本次应用,agent等待下一次。
注意:在以上agent/master的通讯过程中,都是agent主动调用master上暴露出来的RESTful API并将数据“拉”到本地,master并不主动向agent发送任信息。
下面我们来看看上边步骤中涉及到的各种功能和配置
SSL证书及认证
证书相关的属性可以在agent/master的puppet.conf里配置
[main] ssldir=/var/lib/puppet/ssl #设置存储所有SSL证书及相关文件的目录 [agent] #以下为可选配置。不设置会使用默认值 certname=mycert.example.com #agent节点的证书名称,默认是节点FQDN.等同于puppet agent --certname mycert.example.com。master会用这个值来做节点分类 waitforcert=300s #默认值120秒。这个例子中,如果master没有为当前节点签发的证书,agent等待300秒再检查。等同于puppet agent --waitforcert 300.
注意:agent需要对master URI(/certificate/,/certificate/ca和/certificate_request)有相应权限,以读取CA证书,提交证书申请和下载签发的证书。权限设置在auth.conf中。 默认是所有agent对这些URI都有权限。
证书及相关文件存在下面的目录中
/var/lib/puppet/ssl #存储所有SSL证书相关文件,在puppet.conf中定义为$ssldir ├── ca #CA证书目录,只存在于master上 │ ├── ca_crl.pem #被CA取消(revoke)的证书 │ ├── ca_crt.pem #CA证书 │ ├── ca_key.pem #CA证书私钥 │ ├── inventory.txt #所有CA证书签过的证书的列表 │ ├── private │ │ └── ca.pass #保护CA证书私钥的密码 │ ├── requests #存储所有master收到的但还未签署的agent的证书 │ ├── serial #下一个被签证书的序列号 │ └── signed #存储所有的已签证书,包含master和所有agent的证书 │ ├── agent.pem │ └── master.pem ├── certificate_requests #当前节点所生成的证书申请,包括已提交和签发的 ├── certs #当前节点所有可见的已经签发的证书 │ ├── ca.pem #CA证书的拷贝 │ └── master.pem #当前节点的已经被签证书 ├── private ├── private_keys #当前节点的私钥 │ └── master.pem └── public_keys #当前节点公钥 └── master.pem
也可以通过下面的命令查看/签发/撤销/清除证书
puppet cert list #显示等待签署的证书 puppet cert list -a #显示所有的证书, 结果中+开始的行表示已经签发(sign)的证书,-的行表示已经撤销(revoke)的证书,没有+/-的行是已经提交申请,等待被签发的证书 puppet cert sign -a|<hostname> #签署所有的或者特定节点的证书 puppet cert clean -a|<hostname> #物理上删除该证书所有文件。没有证书,agent会连接master失败 puppet cert revoke -a|<hostname> #撤销证书。Pupet将证数加入ca_crl.pem,但是不删除物理文件。效果与clean相同,导致agent连接master失败 puppet config print ssldir --p agent #显示ssldir的值
如果证书被意外清除或者撤销,可以重新生成
1 在master上清除证书记录和相关物理文件
puppet cert clean <certname>
2 停止agent进程,例如
puppet resource service puppet ensure=stopped
3 在agent节点上找到证书目录(默认是/var/lib/puppet/ssl)
puppet config print ssldir --p agent
4 在agent节点上手工删除$ssldir目录
5 在agent节点重新启动agent,这一过程会自动提交证书申请
puppet resource service pe-puppet ensure=running
6 在master上签署证书
puppet cert list puppet cert sign <certname>
如果有很多管理节点,也可以使用autosign来自动签发证书
1 在master上修改puppet.conf
[main] autosign=true #允许autosign
2 在master上修改/etc/puppet/autosign.conf,创建白名单
*.scratch.example.com #master自动签发名字(certname)以scratch.example.com结束的证书