Rancher2.1安装部署

2021-09-16 05:44:39

基础环境配置

1、操作系统选择

Ubuntu 16.04(64位 Server版)
Centos/RedHat Linux 7.5+(64位)

2、Docker版本选择

1.12.6
1.13.1
17.03.2

3、主机名配置

因为K8S的规定，主机名只支持包含 - 和 .(中横线和点)两种特殊符号，并且主机名不能出现重复。

4、配置Hosts

配置每台主机的hosts(/etc/hosts),添加host_ip $hostname到/etc/hosts文件中。

5、CentOS关闭selinux

sudo sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

6、关闭防火墙

关闭防火墙

1、Centos

systemctl stop firewalld.service && systemctl disable firewalld.service

2、Ubuntu

ufw disable

7、配置主机时间、时区、系统语言

查看时区

date -R 或者 timedatectl

修改时区

ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

修改系统语言环境

sudo echo 'LANG="en_US.UTF-8"' >> /etc/profile;source /etc/profile

8、Kernel性能调优

cat >> /etc/sysctl.conf<<EOF

net.ipv4.ip_forward=

net.bridge.bridge-nf-call-iptables=

net.ipv4.neigh.default.gc_thresh1=

net.ipv4.neigh.default.gc_thresh2=

net.ipv4.neigh.default.gc_thresh3=

EOF

sysctl –p

Docker安装配置

1、各系统的安装方法

Ubuntu安装方法

1、修改系统源

sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak

cat > /etc/apt/sources.list << EOF

deb http://mirrors.aliyun.com/ubuntu/ xenial main

deb-src http://mirrors.aliyun.com/ubuntu/ xenial main

deb http://mirrors.aliyun.com/ubuntu/ xenial-updates main

deb-src http://mirrors.aliyun.com/ubuntu/ xenial-updates main

deb http://mirrors.aliyun.com/ubuntu/ xenial universe

deb-src http://mirrors.aliyun.com/ubuntu/ xenial universe

deb http://mirrors.aliyun.com/ubuntu/ xenial-updates universe

deb-src http://mirrors.aliyun.com/ubuntu/ xenial-updates universe

deb http://mirrors.aliyun.com/ubuntu/ xenial-security main

deb-src http://mirrors.aliyun.com/ubuntu/ xenial-security main

deb http://mirrors.aliyun.com/ubuntu/ xenial-security universe

deb-src http://mirrors.aliyun.com/ubuntu/ xenial-security universe

EOF

2、Docker-ce 安装

# 定义安装版本

export docker_version=17.03.

# step : 安装必要的一些系统工具

sudo apt-get update

sudo apt-get -y install apt-transport-https ca-certificates curl software-properties-common bash-completion

# step : 安装GPG证书

sudo curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -

# Step : 写入软件源信息

sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"

# Step : 更新并安装 Docker-CE

sudo apt-get -y update

version=$(apt-cache madison docker-ce|grep ${docker_version}|awk '{print $3}')

# --allow-downgrades 允许降级安装

sudo apt-get -y install docker-ce=${version} --allow-downgrades

# 设置开机启动

sudo systemctl enable docker

Centos 安装方法

1、修改系统源

sudo cp /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak

cat > /etc/yum.repos.d/CentOS-Base.repo << EOF

[base]

name=CentOS-$releasever - Base - mirrors.aliyun.com

failovermethod=priority

baseurl=http://mirrors.aliyun.com/centos/$releasever/os/$basearch/

        http://mirrors.aliyuncs.com/centos/$releasever/os/$basearch/

        http://mirrors.cloud.aliyuncs.com/centos/$releasever/os/$basearch/

gpgcheck=

gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

#released updates

[updates]

name=CentOS-$releasever - Updates - mirrors.aliyun.com

failovermethod=priority

baseurl=http://mirrors.aliyun.com/centos/$releasever/updates/$basearch/

        http://mirrors.aliyuncs.com/centos/$releasever/updates/$basearch/

        http://mirrors.cloud.aliyuncs.com/centos/$releasever/updates/$basearch/

gpgcheck=

gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

#additional packages that may be useful

[extras]

name=CentOS-$releasever - Extras - mirrors.aliyun.com

failovermethod=priority

baseurl=http://mirrors.aliyun.com/centos/$releasever/extras/$basearch/

        http://mirrors.aliyuncs.com/centos/$releasever/extras/$basearch/

        http://mirrors.cloud.aliyuncs.com/centos/$releasever/extras/$basearch/

gpgcheck=

gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

#additional packages that extend functionality of existing packages

[centosplus]

name=CentOS-$releasever - Plus - mirrors.aliyun.com

failovermethod=priority

baseurl=http://mirrors.aliyun.com/centos/$releasever/centosplus/$basearch/

        http://mirrors.aliyuncs.com/centos/$releasever/centosplus/$basearch/

        http://mirrors.cloud.aliyuncs.com/centos/$releasever/centosplus/$basearch/

gpgcheck=

enabled=

gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

#contrib - packages by Centos Users

[contrib]

name=CentOS-$releasever - Contrib - mirrors.aliyun.com

failovermethod=priority

baseurl=http://mirrors.aliyun.com/centos/$releasever/contrib/$basearch/

        http://mirrors.aliyuncs.com/centos/$releasever/contrib/$basearch/

        http://mirrors.cloud.aliyuncs.com/centos/$releasever/contrib/$basearch/

gpgcheck=

enabled=

gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

EOF

2、安装Docker-ce

# 添加用户(可选)

sudo adduser `<user>`

# 为新用户设置密码

sudo passwd `<user>`

# 为新用户添加sudo权限

sudo echo '<user> ALL=(ALL) ALL' >> /etc/sudoers

# 卸载旧版本Docker软件

sudo yum remove docker \

              docker-client \

              docker-client-latest \

              docker-common \

              docker-latest \

              docker-latest-logrotate \

              docker-logrotate \

              docker-selinux \

              docker-engine-selinux \

              docker-engine \

              container*

# 定义安装版本

export docker_version=17.03.

# step : 安装必要的一些系统工具

sudo yum update -y

sudo yum install -y yum-utils device-mapper-persistent-data lvm2 bash-completion

# Step : 添加软件源信息

sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

# Step : 更新并安装 Docker-CE

sudo yum makecache all

version=$(yum list docker-ce.x86_64 --showduplicates | sort -r|grep ${docker_version}|awk '{print $2}')

sudo yum -y install --setopt=obsoletes= docker-ce-${version} docker-ce-selinux-${version}

# 如果已经安装高版本Docker,可进行降级安装(可选)

yum downgrade --setopt=obsoletes= -y docker-ce-${version} docker-ce-selinux-${version}

# 把当前用户加入docker组

sudo usermod -aG docker `<new_user>`

# 设置开机启动

sudo systemctl enable docker

2、Docker配置

配置镜像加速地址

可以配置多条，以数组的形式编写，地址需要添加协议头。编辑/etc/docker/daemon.json加入以下内容

{

    "registry-mirrors": ["https://z34wtdhg.mirror.aliyuncs.com","https://$IP:$PROT"]

}

配置私有仓库

Docker默认只信任TLS加密的仓库地址(https)，所有非https仓库默认无法登陆也无法拉取镜像。insecure-registries字面意思为不安全的仓库，通过添加这个参数对非https仓库进行授信。可以设置多个insecure-registries地址，以数组形式书写，地址不能添加协议头(http)。编辑/etc/docker/daemon.json加入以下内容:

{

    "insecure-registries":["harbor.httpshop.com","bh-harbor.suixingpay.com"]

}

配置Docker存储驱动

存储驱动有很多种，例如：overlay、overlay2、devicemapper等，前两者是OverlayFS类型的，是一个新一代的联合文件系统，类似于AUFS，但速度更快，更加稳定。这里推荐新版的overlay2。

要求：

overlay2： Linux内核版本4.0或更高版本，或使用内核版本3.10.0-514+的RHEL或CentOS
支持的磁盘文件系统：ext4(仅限RHEL 7.1)，xfs(RHEL7.2及更高版本)，需要启用d_type=true

编辑/etc/docker/daemon.json加入以下内容

{

    "storage-driver": "overlay2",

    "storage-opts": ["overlay2.override_kernel_check=true"]

}

配置日志驱动

容器在运行时会产生大量日志文件，很容易占满磁盘空间。通过配置日志驱动来限制文件大小与文件的数量。 >限制单个日志文件为100M,最多产生3个日志文件

{

"log-driver": "json-file",

"log-opts": {

    "max-size": "100m",

    "max-file": ""

    }

}

`daemon.json的`样例

{

    "registry-mirrors": ["https://z34wtdhg.mirror.aliyuncs.com"],

    "insecure-registries":["harbor.httpshop.com","bh-harbor.suixingpay.com"],

    "storage-driver": "overlay2",

    "storage-opts": ["overlay2.override_kernel_check=true"]

}

{

"log-driver": "json-file",

"log-opts": {

    "max-size": "100m",

    "max-file": ""

    }

}

单节点安装

使用默认自签名证书

默认情况下，Rancher会自动生成一个用于加密的自签名证书。从你的Linux主机运行Docker命令来安装Rancher，而不需要任何其他参数:

docker run -d --restart=unless-stopped \

-p : -p : \

-v /root/var/log/auditlog:/var/log/auditlog \

-e AUDIT_LEVEL= \

rancher/rancher:latest

HA集群安装

前提条件

kubectl kubernetes客户端工具
rke 用于构建kubernetes集群
helm kubernetes包管理工具

创建四层负载均衡器

我们将使用Nginx作为四层负载均衡器，Nginx会将所有的连接转发到rancher节点之一。注意：不要使用任何rancher节点作为负载均衡器，会出现端口冲突。

1、安装nginx

需要定制的话，就自己源码安装即可，这里就使用yum或者apt-get

yum install nginx

2、编制nginx配置文件

#复制下面的代码到文本编辑器，保存为nginx.conf。

worker_processes ;

worker_rlimit_nofile ;

events {

    worker_connections ;

}

http {

    server {

        listen         ;

        return  https://$host$request_uri;

    }

}

stream {

    upstream rancher_servers {

        least_conn;

        server <IP_NODE_1>: max_fails= fail_timeout=5s;

        server <IP_NODE_2>: max_fails= fail_timeout=5s;

        server <IP_NODE_3>: max_fails= fail_timeout=5s;

    }

    server {

        listen     ;

        proxy_pass rancher_servers;

    }

}

这里的IP_NODE_1、IP_NODE_2、IP_NODE_3替换成真实环境中的Rancher节点的IP地址。

3、加载配置文件

nginx -s reload

RKE安装kubernetes集群

下载rke工具

wget https://github.com/rancher/rke/releases/download/v0.1.11/rke_linux-amd64
mv rke_linux-amd64 rke && chmod 755 rke && mv rke /usr/local/bin
rke --version

修改hosts（所有节点）

cat << EOF >>/etc/hosts

> 10.10.3.201 rancher-master01

> 10.10.3.202 rancher-master02

> 10.10.3.204 rancher-master03

> EOF

免密操作

ssh-keygen -t rsa

ssh-copy-id -i .ssh/id_rsa.pub root@10.10.3.201

ssh-copy-id -i .ssh/id_rsa.pub root@10.10.3.202

ssh-copy-id -i .ssh/id_rsa.pub root@10.10.3.204

创建`rancher-cluster.yml`文件

使用下面的示例创建rancher-cluster.yml文件，使用创建的3个节点的IP地址替换列表中的IP地址。

nodes:

  - address: 10.10.3.201

    user: root

    role: [controlplane,worker,etcd]

  - address: 10.10.3.202

    user: root

    role: [controlplane,worker,etcd]

  - address: 10.10.3.204

    user: root

    role: [controlplane,worker,etcd]

services:

  etcd:

    snapshot: true

    creation: 6h

    retention: 24h

运行rke安装

rke up --config ./rancher-cluster.yml

测试集群

安装完成后，会产生一个kube_config_rancher-cluster.yml文件，这个是集群的认证文件。

mkdir ~/.kube

cat kube_config_rancher-cluster.yml >> ~/.kube/config

通过kubectl 测试连接集群，查看所有节点状态

$ kubectl get nodes

NAME          STATUS    AGE       VERSION

10.10.3.201   Ready     19m       v1.11.3

10.10.3.202   Ready     19m       v1.11.3

10.10.3.204   Ready     19m       v1.11.3

安装Helm

配置Helm客户端访问权限

Helm在集群上安装tiller服务以管理charts. 由于RKE默认启用RBAC, 因此我们需要使用kubectl来创建一个serviceaccount，clusterrolebinding才能让tiller具有部署到集群的权限。

kubectl -n kube-system create serviceaccount tiller

kubectl create clusterrolebinding tiller --clusterrole cluster-admin --serviceaccount=kube-system:tiller

安装Helm客户端

二进制安装方法：

1、下载预期的版本 releases

2、解压缩

tar zxvf helm-v2.11.0-linux-amd64.tar.gz

3、把helm二进制文件拷贝到系统环境里

mv  linux-amd64/helm /usr/bin/

安装Helm Server(Tiller)

Helm的服务器端部分Tiller,通常运行在Kubernetes集群内部。但是对于开发，它也可以在本地运行，并配置为与远程Kubernetes集群通信。

快速集群内安装

helm init --service-account tiller   --tiller-image registry.cn-hangzhou.aliyuncs.com/google_containers/tiller:v2.11.0 --stable-repo-url https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts

安装Tiller金丝雀版本

helm init --service-account tiller --canary-image

Helm安装Rancher

1、添加chart仓库

使用helm repo add命令添加Rancher chart仓库地址

helm repo add rancher-latest https://releases.rancher.com/server-charts/latest

2、安装证书管理器

从Helm stable目录安装cert-manager

helm install stable/cert-manager \

  --name cert-manager \

  --namespace kube-system

3、选择SSL配置方式并安装Rancher server

Rancher server设计默认需要开启SSL/TLS配置来保证安全。

helm install rancher-latest/rancher \

  --name rancher \

  --namespace cattle-system \

  --set hostname=rancher.httpshop.com

hostname根据自己情况定义

到此为止Rancher-server 已经安装完成。

Rancher中安装kuberntes

1、自定义节点创建集群

主机类型：

云主机
内部虚拟机
裸机服务器

创建自定义集群

1、从"集群"页面，单击"添加集群"。

2、选择“CUSTOM”

3、输入“集群名称”

4、使用“成员角色”配置集群用户的授权

5、使用“集群选项”，选择Docker版本、kubernetes版本、网络组件等相关配置，点击下一步。

6、从主机角色列表中选择节点所要添加的角色。

7、将屏幕上显示的命令复制到剪贴板。

8、使用首选shell登录Linux主机，例如PuTTy或远程终端连接。运行复制到剪贴板的命令。

9、在Linux主机上运行完命令后，单击“完成”。

2、导入kuebernetes集群

您可以导入现有的Kubernetes集群，然后使用Rancher进行管理。

前提

如果现有Kubernetes集群已cluster-admin定义角色，则必须具有此cluster-admin权限才能将集群导入Rancher。要应用权限，您需要kubectl create clusterrolebinding cluster-admin-binding --clusterrole cluster-admin --user [USER_ACCOUNT]在运行kubectl命令之前运行以导入群集。

1、从“ 群集”页面中，单击“ 添加群集”。

2、选择“Import”

3、输入集群名称

4、使用“ 成员角色”配置群集的用户授权。

单击“ 添加成员”以添加可以访问群集的用户。
使用“ 角色”下拉列表为每个用户设置权限。

5、单击创建

6、将显示的第一个命令复制到剪贴板。

7、使用首选shell（例如PuTTy或远程终端连接）登录到其中一个群集节点。运行复制到剪贴板的命令。

8、如果收到消息certificate signed by unknown authority，请将Rancher中显示的第二个命令复制到剪贴板。然后在群集节点上运行该命令。

9、在Linux主机上运行完命令后，单击“完成”。

码农公寓

基础环境配置

1、操作系统选择

2、Docker版本选择

3、主机名配置

4、配置Hosts

5、CentOS关闭selinux

6、关闭防火墙

关闭防火墙

7、配置主机时间、时区、系统语言

8、Kernel性能调优

Docker安装配置

1、各系统的安装方法

Ubuntu安装方法

1、修改系统源

2、Docker-ce 安装

Centos 安装方法

1、修改系统源

2、安装Docker-ce

2、Docker配置

配置镜像加速地址

配置私有仓库

配置Docker存储驱动

配置日志驱动

daemon.json的样例

单节点安装

使用默认自签名证书

HA集群安装

前提条件

创建四层负载均衡器

1、安装nginx

2、编制nginx配置文件

RKE安装kubernetes集群

下载rke工具

修改hosts（所有节点）

免密操作

创建rancher-cluster.yml文件

运行rke安装

测试集群

安装Helm

配置Helm客户端访问权限

安装Helm客户端

安装Helm Server(Tiller)

安装Tiller金丝雀版本

Helm安装Rancher

1、添加chart仓库

2、安装证书管理器

3、选择SSL配置方式并安装Rancher server

Rancher中安装kuberntes

1、自定义节点创建集群

主机类型：

创建自定义集群

2、导入kuebernetes集群

前提

相关文章

`daemon.json的`样例

创建`rancher-cluster.yml`文件