转载：https://yq.aliyun.com/articles/64860
作者
digoal
日期
2016-11-11
标签
Linux , KVM , 虚拟化 , 克隆
背景
当需要批量部署虚拟机时，通常有几种做法，使用模板重新安装。
或者使用已有的虚拟机克隆。
使用模板安装可以参考kickstart脚本的编写方法。
《install kvm hosts use kickstart in CentOS 6 in text mode》
本文介绍一下在已经安装好的虚拟机上，克隆虚拟机的方法。
从0开始安装一个虚拟机
在服务器安装必要的包, 不再需要图形相关的包.
# yum install -y qemu-img qemu-kvm virt-manager libvirt libvirt-python python-virtinst libvirt-client libvirt libvirt-client virt-what
创建一个虚拟磁盘目录
# mkdir /data03/kvmdisk
创建虚拟磁盘, 用于虚拟机的系统盘
# qemu-img create -f qcow2 -o encryption=off,cluster_size=2M,preallocation=full /data03/kvmdisk/disk01.img 32G
or
# qemu-img create -f raw /data03/kvmdisk/disk01.img 32G
下载安装镜像
# mkdir /data03/iso
# cd iso
# wget http://mirrors.aliyun.com/centos/6.6/isos/x86_64/CentOS-6.6-x86_64-bin-DVD1.iso
配置
vi /etc/libvirt/libvirtd.conf
listen_tls = 0
启动libvirtd
# service libvirtd start
# /etc/init.d/messagebus start
# /etc/init.d/avahi-daemon start
# /etc/init.d/libvirtd start
# chkconfig libvirtd on
# chkconfig libvirt-guests off
# chkconfig avahi-daemon on
# chkconfig messagebus on
查看当前启动的网桥
# brctl show
bridge name bridge id STP enabled interfaces
virbr0 8000.5254001263b0 yes virbr0-nic
# ifconfig
em1 Link encap:Ethernet HWaddr 00:22:19:60:77:8F
inet addr:172.16.3.150 Bcast:172.16.3.255 Mask:255.255.255.0
inet6 addr: fe80::222:19ff:fe60:778f/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:5469716 errors:0 dropped:0 overruns:0 frame:0
TX packets:2830916 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:5147311077 (4.7 GiB) TX bytes:198552462 (189.3 MiB)
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:65536 Metric:1
RX packets:79073 errors:0 dropped:0 overruns:0 frame:0
TX packets:79073 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:24506711 (23.3 MiB) TX bytes:24506711 (23.3 MiB)
virbr0 Link encap:Ethernet HWaddr 52:54:00:12:63:B0
inet addr:192.168.122.1 Bcast:192.168.122.255 Mask:255.255.255.0
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:0 (0.0 b) TX bytes:0 (0.0 b)
或者你也可以手工添加网桥
brctl addbr br0
ip link set br0 up
ip addr add 192.168.122.1/24 dev br0
查看虚拟机用到的virbr0网桥地址配置
# grep -r 192.168.122 /etc/libvirt
/etc/libvirt/qemu/networks/default.xml: <ip address="192.168.122.1" netmask="255.255.255.0">
/etc/libvirt/qemu/networks/default.xml: <range start="192.168.122.2" end="192.168.122.254" />
/etc/libvirt/qemu/networks/autostart/default.xml: <ip address="192.168.122.1" netmask="255.255.255.0">
/etc/libvirt/qemu/networks/autostart/default.xml: <range start="192.168.122.2" end="192.168.122.254" />
text 交互式安装虚拟机操作系统
在没有图形环境时, 可以使用text模式安装操作系统.
virt-install \
--name=centos6_6_x64 \
--disk path=/data03/kvmdisk/disk01.img,device=disk,bus=virtio,perms=rw,cache=writethrough \
--graphics none \
--vcpus=4 --ram=4096 \
--location=/data03/iso/CentOS-6.6-x86_64-bin-DVD1.iso \
--network bridge=virbr0 \
--os-type=linux \
--os-variant=rhel6 \
--extra-args="console=tty0 console=ttyS0,115200n8"
安装完后，连接到虚拟机的console的方法
# virsh
> console $domainID
> 退出console 按下 ctrl+]
例如 :
[root@db-172-16-3-150 ~]# virsh
Welcome to virsh, the virtualization interactive terminal.
Type: 'help' for help with commands
'quit' to quit
virsh # list
Id Name State
----------------------------------------------------
2 centos6_6_x64 running
virsh # console 2 # 使用Id或者Name都可以连接
Connected to domain centos6_6_x64
Escape character is ^]
CentOS release 6.6 (Final)
Kernel 2.6.32-504.el6.x86_64 on an x86_64
digoal.sky-mobi.com login: root
Password:
Last login: Thu Apr 2 00:12:27 on ttyS0
[root@digoal ~]#
[root@digoal ~]#
[root@digoal ~]# exit
logout
CentOS release 6.6 (Final)
Kernel 2.6.32-504.el6.x86_64 on an x86_64
digoal.sky-mobi.com login: # 这里按下ctrl+]返回本地控制台
virsh #
virsh #
设置开机自动启动虚拟机
# vi /etc/rc.local
/usr/bin/virsh start centos6_6_x64
优化虚拟机配置
1. 主要是删掉一些不必要的控制器(如USB), 然后添加CPU模块, 使用本地CPU的flag.
#virsh
Welcome to virsh, the virtualization interactive terminal.
Type: 'help' for help with commands
'quit' to quit
virsh #
virsh # list
Id Name State
----------------------------------
6 kvm101 running
8 kvm103 running
9 kvm104 running
10 kvm105 running
11 kvm106 running
12 kvm102 running
优化例子
virsh # edit kvm101
<domain type='kvm'>
<name>kvm101</name>
<uuid>366072c0-2ee0-027a-e887-e60d50bad5a7</uuid>
<memory>83886080</memory>
<currentMemory>83886080</currentMemory>
<vcpu>10</vcpu>
<cpu mode='host-passthrough'> # 注意这里可能要指定CPU，而不是host-passthrough，否则可能保存会失败，或者自动抹除。 /usr/libexec/qemu-kvm -cpu ? 可以得到支持的CPU
<model fallback='allow'/>
</cpu>
--------- 例如 /usr/share/libvirt/cpu_map.xml
<cpu match='exact'>
<model fallback='forbid'>Nehalem</model>
<vendor>Intel</vendor>
<feature policy='require' name='fma'/> # 这里可以指定CPU flag
<feature policy='require' name='pse'/> # 这里可以指定CPU flag
</cpu>
---------
<os>
<type arch='x86_64' machine='rhel6.2.0'>hvm</type>
<boot dev='hd'/>
</os>
<clock offset='utc'/>
<on_poweroff>destroy</on_poweroff>
<on_reboot>restart</on_reboot>
<on_crash>restart</on_crash>
<devices>
<emulator>/usr/libexec/qemu-kvm</emulator>
<disk type='file' device='disk'>
<driver name='qemu' type='raw' cache='writeback'/>
<source file='/u01/kvmdisk/disk01.img'/>
<target dev='vda' bus='virtio'/>
<address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
</disk>
<interface type='bridge'>
<mac address='52:54:00:3e:78:0d'/>
<source bridge='virbr0'/>
<model type='virtio'/>
<address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/>
</interface>
<console type='pty'>
<target type='serial' port='0'/>
</console>
</devices>
</domain>
"/tmp/virshKtG0oG.xml" 36L, 1133C written
Domain kvm101 XML configuration edited.
重启虚拟机后生效。
克隆虚拟机
http://www.cnblogs.com/5201351/p/4461000.html
kvm虚拟机的克隆分为两种情况，第一种kvm宿主机上对虚拟机直接克隆
第二种通过复制配置文件与磁盘文件的虚拟机复制克隆(适用于异机的静态迁移)。
现笔者将分别两种kvm虚拟机克隆的的详细操作过程都记录如下：
方法一: kvm宿主机上对虚拟机直接克隆（需要在关机或暂停的状态下操作）
1、查看所有的虚拟机、以及需要克隆的虚拟机的硬盘文件的位置。
[root@5201351_kvm ~]# virsh list --all //查看已安装的所有的kvm虚拟机
2、我们可以通过编辑需要克隆的源虚拟机配置文件，去发现它的磁盘文件位置，命令如下：
[root@5201351_kvm ~]# virsh edit kvm_client00 //通过编辑虚拟机的配置文件，查看其硬盘文件的位置
如通过如下的内容，可以看出磁盘文件的位置
<source file='/var/lib/libvirt/images/kvm_client00.img'/>
3、开始克隆,将kvm_client00虚拟机克隆成新的虚拟机kvm_client01，新的虚拟机的磁盘文件为/var/lib/libvirt/images/kvm_client01.img
[root@5201351_kvm ~]# virt-clone -o kvm_client00 -n kvm_client01 -f /var/lib/libvirt/images/kvm_client01.img
4、这时克隆就完了、我们可以通过virsh list --all进行查看，如果需要删除克隆的虚拟机，我们只需要执行如下命令即可。
[root@5201351_kvm ~]# virsh undefine kvm_client01 //该命令只是删除wintest01的配置文件，并不删除虚拟磁盘文件
方法二:复制配置文件与磁盘文件进行克隆（可以不用关闭源虚拟机）
1、这里我们还是克隆kvm_client00，我们通过如下命令创建新虚拟机的配置文件
[root@5201351_kvm ~]# virsh dumpxml kvm_client00 > /etc/libvirt/qemu/kvm_client02.xml //创建新虚拟机的配置文件
2、复制原虚拟机的磁盘文件，通过方法一、我们知道，磁盘默认位置为/var/lib/libvirt/images，我们执行如下命令进行复制
[root@5201351_kvm ~]# cd /var/lib/libvirt/images
[root@5201351_kvm images]# cp kvm_client00.img kvm_client02.img
3、直接编辑修改配置文件kvm_client02.xml，修改name,uuid,disk文件位置,mac地址，vnc端口
4、通过新虚拟机的配置文件，定义新的虚拟机，只需要执行如下一条命令即可。
[root@5201351_kvm ~]# virsh define /etc/libvirt/qemu/kvm_client02.xml //通过配置文件定义新的kvm虚拟机
需要特别说明的是、以上两种方法克隆的虚拟机、我们都需要进入克隆的新虚拟机里
修改网卡设备文件/etc/udev/rules.d/70-persistent-net.rules，或者直接将其删除，再重启克隆的目的虚拟机
同时还需要修改虚拟机内对应网卡的ip, mac，与重启后新生成的/etc/udev/rules.d/70-persistent-net.rules中的MAC和设备号内容一致。
然后才能重启新建的虚拟机的网卡。
cat /etc/udev/rules.d/70-persistent-net.rules
# PCI device 0x1af4:0x1000 (virtio-pci)
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="52:54:00:3e:78:0d", ATTR{type}=="1", KERNEL=="eth*", NAME="eth0"
vi /etc/sysconfig/network-scripts/ifcfg-eth0
修改ip
mac
重启network服务
其他管理例子
(1) 删除kvm虚拟机
# virsh undefine wintest01
说明：该命令只是删除wintest01的配置文件，并不删除虚拟磁盘文件。
(2) 重新定义虚拟机配置文件
通过导出备份的配置文件恢复原KVM虚拟机的定义，并重新定义虚拟机。
# mv /etc/libvirt/qemu/wintest02.xml /etc/libvirt/qemu/wintest01.xml
# virsh define /etc/libvirt/qemu/wintest01.xml
(3) 编辑KVM虚拟机配置文件
# virsh edit wintest01
virsh edit将调用vi命令编辑/etc/libvirt/qemu/wintest01.xml配置文件。也可以直接通过vi命令进行编辑，修改，保存。
可以但不建议直接通过vi编辑。
(1) 挂起服务器
# virsh suspend oeltest01
(2) 恢复服务器
# virsh resume oeltest01
导出KVM虚拟机配置文件
# virsh dumpxml wintest01 > /etc/libvirt/qemu/wintest02.xml
配置开机自启动虚拟机
# virsh autostart oeltest01
通过配置文件启动虚拟机
# virsh create /etc/libvirt/qemu/wintest01.xml
KVM虚拟机开机
# virsh start oeltest01
KVM虚拟机关机或断电
(1) 关机
默认情况下virsh工具不能对linux虚拟机进行关机操作，linux操作系统需要开启与启动acpid服务。在安装KVM linux虚拟机时必须在虚拟机内配置此服务。
# chkconfig acpid on
# service acpid restart
virsh关机
# virsh shutdown oeltest01
(2) 强制关闭电源
# virsh destroy wintest01
给每个虚拟机CPU，指定具体的物理机CPU pinning绑定亲和策略
<cputune>
<vcpupin vcpu="0" cpuset="1-4,2"/>
<vcpupin vcpu="1" cpuset="0,1"/>
<vcpupin vcpu="2" cpuset="2,3"/>
<vcpupin vcpu="3" cpuset="0,4"/>
</cputune>
or
<cputune>
<vcpupin vcpu="0" cpuset="2"/>
<vcpupin vcpu="1" cpuset="3"/>
<vcpupin vcpu="2" cpuset="4"/>
<vcpupin vcpu="3" cpuset="5"/>
<vcpupin vcpu="4" cpuset="6"/>
<vcpupin vcpu="5" cpuset="7"/>
<vcpupin vcpu="6" cpuset="8"/>
<vcpupin vcpu="7" cpuset="9"/>
<vcpupin vcpu="8" cpuset="10"/>
<vcpupin vcpu="9" cpuset="11"/>
</cputune>
也可以使用emulatorpin的方式
emulatorpin 标签可以指定一个特定的物理CPU，使虚拟机使用的CPU和存储器都在一个物理机CPU内部
<cputune>
<emulatorpin cpuset="1-3"/>
</cputune>
vcpu的设置
<vcpu placement='auto'>8</vcpu>
<vcpu placement='static' cpuset='0-10,5'>8</vcpu>
和 需要保持一致，配置的是物理CPU，配置的CPU的核，包括超线程产生的核；
使用static模式，也必须是；
也可以设置一个虚拟机给32个虚拟CPU，但是一开始只能使用8个，然后可以根据系统压力，热添加CPU给虚拟机。
<vcpu placement='auto' current='8'>32</vcpu>
使用cgoup cpuset限制KVM虚拟机对CPU的访问
使用vcpupin的效果可能不好，所以可以考虑cgroup的cpuset子系统。
/cgroup/cpuset/libvirt/qemu
在这个目录中，每个启动的虚拟机都有一个子目录，设置子目录中的cpuset.cpus即可。
例如, 设置kvm101虚拟机只能使用宿主机的1-10号核。
cd /cgroup/cpuset/libvirt/qemu/kvm101
echo "1-10" > cpuset.cpus