openstack安装环境搭建,openstack的搭建
OpenStack多Region环境搭建
最近遇到多Region的问题，就亲自搭建个实验环境玩玩。
两台虚拟机，搭配Centos7.2的系统，采用RDO进行配置，在packstack部署文件中，将其中一台虚拟机的region name配置为RegionOne，另一台为RegionTwo，这样就省得以后再在配置文件里修改的问题，如果你的RDO部署文件配置的没有问题，两个OpenStack平台就该就准备好了。
首先，先将RegionTwo中的keystone url地址改为RegionOne的，在我的环境中只部署了glance、nova、neutron这三个组件，所以搜索这三个组件的配置文件，将涉及到5000和35357端口的配置项进行修改：
接着，重启RegionTwo的各个组件，因为修改过配置文件了嘛，得重新读取下：
此时，RegionTwo内的keystone和horizon服务就没有啥用了，所以大方的干掉他们：
最后，在RegionOne内，得把RegionTwo的endpoint给加进来：
修改RegionTwo中的openrc，将auth url的IP改为RegionOne的keystone地址，同时注意下regionname是否是RegionTwo，一般来说，如果RDO配置正常的话这里不用关心，在RegionTwo执行openstack endpoint list，正常下能获取到所有Region的endpoint信息。至于horizon，OpenStack自身会帮你搞定，不用做任何配置。
Openstack概述 、 部署安装环境 、 部署Openstack 、 Openstack操作基础
案例1：配置yum仓库
案例2：测试时间服务器
案例3：配置yum仓库
案例4：检查基础环境
案例5：部署Openstack
案例6：网络管理
案例7：登录openstack
1 案例1：配置yum仓库
1.1 问题
本案例要求配置基本环境：
配置三台虚拟机
2CPU，6G 内存，50G 硬盘
2CPU，4.5G 内存，100G 硬盘
配置静态IP ifcfg-eth0
openstack : 192.168.1.10
nova: 192.168.1.11, 192.168.1.12
配置主机名 /etc/hosts，能够相互 ping 通
配置 dns 服务器 /etc/resolv.conf
1.2 方案
此实验的整体方案需要三台机器，openstack作为主节点，nova01 和 nova02作为额外节点，真机做为DNS转发和NTP的服务器(这里不再在表-1中体现)，提供域名解析和时间同步服务，具体情况如表-1所示：
表-1
1.3 步骤
实现此案例需要按照如下步骤进行。
步骤一：准备三台虚拟机
[student@room9pc01 images]$base-vm openstack nova01 nova02
[student@room9pc01 images]$virsh start openstack
[student@room9pc01 images]$virsh start nova01
[student@room9pc01 images]$virsh start nova02
2）opensatck主机扩容为50G
[student@room9pc01 images]$ virsh blockresize--path /var/lib/libvirt/images/openstack.img--size 100G openstack
[student@room9pc01 images]$ virsh console openstack
[root@localhost~]#/usr/bin/growpart /dev/vda1
[root@localhost~]#/usr/sbin/xfs_growfs /
[root@localhost~]# df-h
Filesystem? ? ? Size? Used Avail Use%Mounted on
/dev/vda1? ? ? ? 50G? 914M? 50G2%/
3）nova01 和 nova02 主机扩容为100G（以nova01为例）
[student@room9pc01 images]$ virsh blockresize--path /var/lib/libvirt/images/nova01.img--size 50G nova01
重新定义'/var/lib/libvirt/images/nova01.img'块设备大小
[root@localhost~]#/usr/bin/growpart /dev/vda1
[root@localhost~]#/usr/sbin/xfs_growfs? /
[root@localhost~]# df-h
Filesystem? ? ? Size? Used Avail Use%Mounted on
/dev/vda1? ? ? 100G? 917M? 100G1%/
4）三台主机配置静态ip（以一台为例）
openstack：192.168.1.10
nova01： 192.168.1.11
nova02： 192.168.1.12
[root@localhost~]#cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# vim ifcfg-eth0
# Generated by dracut initrd
DEVICE="eth0"
ONBOOT="yes"
NM_CONTROLLED="no"
TYPE="Ethernet"
BOOTPROTO="static"
PERSISTENT_DHCLIENT="yes"
IPADDR=192.168.1.10
NEMASK=255.255.255.0
GATEWAY=192.168.1.254
5）三台主机修改主机名，配置/etc/hosts，和/etc/resolv.conf文件（以一台为例）
[root@localhost~]# hostname openstack
[root@localhost~]# echo openstack/etc/hostname
[root@localhost~]#vim /etc/hosts
192.168.1.10openstack
192.168.1.11nova01
192.168.1.12nova02
[root@localhost~]#vim /etc/resolv.conf//去掉search开头的行
;generatedby /usr/sbin/dhclient-script
nameserver192.168.1.254
6）修改三台主机的内存（openstack6G，nova01 和nova02 4G）
[student@room9pc01~]$ virsh edit openstack
...
memory unit='KiB'6588282/memory
currentMemory unit='KiB'6588282/currentMemory
...
[student@room9pc01~]$ virsh edit nova01
...
memory unit='KiB'4588282/memory
currentMemory unit='KiB'4588282/currentMemory
...
[student@room9pc01~]$ virsh start? openstack
域 openstack 已开始
[student@room9pc01~]$ virsh start? nova01
域 nova01 已开始
[student@room9pc01~]$ virsh start? nova02
域 nova02 已开始
2 案例2：测试时间服务器
2.1 问题
本案例要求掌握时间服务的配置：
修改 openstack，nova01，nova02 的时间服务器
重启服务后验证配置
2.2 步骤
实现此案例需要按照如下步骤进行。
步骤一：修改openstack，nova01 和 nova02 的时间服务器（以一台为例）
[root@openstack~]#vim /etc/chrony.conf
...
server192.168.1.254iburst
[root@openstack~]# systemctl restart chronyd
步骤二：验证
[root@openstack~]# chronyc sources-v
...
||||\
MSName/IP address? ? ? ? Stratum Poll Reach LastRx Last sample
===============================================================================
^*gateway36376-93ns[+903ns]+/-26ms
步骤三：两台虚拟机配置静态ip
注意：两台主机同样操作，改一下ip即可（以openstack.tedu.cn为例）
[root@localhost~]# echo openstack.tedu.cn/etc/hostname
[root@localhost~]# hostname openstack.tedu.cn
//另外一台主机改名为nova.tedu.cn,配置ip为1.20
[root@openstack~]#vim /etc/sysconfig/network-scripts/ifcfg-eth0
# Generated by dracut initrd
DEVICE="eth0"
ONBOOT="yes"
IPV6INIT="no"
IPV4_FAILURE_FATAL="no"
NM_CONTROLLED="no"
TYPE="Ethernet"
BOOTPROTO="static"
IPADDR="192.168.1.10"
PREFIX=24
GATEWAY=192.168.1.254
[root@openstack~]# systemctl restart network
3 案例3：配置yum仓库
3.1 问题
本案例要求配置yum仓库：
配置 yum 源，软件仓库一共 4 个
3.2 步骤
实现此案例需要按照如下步骤进行。
步骤一：三台主机配置yum源（以一台主机为例，共10670个软件包）
[student@room9pc01~]$cd /linux-soft/04/openstack/
[student@room9pc01 openstack]$ ls
cirros.qcow2? RHEL7-extras.iso? RHEL7OSP-10.iso? small.qcow2
[student@room9pc01 openstack]$mkdir /var/ftp/RHEL7-extras
[student@room9pc01 openstack]$mkdir /var/ftp/RHEL7OSP-10
[student@room9pc01 openstack]$ mount RHEL7-extras.iso? /var/ftp/RHEL7-extras/
mount:/dev/loop1 写保护，将以只读方式挂载
[student@room9pc01 openstack]$ mount RHEL7OSP-10.iso /var/ftp/RHEL7OSP-10/
mount:/dev/loop2 写保护，将以只读方式挂载
[root@openstack~]#vim /etc/yum.repos.d/local.repo
[local_repo]
name=CentOS-$releasever-Base
baseurl=""
enabled=1
gpgcheck=1
[RHEL7-extras]
name=RHEL7-extras
baseurl=""
enabled=1
gpgcheck=0
[RHEL7OSP-package]
name=RHEL7OSP-package
baseurl=""
enabled=1
gpgcheck=0
[RHEL7OSP-devtools]
name=RHEL7OSP-devtools
baseurl=""
enabled=1
gpgcheck=0
[root@openstack~]#scp /etc/yum.repos.d/local.repo192.168.1.11:/etc/yum.repos.d/
root@192.168.1.11's password:
local.repo? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 100%? 490? 484.4KB/s? 00:00? ?
[root@openstack ~]# scp /etc/yum.repos.d/local.repo 192.168.1.12:/etc/yum.repos.d/
root@192.168.1.12's password:
local.repo
4 案例4：检查基础环境
4.1 问题
本案例要求准备基础环境，为安装openstack做准备：
安装额外的软件包
是否卸载firewalld 和 NetworkManager
检查配置主机网络参数（静态IP）
主机名必须能够相互 ping 通
检查配置主机yum源（4个，10670）
依赖软件包是否安装
检查NTP服务器是否可用
检查 /etc/resolv.conf 不能有 search 开头的行
4.2 步骤
实现此案例需要按照如下步骤进行。
步骤一：检查基础环境
1）安装额外软件包（三台机器操作，这里以一台为例）
[root@openstack yum.repos.d]# yum install-y qemu-kvm libvirt-client libvirt-daemon libvirt-daemon-driver-qemu python-setuptools
2）是否卸载firewalld 和 NetworkManager
[root@openstack~]# rpm-qa|grep NetworkManager*
[root@openstack~]# rpm-qa|grep firewalld*
3）检查配置主机网络参数
[root@openstack~]#cat /etc/sysconfig/network-scripts/ifcfg-eth0
# Generated by dracut initrd
DEVICE="eth0"
ONBOOT="yes"
NM_CONTROLLED="no"
TYPE="Ethernet"
BOOTPROTO="static"
PERSISTENT_DHCLIENT="yes"
IPADDR=192.168.1.10
NEMASK=255.255.255.0
GATEWAY=192.168.1.254
4）验证主机名是否互通
[root@openstack~]# ping openstack
...
64bytes fromopenstack(192.168.1.10):icmp_seq=1ttl=255time=0.023ms
64bytes fromopenstack(192.168.1.10):icmp_seq=2ttl=255time=0.027ms
...
[root@openstack~]# ping nova01
PINGnova01(192.168.1.11)56(84)bytes of data.
64bytes fromnova01(192.168.1.11):icmp_seq=1ttl=255time=0.139ms
...
[root@openstack~]# ping nova02
PINGnova02(192.168.1.12)56(84)bytes of data.
64bytes fromnova02(192.168.1.12):icmp_seq=1ttl=255time=0.251ms
...
5）检查配置主机yum源
[root@openstack~]# yum repolist
已加载插件：fastestmirror
Loading mirror speeds from cached hostfile
源标识? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 源名称? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 状态
RHEL7-extras? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? RHEL7-extras76
RHEL7OSP-devtools? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? RHEL7OSP-devtools3
RHEL7OSP-package? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? RHEL7OSP-package680
local_repo? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? CentOS-7-Base9,911
repolist:10,670
6）检查时间同步是否可用
[root@openstack~]# chronyc? sources-v
210Numberof sources=1
....
||||\
MSName/IP address? ? ? ? Stratum Poll Reach LastRx Last sample
===============================================================================
^*gateway3737728+31us[+89us]+/-25ms
[root@openstack~]#
7）检查/etc/resolv.conf 不能有 search 开头的行
[root@openstack~]#cat /etc/resolv.conf
;generatedby /usr/sbin/dhclient-script
nameserver192.168.1.254
5 案例5：部署Openstack
5.1 问题
本案例要求通过packstack完成以下配置：
通过packstack部署Openstack
根据相关日志文件进行排错
5.2 步骤
实现此案例需要按照如下步骤进行。
步骤一：安装packstack
[root@openstack~]# yum install-y openstack-packstack
[root@openstack~]# packstack--gen-answer-file answer.ini
//answer.ini与answer.txt是一样的，只是用vim打开answer.ini文件有颜色
Packstack changed given value? to requiredvalue /root/.ssh/id_rsa.pub
[root@openstack~]# vim answer.ini
42CONFIG_SWIFT_INSTALL=n
45CONFIG_CEILOMETER_INSTALL=n//计费相关模块
49CONFIG_AODH_INSTALL=n//计费相关模块
53CONFIG_GNOCCHI_INSTALL=n//计费相关模块
75CONFIG_NTP_SERVERS=192.168.1.254//时间服务器的地址
98CONFIG_COMPUTE_HOSTS=192.168.1.11
102CONFIG_NETWORK_HOSTS=192.168.1.10,192.168.1.11
333CONFIG_KEYSTONE_ADMIN_PW=a//修改管理员的密码
840CONFIG_NEUTRON_ML2_TYPE_DRIVERS=flat,vxlan//驱动类型
876CONFIG_NEUTRON_ML2_VXLAN_GROUP=239.1.1.5
//设置组播地址,最后一个随意不能为0和255,其他固定
910CONFIG_NEUTRON_OVS_BRIDGE_MAPPINGS=physnet1:br-ex//物理网桥的名称
921CONFIG_NEUTRON_OVS_BRIDGE_IFACES=br-ex:eth0
//br-ex桥的名称与eth0连接，管理eth0,网桥与哪个物理网卡连接
1179CONFIG_PROVISION_DEMO=n//DEMO是否测试
[root@openstack~]# packstack--answer-file=answer.ini
Welcome to the Packstack setup utility
The installation log file is available at:/var/tmp/packstack/20190423-170603-b43g_i/openstack-setup.log
Installing:
Clean Up[DONE]
Discovering ip protocol version[DONE]
root@192.168.1.11's password:
root@192.168.1.10's password:
Setting up ssh keys
****Installation completed successfully******//出现这个为成功
6 案例6：网络管理
6.1 问题
本案例要求运用OVS完成以下配置：
查看外部OVS网桥及其端口
验证OVS配置
6.2 步骤
实现此案例需要按照如下步骤进行。
步骤一：查看外部OVS网桥
1）查看br-ex网桥配置（br-ex为OVS网桥设备）
[root@openstack~]#cat /etc/sysconfig/network-scripts/ifcfg-br-ex
ONBOOT="yes"
NM_CONTROLLED="no"
IPADDR="192.168.1.10"
PREFIX=24
GATEWAY=192.168.1.254
DEVICE=br-ex
NAME=br-ex
DEVICETYPE=ovs
OVSBOOTPROTO="static"
TYPE=OVSBridge
2）查看eth0网卡配置（该网卡为OVS网桥的接口）
[root@openstack~]#cat /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
NAME=eth0
DEVICETYPE=ovs
TYPE=OVSPort
OVS_BRIDGE=br-ex
ONBOOT=yes
BOOTPROTO=none
3）验证OVS配置
[root@openstack~]# ovs-vsctl show
Bridge br-ex
Controller"tcp:127.0.0.1:6633"
is_connected:true
fail_mode:secure
Port br-ex
Interface br-ex
type:internal
Port phy-br-ex
Interface phy-br-ex
type:patch
options:{peer=int-br-ex}
Port"eth0"
Interface"eth0"
ovs_version:"2.5.0"
7 案例7：登录openstack
7.1 问题
本案例要求通过Horizon完成以下操作：
修改/etc/httpd/conf.d/15-horizon_vhost.conf 配置文件，使其可以成功登录openstack
7.2 步骤
实现此案例需要按照如下步骤进行。
步骤一：浏览器访问openstack
1）浏览器访问
[root@openstack~]# firefox192.168.1.10//访问失败
2）需要改配置文件并重新加载
[root@openstack~]#
[root@openstack conf.d]# vi15-horizon_vhost.conf
35WSGIProcessGroup apache
36WSGIApplicationGroup%{GLOBAL}//添加这一行
[root@openstack conf.d]# apachectl? graceful//重新载入配置文件
3）浏览器访问，出现页面，如图-6所示：
图-6
3）查看用户名和密码
[root@openstack conf.d]# cd
[root@openstack~]# ls
answer.ini? keystonerc_admin//keystonerc_admin生成的文件，里面有用户名和密码
[root@openstack~]# cat keystonerc_admin
unset OS_SERVICE_TOKEN
exportOS_USERNAME=admin//用户名
exportOS_PASSWORD=a//密码
exportOS_AUTH_URL=
exportPS1='[\u@\h \W(keystone_admin)]\$ '
exportOS_TENANT_NAME=admin
exportOS_REGION_NAME=RegionOne
4）在火狐浏览器中输入用户名和密码，登录后页面如图-7所示：
图-7
安装openstack可能会出现的错误以及排错方法
1）ntp时间不同步，如图-2所示：
图-2
解决办法：查看ntp时间服务器，是否出现*号，若没有，查看配置文件，配置ntp服务器步骤在案例3，可以参考
[root@room9pc01~]# chronyc sources-v//出现*号代表NTP时间可用
^*120.25.115.20261762-753us[-7003us]+/-24ms
[root@openstack~]# chronyc sources-v
^*192.168.1.25439377504+50us[-20us]+/-24ms
[root@nova~]# chronyc sources-v
^*192.168.1.25439377159-202us[-226us]+/-24ms
2）网桥名称写错，如图-3所示：
图-3
解决办法：检查配置文件
[root@openstack~]# vim answer.ini
...
921CONFIG_NEUTRON_OVS_BRIDGE_IFACES=br-ex:eth0
//br-ex桥的名称与eth0连接，管理eth0,网桥与哪个物理网卡连接
...
3）若/root/.ssh/id_rsa.pub，提示password，同样是配置文件没有写对，如图-4所示：
图-4
4）yum源没有配置正确，如图-5所示：
图-5
解决办法：检查yum是否为10853个软件包，查看是否是yum源没有配置正确，之后安装oprnstack-dashboard
5）出现Cannot allocate memory,如图-6所示：
图-6
解决办法：
内存不足，重新启动主机
6）出现/usr/bin/systemctl start openvswith ... falied，说明是ssse3指令集的错误，如图-7所示：
图-7
解决办法：编辑openstack的xml文件，在里面添加
cpu mode='host-passthrough'
/cpu
7）若出现 Could not prefetch... ‘openstack’。 如图-8所示：
图-8
配置文件里面有中文符号
9）访问openstack出错
图-9
没有修改Apache配置文件
4）创建名为myproject的项目
[root@openstack~]# source~/keystonerc_admin? //初始化环境变量
[root@openstack~(keystone_admin)]# openstack project create myproject
+-------------+----------------------------------+
|Field|Value|
+-------------+----------------------------------+
|description|None|
|enabled|True|
|id|f73949e2701346328faf5c1272414cd0|
|name|myproject|
+-------------+----------------------------------+
5）查看项目信息
[root@openstack~(keystone_admin)]# openstack project list
+----------------------------------+-----------+
|ID|Name|
+----------------------------------+-----------+
|3fd5bffd734543d39cf742492273a47f|services|
|7f0b43274a9f4e149357fc8393ff2c68|admin|
|f73949e2701346328faf5c1272414cd0|myproject|
+----------------------------------+-----------+
6）更新vcpu配额为30
[root@openstack~(keystone_admin)]# nova quota-update--cores30myproject
7）删除myproject
[root@openstack~(keystone_admin)]# openstack projectdeletemyproject
⑩ OpenStack高可用集群部署方案(train版)—OpenStack对接Ceph存储
参考Ceph官方安装文档
Openstack环境中，数据存储可分为临时性存储与永久性存储。
临时性存储：主要由本地文件系统提供，并主要用于nova虚拟机的本地系统与临时数据盘，以及存储glance上传的系统镜像；
永久性存储：主要由cinder提供的块存储与swift提供的对象存储构成，以cinder提供的块存储应用最为广泛，块存储通常以云盘的形式挂载到虚拟机中使用。
Openstack中需要进行数据存储的三大项目主要是nova项目（虚拟机镜像文件），glance项目（共用模版镜像）与cinder项目（块存储）。
下图为cinder，glance与nova访问ceph集群的逻辑图：
ceph与openstack集成主要用到ceph的rbd服务，ceph底层为rados存储集群，ceph通过librados库实现对底层rados的访问；
openstack各项目客户端调用librbd，再由librbd调用librados访问底层rados；
实际使用中，nova需要使用libvirtdriver驱动以通过libvirt与qemu调用librbd；cinder与glance可直接调用librbd；
写入ceph集群的数据被条带切分成多个object，object通过hash函数映射到pg（构成pg容器池pool），然后pg通过几圈crush算法近似均匀地映射到物理存储设备osd（osd是基于文件系统的物理存储设备，如xfs，ext4等）。
CEPH PG数量设置与详细介绍
在创建池之前要设置一下每个OSD的最大PG 数量
PG PGP官方计算公式计算器
参数解释：
依据参数使用公式计算新的 PG 的数目:
PG 总数= ((OSD总数*100)/最大副本数)/池数
3x100/3/3=33.33 ;舍入到2的N次幕为32
openstack集群作为ceph的客户端；下面需要再openstack集群上进行ceph客户端的环境配置
在openstack所有控制和计算节点安装ceph Octopus源码包，centos8有默认安装，但是版本一定要跟连接的ceph版本一致
glance-api 服务运行在3个控制节点， 因此三台控制节点都必须安装
cinder-volume 与 nova-compute 服务运行在3个计算（存储）节点； 因此三台计算节点都必须安装
将配置文件和密钥复制到openstack集群各节点
配置文件就是生成的ceph.conf；而密钥是 ceph.client.admin.keyring ，当使用ceph客户端连接至ceph集群时需要使用的密默认密钥，这里我们所有节点都要复制，命令如下
※Glance 作为openstack中镜像服务，支持多种适配器，支持将镜像存放到本地文件系统，http服务器，ceph分布式文件系统，glusterfs和sleepdog等开源的分布式文件系统上。目前glance采用的是本地filesystem的方式存储，存放在默认的路径 /var/lib/glance/images 下，当把本地的文件系统修改为分布式的文件系统ceph之后，原本在系统中镜像将无法使用，所以建议当前的镜像删除，部署好ceph之后，再统一上传至ceph中存储。
※Nova 负责虚拟机的生命周期管理，包括创建，删除，重建，开机，关机，重启，快照等，作为openstack的核心，nova负责IaaS中计算重要的职责，其中nova的存储格外重要，默认情况下，nova将instance的数据存放在/var/lib/nova/instances/%UUID目录下，使用本地的存储空间。使用这种方式带来的好处是:简单，易实现，速度快，故障域在一个可控制的范围内。然而，缺点也非常明显：compute出故障，上面的虚拟机down机时间长，没法快速恢复，此外，一些特性如热迁移live-migration,虚拟机容灾nova evacuate等高级特性，将无法使用，对于后期的云平台建设，有明显的缺陷。对接 Ceph 主要是希望将实例的系统磁盘文件储存到 Ceph 集群中。与其说是对接 Nova，更准确来说是对接 QEMU-KVM/libvirt，因为 librbd 早已原生集成到其中。
※Cinder 为 OpenStack 提供卷服务，支持非常广泛的后端存储类型。对接 Ceph 后，Cinder 创建的 Volume 本质就是 Ceph RBD 的块设备，当 Volume 被虚拟机挂载后，Libvirt 会以 rbd 协议的方式使用这些 Disk 设备。除了 cinder-volume 之后，Cinder 的 Backup 服务也可以对接 Ceph，将备份的 Image 以对象或块设备的形式上传到 Ceph 集群。
使用ceph的rbd接口，需要通过libvirt，所以需要在客户端机器上安装libvirt和qemu，关于ceph和openstack结合的结构如下，同时，在openstack中，需要用到存储的地方有三个:
为 Glance、Nova、Cinder 创建专用的RBD Pools池
需要配置hosts解析文件，这里最开始已经配置完成，如未添加hosts解析需要进行配置
在cephnode01管理节点上操作 ；命名为：volumes，vms，images
记录：删除存储池的操作
在cephnode01管理节点上操作 ；
针对pool设置权限，pool名对应创建的pool
nova-compute与cinder-volume都部署在计算节点 ，不必重复操作,如果计算节点与存储节点分离需要分别推送；
全部计算节点配置；以compute01节点为例；
Glance 为 OpenStack 提供镜像及其元数据注册服务，Glance 支持对接多种后端存储。与 Ceph 完成对接后，Glance 上传的 Image 会作为块设备储存在 Ceph 集群中。新版本的 Glance 也开始支持 enabled_backends 了，可以同时对接多个存储提供商。
写时复制技术(copy-on-write) ：内核只为新生成的子进程创建虚拟空间结构，它们复制于父进程的虚拟空间结构，但是不为这些段分配物理内存，它们共享父进程的物理空间，当父子进程中有更改相应的段的行为发生时，再为子进程相应的段分配物理空间。写时复制技术大大降低了进程对资源的浪费。
全部控制节点进行配置；以controller01节点为例；
只修改涉及glance集成ceph的相关配置
变更配置文件，重启服务
ceph官网介绍 QEMU和块设备
对接 Ceph 之后，通常会以 RAW 格式创建 Glance Image，而不再使用 QCOW2 格式，否则创建虚拟机时需要进行镜像复制，没有利用 Ceph RBD COW 的优秀特性。
总结
将openstack集群中的glance镜像的数据存储到ceph中是一种非常好的解决方案，既能够保障镜像数据的安全性，同时glance和nova在同个存储池中，能够基于copy-on-write(写时复制)的方式快速创建虚拟机，能够在秒级为单位实现vm的创建。
全部计算节点进行配置； 以compute01节点为例；只修改glance集成ceph的相关配置
全部计算节点重启cinder-volume服务；
任意openstack控制节点上查看;
在任意控制节点为cinder的ceph后端存储创建对应的type，在配置多存储后端时可区分类型；
为ceph type设置扩展规格，键值 volume_backend_name ，value值 ceph
任意控制节点上创建一个1GB的卷 ；最后的数字1代表容量为1G
查看创建好的卷
openstack创建一个空白 Volume，Ceph相当于执行了以下指令
从镜像创建 Volume 的时候应用了 Ceph RBD COW Clone 功能，这是通过 glance-api.conf [DEFAULT] show_image_direct_url = True 来开启。这个配置项的作用是持久化 Image 的 location，此时 Glance RBD Driver 才可以通过 Image location 执行 Clone 操作。并且还会根据指定的 Volume Size 来调整 RBD Image 的 Size。
一直存在的cirros_qcow2镜像为对接ceph之前的镜像，现在已无法使用，所以将之删除
在openstack上从镜像创建一个Volume，Ceph相当于执行了以下指令
任意控制节点操作；
查看快照详细信息
在openstack上对镜像的卷创建快照，Ceph相当于执行了以下指令
如果说快照时一个时间机器，那么备份就是一个异地的时间机器，它具有容灾的含义。所以一般来说 Ceph Pool backup 应该与 Pool images、volumes 以及 vms 处于不同的灾备隔离域。
一般的，备份具有以下类型：
在虚拟磁盘映像的计算节点上使用本地存储有一些缺点：
Nova 为 OpenStack 提供计算服务，对接 Ceph 主要是希望将实例的系统磁盘文件储存到 Ceph 集群中。与其说是对接 Nova，更准确来说是对接 QEMU-KVM/libvirt ，因为 librbd 早已原生集成到其中。
如果需要从ceph rbd中启动虚拟机，必须将ceph配置为nova的临时后端；
推荐在计算节点的配置文件中启用rbd cache功能；
为了便于故障排查，配置admin socket参数，这样每个使用ceph rbd的虚拟机都有1个socket将有利于虚拟机性能分析与故障解决；
相关配置只涉及全部计算节点ceph.conf文件的[client]与[client.cinder]字段，以compute163节点为例
全部计算节点配置 ceph.conf文件相关的 [client] 与 [client.cinder] 字段，以compute01节点为例；
在全部计算节点配置nova后端使用ceph集群的vms池，以compute01节点为例；
在全部计算节点操作;
在全部计算节点操作，以compute01节点为例；
以下给出libvirtd.conf文件的修改处所在的行num
325.【openstack】kolla 搭建 openstack 单机版云环境
参考 314. 【Python】linux 环境搭建 python3
参考 315.【Linux】云环境搭建准备——关闭防火墙
预检查没问题之后，继续下一步
大概花了 15 分钟。
大概花了 10 分钟。
验证部署，并且生成/etc/kolla/admin-openrc.sh
浏览器输入客户端地址：
可以看到，已经正常进入了
最近前前后后，我已经部署4,5次了，后面还要部署，虽然很多东西都记在脑袋里了，但想想还是记录一下比较好。
相关文章：
315.【Linux】云环境搭建准备——关闭防火墙
185. 【docker】二进制方式安装 Docker
314. 【Python】linux 环境搭建 python3
332.【openstack】开启物理机虚拟机化