ceph简介
Ceph是一个分布式存储系统，诞生于2004年，是最早致力于开发下一代高性能分布式文件系统的项目。随着云计算的发展，ceph乘上了OpenStack的春风，进而成为了开源社区受关注较高的项目之一。
ceph基本结构
自下向上，可以将Ceph系统分为四个层次:
1.基础存储系统RADOS（Reliable, Autonomic, Distributed Object Store，即可靠的、自动化的、分布式的对象存储）
RADOS本身也是分布式存储系统，CEPH所有的存储功能都是基于RADOS实现,RADOS由大量的存储设备节点组成，每个节点拥有自己的硬件资源（CPU、内存、硬盘、网络），并运行着操作系统和文件系统。
2.基础库librados
这一层的功能是对RADOS进行抽象和封装，并向上层提供API，以便直接基于RADOS（而不是整个Ceph）进行应用开发。
3.高层应用接口
这一层包括了三个部分：RADOS GW（RADOS Gateway）、 RBD（Reliable Block Device）和Ceph FS（Ceph File System），其作用是在librados库的基础上提供抽象层次更高、更便于应用或客户端使用的上层接口。
其中，RADOS GW是一个提供与Amazon S3和Swift兼容的RESTful API的gateway，以供相应的对象存储应用开发使用。RADOS GW提供的API抽象层次更高，但功能则不如librados强大。因此，开发者应针对自己的需求选择使用。
RBD则提供了一个标准的块设备接口，常用于在虚拟化的场景下为虚拟机创建volume。目前，Red Hat已经将RBD驱动集成在KVM/QEMU中，以提高虚拟机访问性能。
Ceph FS是一个POSIX兼容的分布式文件系统。由于还处在开发状态，因而Ceph官网并不推荐将其用于生产环境中
4.应用层
这一层就是不同场景下对于Ceph各个应用接口的各种应用方式，例如基于librados直接开发的对象存储应用，基于RADOS GW开发的对象存储应用，基于RBD实现的云硬盘等等。
Ceph基本组件
- Osd
用于集群中所有数据与对象的存储。处理集群数据的复制、恢复、回填、再均衡。并向其他osd守护进程发送心跳，然后向Mon提供一些监控信息。 - Monitor
监控整个集群的状态，维护集群的cluster MAP二进制表，保证集群数据的一致性。ClusterMAP描述了对象块存储的物理位置，以及一个将设备聚合到物理位置的桶列表。 - MDS(可选)
为Ceph文件系统提供元数据计算、缓存与同步。在ceph中，元数据也是存储在osd节点中的，mds类似于元数据的代理缓存服务器。MDS进程并不是必须的进程，只有需要使用CEPHFS时，才需要配置MDS节点。
ceph数据的存储过程
Ceph系统中的寻址流程如下图所示：
无论使用哪种存储方式（对象、块、挂载），存储的数据都会被切分成对象（Objects）。Objects size大小可以由管理员调整，通常为2M或4M。每个对象都会有一个唯一的OID，由ino与ono生成。ino即是文件的File ID，用于在全局唯一标示每一个文件，而ono则是分片的编号。比如：一个文件FileID为A，它被切成了两个对象，一个对象编号0，另一个编号1，那么这两个文件的oid则为A0与A1。Oid的好处是可以唯一标示每个不同的对象，并且存储了对象与文件的从属关系。
但是对象并不会直接存储进OSD中，因为对象的size很小，在一个大规模的集群中可能有几百到几千万个对象。这么多对象光是遍历寻址，速度都是很缓慢的；并且如果将对象直接通过某种固定映射的哈希算法映射到osd上，当这个osd损坏时，对象无法自动迁移至其他osd上面（因为映射函数不允许）。为了解决这些问题，ceph引入了归置组的概念，即PG。
PG是一个逻辑概念，我们linux系统中可以直接看到对象，但是无法直接看到PG。它在数据寻址时类似于数据库中的索引：每个对象都会固定映射进一个PG中，所以当我们要寻找一个对象时，只需要先找到对象所属的PG，然后遍历这个PG就可以了，无需遍历所有对象。而且在数据迁移时，也是以PG作为基本单位进行迁移，ceph不会直接操作对象。
对象映射进PG的方式：使用静态hash函数对OID做hash取出特征码，用特征码与PG的数量去模，得出PGID。
最后PG会根据管理员设置的副本数量进行复制，然后通过crush算法存储到不同的OSD节点上。
ceph-deploy快速安装
说明，此例中一个mon节点，两个osd节点，hostname分别为：test-ceph-1,test-ceph-2,test-ceph-3
mons节点必须能够通过 SSH 无密码地访问各 Ceph 节点
配置好相应的源，国内推荐使用有云UDS的源，创建/etc/yum.repos.d/ceph.repo如下：
[ceph]
name=UDS Packages for CentOS 7
baseurl=http://uds.ustack.com/repo/Azeroth/el7/
enabled=1
gpgcheck=0
priority=1
[ceph-noarch]
name=UDS Packages for CentOS 7
baseurl=http://uds.ustack.com/repo/Azeroth/el7/
enabled=1
gpgcheck=0
priority=1
[ceph-source]
name=UDS Packages for CentOS 7
baseurl=http://uds.ustack.com/repo/Azeroth/el7/
enabled=1
gpgcheck=0
priority=1
安装 ceph-deploy：
yum install ceph-deploy
如果安装了firewalld,那么需要：
firewall-cmd --zone=public --add-port=6789/tcp --permanent
若使用 iptables,要开放 Ceph Monitors 使用的 6789 端口和 OSD 使用的 6800:7300 端口范围:
iptables -A INPUT -i {iface} -p tcp -s {ip-address}/{netmask} --dport 6789 -j ACCEPT
/sbin/service iptables save
在 CentOS 和 RHEL 上， SELinux 默认为 Enforcing 开启状态。为简化安装，我们建议把 SELinux 设置为 Permissive 或者完全禁用，也就是在加固系统配置前先确保集群的安装、配置没问题。用下列命令把 SELinux 设置为 Permissive ：
setenforce 0
在mon节点上，用 ceph-deploy 执行如下步骤：
1.创建集群
ceph-deploy new test-ceph-1
2.把 Ceph 配置文件里的默认副本数从 3 改成 2 ，这样只有两个 OSD 也可以达到 active + clean 状态。把下面这行加入/etc/ceph/ceph.conf的[global]段：
osd_pool_default_size = 2
3.安装 Ceph
ceph-deploy install test-ceph-1 test-ceph-2 test-ceph-3
4.配置初始 monitor(s)、并收集所有密钥：
ceph-deploy mon create-initial
完成上述操作后，当前目录里应该会出现这些密钥环： {cluster-name}.client.admin.keyring {cluster-name}.bootstrap-osd.keyring {cluster-name}.bootstrap-mds.keyring {cluster-name}.bootstrap-rgw.keyring
5.添加两个 OSD
登录test-ceph-2执行:
mkdir /var/local/osd0
登录test-ceph-3执行:
mkdir /var/local/osd1
然后，从mon节点执行 ceph-deploy 来准备 OSD:
ceph-deploy osd prepare test-ceph-2:/var/local/osd0 test-ceph-3:/var/local/osd1
激活 OSD :
ceph-deploy osd activate test-ceph-2:/var/local/osd0 test-ceph-3:/var/local/osd1
6.用 ceph-deploy 把配置文件和 admin 密钥拷贝到mon节点和osd节点，这样你每次执行 Ceph 命令行时就无需指定 monitor 地址和 ceph.client.admin.keyring 了:
ceph-deploy admin test-ceph-1 test-ceph-2 test-ceph-3
7.确保你对 ceph.client.admin.keyring 有正确的操作权限。
chmod +r /etc/ceph/ceph.client.admin.keyring
8.验证
ceph手动部署
mon节点为test-ceph-1，osd节点为test-ceph-2，test-ceph-3
mons节点必须能够通过 SSH 无密码地访问各 Ceph 节点
配置好相应的ceph源
密钥下载：
不管你是用仓库还是手动下载，你都需要用密钥校验软件包。如果你没有密钥，就会收到安全警告。有两个密钥：一个用于发布（常用）、一个用于开发（仅适用于程序员和 QA ）
执行下列命令安装 release.asc 密钥：
sudo rpm --import 'https://download.ceph.com/keys/release.asc'
执行下列命令安装 autobuild.asc 密钥（仅对 QA 和开发者）：
sudo rpm --import 'https://download.ceph.com/keys/autobuild.asc'
部署步骤如下：
1.mon节点和osd节点安装 yum-plugin-priorities、ceph和依赖包：
yum install yum-plugin-priorities snappy leveldb gdisk python-argparse gperftools-libs ceph
2.mon节点部署
2.1登录到监视器节点， 确保保存 Ceph 配置文件的目录存在 2.2创建 Ceph 配置文件， Ceph 默认使用 ceph.conf 2.3给集群分配惟一 ID （即 fsid ）,并把此 ID 写入 Ceph 配置文件
uuidgen
写入ceph.conf
[global]
fsid = {UUID}
2.4把初始监视器写入 Ceph 配置文件
mon_initial_members = test-ceph-1
2.5初始监视器的 IP 地址写入 Ceph 配置文件
mon_host = 10.0.86.23
2.6为此集群创建密钥环、并生成监视器密钥
ceph-authtool --create-keyring /tmp/ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'
2.7生成管理员密钥环，生成 client.admin 用户并加入密钥环
ceph-authtool --create-keyring /etc/ceph/ceph.client.admin.keyring --gen-key -n client.admin --set-uid=0 --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow'
2.8把 client.admin 密钥加入 ceph.mon.keyring
ceph-authtool /tmp/ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring
2.9用规划好的主机名、对应 IP 地址、和 FSID 生成一个监视器图，并保存为 /tmp/monmap
monmaptool --create --add test-ceph-1 10.0.86.23 --fsid {UUID} /tmp/monmap
2.10在监视器主机上分别创建数据目录。
mkdir /var/lib/ceph/mon/ceph-test-ceph-1
2.11创建一个boot引导启动osd的key
mkdir -p /var/lib/ceph/bootstrap-osd/
ceph-authtool -C /var/lib/ceph/bootstrap-osd/ceph.keyring
2.12用监视器图和密钥环组装守护进程所需的初始数据。
ceph-mon --mkfs -i test-ceph-1 --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring
2.13仔细斟酌 Ceph 配置文件，公共的全局配置包括这些：
[global]
fsid = xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
mon_initial_members = test-ceph-1
mon_host = 10.0.86.23
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
auth_supported = cephx
osd_pool_default_size = 2
把监视器节点的/etc/ceph/ceph.conf 和ceph.client.admin.keyring 拷贝到test-ceph-2,test-ceph3,这一步不要忘记！！！
2.14建一个空文件 done ，表示监视器已创建、可以启动了
touch /var/lib/ceph/mon/ceph-test-ceph-1/done
touch /var/lib/ceph/mon/ceph-test-ceph-1/sysvinit
2.15启动监视器
service ceph start mon.test-ceph-1
3.osd节点部署 注意：如果osd盘不是本地目录，那么请忽略3.1-3.3，直接执行3.4即可。
3.1创建本地目录当做osd盘
在 test-ceph-2 上执行：
mkdir /var/local/osd0
在 test-ceph-3 上执行：
mkdir /var/local/osd1
3.2准备OSD
在test-ceph-2、test-ceph-3上执行：
ceph osd create
这条命令会输出创建的osd number
3.3创建软链接。
在 test-ceph-2 上执行：
ln -s /var/local/osd0 /var/lib/ceph/osd/ceph-0
在 test-ceph-3 上执行：
ln -s /var/local/osd0 /var/lib/ceph/osd/ceph-0
3.4如果osd不是本地目录，需要以下操作：
在 test-ceph-2 上执行：
根据设备名替换下面的/dev/vdb
mkfs.xfs -f /dev/vdb
mkdir -p /var/lib/ceph/osd/ceph-0
mount /dev/vdb /var/lib/ceph/osd/ceph-0
mount -o remount,user_xattr /var/lib/ceph/osd/ceph-0
vi /etc/fstab
>>
/dev/vdb /var/lib/ceph/osd/ceph-0 xfs defaults 0 0
/dev/vdb /var/lib/ceph/osd/ceph-0 xfs remount,user_xattr 0 0
<<
在 test-ceph-3 上执行：
根据设备名替换下面的/dev/vdc
mkfs.xfs -f /dev/vdc
mkdir -p /var/lib/ceph/osd/ceph-1
mount /dev/vdc /var/lib/ceph/osd/ceph-1
mount -o remount,user_xattr /var/lib/ceph/osd/ceph-0
vi /etc/fstab
>>
/dev/vdc /var/lib/ceph/osd/ceph-0 xfs defaults 0 0
/dev/vdc /var/lib/ceph/osd/ceph-0 xfs remount,user_xattr 0 0
<<
3.5初始化 OSD 数据目录：
在test-ceph-2、test-ceph-3上执行：
ceph-osd -i {osd-num} --mkfs --mkkey
3.6注册此 OSD 的密钥
在test-ceph-2、test-ceph-3上执行：
ceph auth add osd.{osd-num} osd 'allow *' mon 'allow profile osd' -i /var/lib/ceph/osd/{cluster-name}-{osd-num}/keyring
3.7把此节点加入 CRUSH 图
在 test-ceph-2 上执行：
ceph osd crush add-bucket test-ceph-2 host
在 test-ceph-3 上执行：
ceph osd crush add-bucket test-ceph-3 host
3.8把此 Ceph 节点放入 default 根下
在 test-ceph-2 上执行：
ceph osd crush move test-ceph-2 root=default
在 test-ceph-3 上执行：
ceph osd crush move test-ceph-3 root=default
3.9.分配权重、重新编译、注入集群
在 test-ceph-2 上执行:
下面的1.0表示权重，需要根据磁盘大小自行调整权重
ceph osd crush add osd.0 1.0 host=test-ceph-2
在 test-ceph-3 上执行:
ceph osd crush add osd.0 1.0 host=test-ceph-3
3.10.创建一个空文件：
在test-ceph-2、test-ceph-3上执行：
touch /var/lib/ceph/osd/{cluster-name}-{osd-num}/sysvinit
3.11.用 sysvinit 启动
在test-ceph-2、test-ceph-3上执行：
service ceph start osd.{osd-num}
puppet-ceph部署
目前部署方式可以有Puppet和Ceph-deploy, 目前生产环境中主要使用Puppet来进行部署。Ceph-deploy的部署方式主要是为了满足快速验证的需求。一般推荐在生产环境中使用Puppet来部署，这样方便后续环境的维护。
在puppet master module目录下下载puppet-ceph
openstack/puppet-ceph 使用ceph版本为hammer
部署节点同上，mon节点为test-ceph-1，osd节点为test-ceph-2，test-ceph-3
各节点加载的类：
node /^test-ceph-1$/ {
$ceph_pools = ['test']
ceph::pool { $ceph_pools: }
class { '::ceph::profile::mon': }
}
node /^test-ceph-[2-3]$/ {
class { '::ceph::profile::osd': }
}
传的hieradata:
common/ceph.yaml:
---
######## Ceph
ceph::profile::params::release: 'hammer'
######## Ceph.conf
ceph::profile::params::fsid: '4b5c8c0a-ff60-454b-a1b4-9747aa737d19'
ceph::profile::params::authentication_type: 'cephx'
ceph::profile::params::mon_initial_members: 'test-ceph-1'
ceph::profile::params::mon_host: '10.0.86.23:6789'
ceph::profile::params::osd_pool_default_size: '2'
######## Keys
ceph::profile::params::mon_key: 'AQATGHJTUCBqIBAA7M2yafV1xctn1pgr3GcKPg=='
ceph::profile::params::client_keys:
'client.admin':
secret: 'AQATGHJTUCBqIBAA7M2yafV1xctn1pgr3GcKPg=='
mode: '0600'
cap_mon: 'allow *'
cap_osd: 'allow *'
cap_mds: 'allow *'
'client.bootstrap-osd':
secret: 'AQATGHJTUCBqIBAA7M2yafV1xctn1pgr3GcKPg=='
keyring_path: '/var/lib/ceph/bootstrap-osd/ceph.keyring'
cap_mon: 'allow profile bootstrap-osd'
test-ceph-2.yaml:
ceph::profile::params::osds:
'/dev/sdb':
journal: ''
test-ceph-3.yaml:
ceph::profile::params::osds:
'/dev/sdc':
journal: ''
puppet会执行 ceph-disk prepare /dev/sdc ，如果journal为空，它会把自动把这块盘分成两个分区,一个为ceph data ,一个为ceph journal。journal分区大小默认为5G，剩下的都分给ceph data.
Journal的作用类似于mysql innodb引擎中的事物日志系统。当有突发的大量写入操作时，ceph可以先把一些零散的，随机的IO请求保存到缓存中进行合并，然后再统一向内核发起IO请求。journal的io是非常密集的,很大程度上也损耗了硬件的io性能，所以通常在生产环境中，推荐使用ssd来单独存储journal文件以提高ceph读写性能。
journal也可以使用单独的数据盘，只需要在hieradata中传递相应的设备名即可。
openstack/puppet-ceph 传osds参数不支持wwn的方式,因为ceph-disk当前不支持使用wwn来作为磁盘标识的输入参数。
如果重启了mon节点，需要执行：
service ceph start mon.server-250
如果重启了osd节点，需要执行：
ceph-disk activate-all
activate-all 靠 /dev/disk/by-parttype-uuid/$typeuuid.$uuid 发现所有分区
parttype-uuid 是在执行activate-prepare 时生成的。通过parttypeuuid，在本机插拔盘完全不会导致故障。
puppet执行过程分析
创建mon的大致过程如下：
1.安装包
package { $::ceph::params::packages :
ensure => $ensure,
tag => 'ceph'
}
2.是否开启认证
# [*authentication_type*] Activate or deactivate authentication
# Optional. Default to cephx.
# Authentication is activated if the value is 'cephx' and deactivated
# if the value is 'none'. If the value is 'cephx', at least one of
# key or keyring must be provided.
if $authentication_type == 'cephx' {
ceph_config {
'global/auth_cluster_required': value => 'cephx';
'global/auth_service_required': value => 'cephx';
'global/auth_client_required': value => 'cephx';
'global/auth_supported': value => 'cephx';
}
3.生成mon密钥
cat > ${keyring_path} << EOF
[mon.]
key = ${key}
caps mon = \"allow *\"
EOF
chmod 0444 ${keyring_path}
4.生成/etc/ceph/ceph.client.admin.keyring文件
touch /etc/ceph/${cluster_name}.client.admin.keyring
5.初始化monitor服务，创建done,sysvinit空文件
mon_data=\$(ceph-mon ${cluster_option} --id ${id} --show-config-value mon_data)
if [ ! -d \$mon_data ] ; then
mkdir -p \$mon_data
if ceph-mon ${cluster_option} \
--mkfs \
--id ${id} \
--keyring ${keyring_path} ; then
touch \$mon_data/done \$mon_data/${init} \$mon_data/keyring
else
rm -fr \$mon_data
fi
fi
6.启动mon服务：
service ceph start mon.test-ceph-xue-1
创建osd的大致过程如下：
1.安装包
package { $::ceph::params::packages :
ensure => $ensure,
tag => 'ceph'
}
2.是否开启认证
# [*authentication_type*] Activate or deactivate authentication
# Optional. Default to cephx.
# Authentication is activated if the value is 'cephx' and deactivated
# if the value is 'none'. If the value is 'cephx', at least one of
# key or keyring must be provided.
if $authentication_type == 'cephx' {
ceph_config {
'global/auth_cluster_required': value => 'cephx';
'global/auth_service_required': value => 'cephx';
'global/auth_client_required': value => 'cephx';
'global/auth_supported': value => 'cephx';
}
3.创建keyring file
if ! defined(File[$keyring_path]) {
file { $keyring_path:
ensure => file,
owner => $user,
group => $group,
mode => $mode,
require => Package['ceph'],
}
}
4.生成管理员密钥环，生成 client.admin 用户并加入密钥环
ceph-authtool \$NEW_KEYRING --name '${name}' --add-key '${secret}' ${caps}
5.把 client.admin 密钥加入 ceph.mon.keyring
ceph ${cluster_option} ${inject_id_option} ${inject_keyring_option} auth import -i ${keyring_path}"
6.ceph 0.94版本下禁用udev rules,否则，可能会导致ceph-disk activate失败
mv -f ${udev_rules_file} ${udev_rules_file}.disabled && udevadm control --reload
7.使用ceph-disk prepare 做预处理
预处理用作 Ceph OSD 的目录、磁盘。它会创建 GPT 分区、给分区打上 Ceph 风格的 uuid 标记、创建文件系统、把此文件系统标记为已就绪、使用日志磁盘的整个分区并新增一分区。可单独使用，也可由 ceph-deploy 用。
if ! test -b ${data} ; then
mkdir -p ${data}
fi
ceph-disk prepare ${cluster_option} ${data} ${journal}
udevadm settle
8.激活 Ceph OSD
激活 Ceph OSD 。先把此卷挂载到一临时位置，分配 OSD 惟一标识符（若有必要），重挂载到正确位置
ceph-disk activate ${data}
ceph常见命令
查看ceph集群的运行状态信息:
root@test-ceph-1 ~]# ceph -s
cluster b60db21f-6735-4909-a0bb-c550b4659bfc
health HEALTH_OK
monmap e1: 1 mons at {test-ceph-xue-1=30.20.10.9:6789/0}
election epoch 2, quorum 0 test-ceph-xue-1
osdmap e10: 1 osds: 1 up, 1 in
pgmap v642: 256 pgs, 4 pools, 0 bytes data, 0 objects
6865 MB used, 13603 MB / 20469 MB avail
256 active+clean
auth命令
1.查看认证状态
[root@test-ceph-1 ~]# ceph auth list
installed auth entries:
osd.0
key: AQDRPn9YgQESIhAA/n4KnNPlS3OXwX5W5c2s9w==
caps: [mon] allow profile osd
caps: [osd] allow *
client.admin
key: AQATGHJTUCBqIBAA7M2yafV1xctn1pgr3GcKPg==
caps: [mds] allow *
caps: [mon] allow *
caps: [osd] allow *
client.bootstrap-mds
key: AQATGHJTUCBqIBAA7M2yafV1xctn1pgr3GcKPg==
caps: [mon] allow profile bootstrap-mds
client.bootstrap-osd
key: AQATGHJTUCBqIBAA7M2yafV1xctn1pgr3GcKPg==
caps: [mon] allow profile bootstrap-osd
2.添加指定实例的认证信息
# 使用方法: ceph auth get-or-create 实例名称 对象1 权限1 对象2 权限2
[root@test-ceph-1 ~]# ceph auth get-or-create client.admin mds 'allow *' osd 'allow *' mon 'allow *'
3.删除指定实例及其认证信息
# 使用方法: ceph auth del 实例名称
ceph auth del client.bootstrap-mds
pool命令
1.打印pool列表
ceph osd lspools
2.创建pool
通常在创建pool之前，需要覆盖默认的pg_num，官方推荐：
若少于5个OSD， 设置pg_num为128。
5~10个OSD，设置pg_num为512。
10~50个OSD，设置pg_num为4096。
超过50个OSD，可以参考pgcalc计算。
ceph osd pool create {pool-name} {pg-num} [{pgp-num}] [replicated] \
[crush-ruleset-name] [expected-num-objects]
ceph osd pool create {pool-name} {pg-num} {pgp-num} erasure \
[erasure-code-profile] [crush-ruleset-name] [expected_num_objects]
创建一个test-pool，pg_num为128：
ceph osd pool create test-pool 128
3.重命名pool
ceph osd pool rename test-pool test-pool-new
4.删除pool
删除一个pool会同时清空pool的所有数据，因此非常危险。(和rm -rf /类似）。因此删除pool时ceph要求必须输入两次pool名称，同时加上–yes-i-really-really-mean-it选项。
ceph osd pool delete test-pool test-pool --yes-i-really-really-mean-it
5.显示所有pool详细信息
rados df
6.元数据信息
通过以下语法设置pool的元数据：
ceph osd pool set {pool-name} {key} {value}
比如设置pool的冗余副本数量为3:
ceph osd pool set test-pool size 3
通过get操作能够获取pool的配置值,比如获取当前pg_num：
ceph osd pool get test-pool pg_num
获取当前副本数:
ceph osd pool get test-pool size
mon命令
1.显示mon的状态信息
[root@test-ceph-1 ~]# ceph mon stat
e1: 1 mons at {test-ceph-1=30.20.10.9:6789/0}, election epoch 2, quorum 0 test-ceph-1
2.格式化输出mon map信息
[root@test-ceph-1 ~]# ceph mon dump
dumped monmap epoch 1
epoch 1
fsid b60db21f-6735-4909-a0bb-c550b4659bfc
last_changed 0.000000
created 0.000000
0: 30.20.10.9:6789/0 mon.test-ceph-1
3.删除当前集群中指定的mon
ceph mon remove test-ceph-1
osd命令
1.显示OSD map的汇总信息
[root@test-ceph-1 ~]# ceph osd stat
osdmap e10: 1 osds: 1 up, 1 in
2.显示OSD tree
[root@test-ceph-1 ~]# ceph osd tree
ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY
-1 0.01999 root default
-2 0.01999 host test-ceph-1
0 0.01999 osd.0 up 1.00000 1.00000
3.显示OSD的延迟汇总信息
ceph osd perf
4.查看OSD的使用率
ceph osd df
5.将指定OSD置为down状态
ceph osd down {osd-num}
6.将指定OSD置为out状态
ceph osd out {osd-number}
CRUSH 图
CRUSH算法通过计算数据存储位置来确定如何存储和检索。 CRUSH 授权 Ceph 客户端直接连接 OSD ，而非通过一个中央服务器或经纪人。数据存储、检索算法的使用，使 Ceph 避免了单点故障、性能瓶颈、和伸缩的物理限制。
CRUSH图包含 OSD 列表、把设备汇聚为物理位置的“桶”列表和指示 CRUSH 如何复制存储池里的数据的规则列表。
CRUSH图主要有 4 个主要段落：
1.设备
设备的格式：
#devices
device {num} {osd.name}
2.桶类型： 定义了 CRUSH 分级结构里要用的桶类型（ types ）
如：
# types
type 0 osd
type 1 host
type 2 chassis
type 3 rack
type 4 row
type 5 pdu
type 6 pod
type 7 room
type 8 datacenter
type 9 region
type 10 root
3.桶例程： 定义了桶类型后，还必须声明主机的桶类型、以及规划的其它故障域。
格式：
[bucket-type] [bucket-name] {
id [a unique negative numeric ID]
weight [the relative capacity/capability of the item(s)]
alg [the bucket type: uniform | list | tree | straw ]
hash [the hash type: 0 by default]
item [item-name] weight [weight]
}
Ceph 支持四种桶，每种都是性能和组织简易间的折衷。如果你不确定用哪种桶，我们建议 straw 。关于桶类型的详细讨论: 桶类型
各个桶都用了一种哈希算法，当前 Ceph 仅支持 rjenkins1 ，输入 0 表示哈希算法设置为 rjenkins1 。
如下面这个例子：
定义的桶例程为：
host node1 {
id -1
alg straw
hash 0
item osd.0 weight 1.00
item osd.1 weight 1.00
}
host node2 {
id -2
alg straw
hash 0
item osd.2 weight 1.00
item osd.3 weight 1.00
}
rack rack1 {
id -3
alg straw
hash 0
item node1 weight 2.00
item node2 weight 2.00
}
此例中，机柜桶不包含任何 OSD ，它只包含低一级的主机桶、以及其内条目的权重之和
4.规则： 由选择桶的方法组成。
规则格式如下：
rule <rulename> {
ruleset <ruleset>
type [ replicated | erasure ]
min_size <min-size>
max_size <max-size>
step take <bucket-type>
step [choose|chooseleaf] [firstn|indep] <N> <bucket-type>
step emit
}
各字段含义如下
4.1ruleset
描述: 区分一条规则属于某个规则集的手段。给存储池设置规则集后激活。
目的: 规则掩码的一个组件。
类型: Integer
是否必需: Yes
默认值: 0
4.2type
描述: 为硬盘（复制的）或 RAID 写一条规则。
目的: 规则掩码的一个组件。
类型: String
是否必需: Yes
默认值: replicated
合法取值: 当前仅支持 replicated 和 erasure
4.3min_size
描述: 如果一个归置组副本数小于此数， CRUSH 将不应用此规则。
类型: Integer
目的: 规则掩码的一个组件。
是否必需: Yes
默认值: 1
4.4max_size
描述: 如果一个归置组副本数大于此数， CRUSH 将不应用此规则。
类型: Integer
目的: 规则掩码的一个组件。
是否必需: Yes
默认值: 10
4.5step take
描述: 选取桶名并迭代到树底。
目的: 规则掩码的一个组件。
是否必需: Yes
实例: step take default
4.6step chooseleaf firstn {num} type {bucket-type}
描述: 选择 {bucket-type} 类型的一堆桶，并从各桶的子树里选择一个叶子节点。集合内桶的数量通常是存储池的副本数（即 pool size ）。
如果 {num} == 0 选择 pool-num-replicas 个桶（所有可用的）；
如果 {num} > 0 && < pool-num-replicas 就选择那么多的桶；
如果 {num} < 0 它意为 pool-num-replicas - {num} 。
目的: 规则掩码的一个组件。 它的使用避免了通过两步来选择一设备。
先决条件: Follows step take or step choose.
实例: step chooseleaf firstn 0 type row
4.7step emit
描述: 输出当前值并清空堆栈。通常用于规则末尾，也适用于相同规则应用到不同树的情况。
目的: 规则掩码的一个组件。
先决条件: Follows step choose.
实例: step emit
较新版本的 CRUSH （从 0.48 起）为了解决一些遗留值导致几个不当行为，在最前面加入了一些参数值。
CRUSH 图内容：
# begin crush map
tunable choose_local_tries 0 #本地重试次数。以前是 2 ，最优值是 0 。
tunable choose_local_fallback_tries 0 #以前 5 ，现在是 0
tunable choose_total_tries 50 #选择一个条目的最大尝试次数。以前 19 ，后来的测试表明，对典型的集群来说 50 更合适。最相当大的集群来说，更大的值也许必要。
tunable chooseleaf_descend_once 1 #是否重递归叶子选择，或只试一次、并允许最初归置组重试。以前默认 0 ，最优为 1 。
tunable straw_calc_version 1
# devices
device 0 osd.0
device 1 osd.1
device 2 osd.2
# types
type 0 osd
type 1 host
type 2 chassis
type 3 rack
type 4 row
type 5 pdu
type 6 pod
type 7 room
type 8 datacenter
type 9 region
type 10 root
# buckets
host server-250 {
id -2 # do not change unnecessarily
# weight 2.160
alg straw
hash 0 # rjenkins1
item osd.0 weight 0.720
item osd.1 weight 0.720
item osd.2 weight 0.720
}
root default {
id -1 # do not change unnecessarily
# weight 2.160
alg straw
hash 0 # rjenkins1
item server-250 weight 2.160
}
# rules
rule replicated_ruleset {
ruleset 0
type replicated
min_size 1
max_size 10
step take default
step chooseleaf firstn 0 type osd
step emit
}
# end crush map
部署ceph all-in-one遇到的问题
在测试环境中，我用openstack/puppet-ceph 部署的ceph all-in-one遇到了问题：
我使用了三块ssd作为osd的三块盘，副本数为3，但是部署完有很多pg未处于active+clean 的状态
后来发现问题出在这里：
因为只有一个主机，bucket （桶）类型只有一个host,我设置的副本数是3，副本策略默认是type: host。
解决方法：
1.获取当前CRUSH map文件
ceph osd getcrushmap -o crushmap
2.反编译成可编辑文件
crushtool -d crushmap -o crushmap.txt
3.编辑文件，将type类型改为osd
vim crushmap.txt
4.重新编译
crushtool -c crushmap.txt -o newcrushmap
5.往集群中注入CRUSH map
ceph osd setcrushmap -i newcrushmap
6.重启mon和osd服务
