使用Ceph做持久化存储

本文中用到的 yaml 文件可以在 ../manifests/mariadb-cluster 目录下找到。

下面我们以部署一个高可用的 MySQL 集群为例，讲解如何使用 Ceph 做数据持久化，其中使用 StorageClass 动态创建 PV，Ceph 集群我们使用 kubernetes 集群外部的已有的集群，我们没有必要重新部署了。

在 1.4 以后，kubernetes 提供了一种更加方便的动态创建 PV 的方式；也就是说使用 StoragaClass 时无需预先创建固定大小的 PV，等待使用者创建 PVC 来使用；而是直接创建 PVC 即可分配使用。

使用 kubernetes 集群外部的 Ceph 存储

在部署 kubernetes 之前我们就已经有了 Ceph 集群，因此我们可以直接拿来用。但是 kubernetes 的所有节点（尤其是 master 节点）上依然需要安装 ceph 客户端。

yum install -y ceph-common

还需要将 ceph 的配置文件 ceph.conf 放在所有节点的 /etc/ceph 目录下。

Kubernetes 使用 ceph 存储需要用到如下配置：

  • Monitors: Ceph montors 列表

  • Path：作为挂载的根路径，默认是 /

  • User：RADOS用户名，默认是 admin

  • secretFile：keyring 文件路径，默认是 /etc/ceph/user.secret，我们 Ceph 集群提供的文件是 ceph.client.admin.keyring，将在下面用到

  • secretRef：Ceph 认证 secret 的引用，如果配置了将会覆盖 secretFile。

  • readOnly：该文件系统是否只读。

Galera Cluster介绍

Galera是一个MySQL(也支持MariaDB，Percona)的同步多主集群软件。

从用户视角看，一组Galera集群可以看作一个具有多入口的MySQL库，用户可以同时从多个IP读写这个库。目前Galera已经得到广泛应用，例如Openstack中，在集群规模不大的情况下，稳定性已经得到了实践考验。真正的multi-master，即所有节点可以同时读写数据库。

详细步骤

以下步骤包括创建 Ceph 的配置 和 MySQL 的配置两部分。

配置 Ceph

关于 Ceph 的 yaml 文件可以在 ../manifest/mariadb-cluster 目录下找到。

1. 生成 Ceph secret

使用 Ceph 管理员提供给你的 ceph.client.admin.keyring 文件，我们将它放在了 /etc/ceph 目录下，用来生成 secret。

将获得加密后的 key：QVFDWDA2aFo5TG5TQnhBQVl1b0lUL2V3YlRSaEtwVEhPWkxvUlE9PQ==，我们将在后面用到。

2. 创建租户namespace

创建 galera-namespace.yaml 文件内容为：

3. 创建 Ceph secret

创建 ceph-secret.yaml 文件内容为：

4. 创建 StorageClass

创建 ceph-class.yaml 文件内容为：

此配置请参考 kubernetes 官方文档：https://kubernetes.io/docs/concepts/storage/persistent-volumes/#ceph-rbd

配置 MySQL

1. 创建 MySQL 配置文件

创建 mysql-config.yaml 文件内容为：

2. 创建 MySQL root 用户和密码

创建加密密码

注意：一定要用-n 去掉换行符，不然会报错。

创建 root 用户

创建 MySQL secret

创建 mysql-secret.yaml 文件内容为：

3. 创建 yaml 配置文件

创建 MySQL 的 yaml 文件 galera-mariadb.yaml 内容为：

部署 MySQL 集群

在 /etc/mariadb-cluster 目录下执行：

验证

存在 issue，参考 Error creating rbd image: executable file not found in $PATH#38923

问题记录

如果没有安装 ceph-common 的话，kubernetes 在创建 PVC 的时候会有如下报错信息：

检查 kube-controller-manager 的日志将看到如下错误信息：

这是因为 kube-controller-manager 主机上没有安装 ceph-common 的缘故。

但是安装了 ceph-common 之后依然有问题：

该问题尚未解决，参考 Error creating rbd image: executable file not found in $PATH#38923

从日志记录来看追查到 pkg/volume/rbd/rbd.go 的 func (r *rbdVolumeProvisioner) Provision() (*v1.PersistentVolume, error) { 方法对 ceph-class.yaml 中的参数进行了验证和处理后调用了 pkg/volume/rbd/rdb_utils.go 文件第 344 行 CreateImage 方法（kubernetes v1.6.1版本）：

该方法调用失败。

参考

Previous用Helm托管安装Ceph集群并提供后端存储Next使用rbd-provisioner提供rbd持久化存储

Last updated

Was this helpful?