云原生存储 Rook+Ceph：K8s 集群持久化存储指南

在 Kubernetes（K8s）集群中，持久化存储是支撑有状态应用（如数据库、消息队列）的关键需求。云原生存储解决方案如 Rook 和 Ceph 提供了一种高效、可扩展的方式来管理存储资源。本指南将逐步介绍 Rook 和 Ceph 的概念、工作原理、部署步骤以及优势，帮助您在 K8s 环境中实现可靠的持久化存储。

1. 什么是 Rook 和 Ceph？

• Ceph：一个开源的分布式存储系统，提供对象存储、块存储和文件系统服务。它基于 RADOS（可靠自动分布式对象存储），通过数据分片和复制实现高可用性和容错性。例如，存储池容量 $C$ 可通过公式 $C = \sum_{i=1}^{n} v_i$ 计算，其中 $v_i$ 表示每个节点的存储量。
• Rook：一个 Kubernetes 操作器（Operator），用于自动化部署和管理存储系统（如 Ceph）。它将存储资源抽象为 K8s 原生对象（如 PersistentVolume），简化了存储生命周期管理。
• 集成优势：Rook 在 K8s 上部署 Ceph 后，用户可以通过 K8s API 直接管理存储，无需手动配置 Ceph 集群。这实现了云原生存储的“声明式”管理。

2. 工作原理：Rook 如何与 Ceph 协同

Rook 作为 K8s 的控制器运行，监控用户定义的 CRD（自定义资源定义）。当您创建 Ceph 集群资源时，Rook 自动执行以下步骤：

1. 部署 Ceph 组件：包括 OSD（对象存储守护进程）、Monitor 和 Manager。每个 OSD 负责存储数据块，其容量 $S$ 通常以 GB 为单位。
2. 配置存储池：Rook 创建存储池（如 replicated_pool），数据通过 CRUSH 算法分布到节点上，确保冗余。例如，副本因子 $R$ 控制数据复制次数（如 $R=3$ 表示每个数据块存三份）。
3. 提供持久卷：通过 K8s StorageClass，Rook 动态创建 PersistentVolume（PV）和 PersistentVolumeClaim（PVC）。用户只需声明存储需求，如容量 $V$ GB。

整体流程可用以下公式表示存储可用性： $$ \text{可用性} = 1 - \prod_{i=1}^{n} (1 - a_i) $$ 其中 $a_i$ 是单个节点的可用率，$n$ 为节点数。这体现了 Ceph 的分布式优势。

3. 部署步骤：在 K8s 集群中设置 Rook+Ceph

以下是简化部署流程（假设您已有一个运行的 K8s 集群，版本 v1.20+）。逐步操作确保可靠性：

步骤 1: 安装 Rook Operator

• 使用 Helm 或 kubectl 部署 Rook。以下是 kubectl 示例：

  # 克隆 Rook 仓库
  git clone --single-branch --branch v1.10.0 https://github.com/rook/rook.git
  cd rook/deploy/examples
  # 部署 Rook Operator
  kubectl create -f crds.yaml -f common.yaml -f operator.yaml
  # 验证 Operator 运行
  kubectl get pods -n rook-ceph
  

步骤 2: 创建 Ceph 集群

• 编辑 cluster.yaml 文件，定义集群规格（如节点选择、存储设备）。示例：

  apiVersion: ceph.rook.io/v1
  kind: CephCluster
  metadata:
    name: rook-ceph
    namespace: rook-ceph
  spec:
    dataDirHostPath: /var/lib/rook
    mon:
      count: 3  # 监控节点数，建议奇数
    storage:
      useAllNodes: true
      useAllDevices: true
    # 资源限制，如 CPU 和内存
    resources:
      mgr:
        limits:
          cpu: "500m"
          memory: "1Gi"
  

• 应用配置：

  kubectl create -f cluster.yaml
  # 等待集群就绪（约 5-10 分钟）
  kubectl get cephcluster -n rook-ceph
  

步骤 3: 配置存储类和测试 PVC

• 创建 StorageClass：

  apiVersion: storage.k8s.io/v1
  kind: StorageClass
  metadata:
    name: rook-ceph-block
  provisioner: rook-ceph.rbd.csi.ceph.com
  parameters:
    clusterID: rook-ceph
    pool: replicapool
    # 副本因子 $R=3$
    replication: "3"
  

• 测试 PVC：

  apiVersion: v1
  kind: PersistentVolumeClaim
  metadata:
    name: test-pvc
  spec:
    storageClassName: rook-ceph-block
    accessModes:
      - ReadWriteOnce
    resources:
      requests:
        storage: 1Gi  # 请求容量 $V=1$ GB
  

• 应用并验证：

  kubectl create -f pvc.yaml
  kubectl get pvc
  

4. 优势与最佳实践

• 核心优势：
  • 自动化管理：Rook 处理 Ceph 的升级、扩展和修复，减少运维负担。
  • 高可用性：Ceph 的分布式架构容忍节点故障，可用率可达 $99.95%$。
  • 成本效益：使用标准硬件，避免专有存储设备。
• 最佳实践：
  • 容量规划：根据应用需求设置存储池大小，公式 $C_{\text{total}} = C_{\text{node}} \times N$，其中 $N$ 为节点数。
  • 监控：集成 Prometheus 和 Grafana 监控存储性能（如 IOPS 和延迟）。
  • 安全：启用 K8s RBAC 和 Ceph 加密。

5. 常见问题解决

• 问题：PVC 无法绑定
  解决：检查 StorageClass 配置，确保 OSD 节点有足够存储。使用 kubectl describe pvc 查看事件。
• 问题：集群健康状态异常
  解决：运行 kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph -s 诊断 Ceph 状态。

通过 Rook+Ceph，您可以轻松为 K8s 集群添加企业级持久化存储。建议从官方文档（如 Rook GitHub）获取最新配置，并测试在非生产环境。如有具体问题（如性能调优），欢迎提供更多细节！