Kubernetes 生产级运维实战

概述

将 Kubernetes 从实验环境推向生产并不是简单地执行 kubeadm init。生产级运维需要统筹考虑高可用、安全、可观测性、备份恢复、生命周期管理以及自动化交付等关键环节。本教程面向具备基础 Kubernetes 知识的运维工程师，系统讲解生产落地与长期维护的核心实战方法。

1. 生产部署前的评估与准备

1.1 明确业务需求

• 资源规划：评估应用所需的 CPU、内存、存储和网络带宽，预留 20%~30% 的集群资源给系统组件和突发负载。
• 可用性目标：定义 SLO（如 99.9%），决定控制平面和工作节点的高可用架构。
• 服务暴露方式：LoadBalancer、Ingress、NodePort 或 Service Mesh，提前规划外部流量入口。

1.2 基础设施选型

• 主机规格：控制平面节点建议 4C8G 以上，工作节点按业务负载配置；所有节点使用 Linux 内核 5.10+，禁用 Swap。
• 容器运行时：优先选择 containerd，确保版本与 Kubernetes 兼容。
• 网络插件：根据性能与功能需求选择 Calico、Flannel、Cilium 等，生产环境推荐使用支持 NetworkPolicy 的插件。

1.3 网络与存储规划

• Pod 与 Service CIDR：合理分配避免与集群外部网络冲突，提前规划未来扩容空间。
• 持久化存储：部署 CSI 驱动（如 Ceph RBD、NFS、云厂商块存储），并建立 StorageClass 体系，设置默认 StorageClass。

2. 高可用集群架构设计

2.1 控制平面高可用

• 至少部署 3 个控制平面节点（奇数个），使用外部 etcd 集群或堆叠 etcd。
• 前端挂载一个 负载均衡器（如 HAProxy + Keepalived 或云负载均衡），将流量分发到所有 kube-apiserver 实例。
• 为 kube-apiserver、kube-controller-manager、kube-scheduler 配置健康检查，确保故障自动转移。

2.2 工作节点池化

• 按照用途划分节点池：通用计算、内存密集、GPU、边缘等，通过 节点标签与污点 实现调度隔离。
• 启用 Cluster Autoscaler（云环境）或 Karpenter 实现弹性伸缩。

2.3 多集群与多环境管理

• 通过命名空间实现租户隔离，更严格的场景使用不同集群隔离环境。
• 使用集群 API（Cluster API）或 Rancher 管理多集群生命周期。

3. 集群部署实施（kubeadm 为例）

3.1 节点初始化

# 所有节点执行
swapoff -a && sed -i '/ swap / s/^/#/' /etc/fstab
modprobe br_netfilter
echo 'net.bridge.bridge-nf-call-iptables = 1' >> /etc/sysctl.conf
sysctl -p

# 安装容器运行时（containerd）
apt-get update && apt-get install -y containerd
mkdir -p /etc/containerd
containerd config default > /etc/containerd/config.toml
# 修改 cgroup 驱动为 systemd，配置 sandbox_image 仓库镜像
systemctl restart containerd

# 安装 kubeadm、kubelet、kubectl
apt-get install -y kubelet kubeadm kubectl
systemctl enable kubelet

3.2 首个控制平面节点

kubeadm init \
  --control-plane-endpoint "k8s-api.example.com:6443" \
  --upload-certs \
  --pod-network-cidr=10.244.0.0/16 \
  --service-cidr=10.96.0.0/12

3.3 加入其他控制平面和工作节点

• 控制平面使用 kubeadm join 指定 --control-plane --certificate-key 参数。
• 工作节点使用 kubeadm join 通过负载均衡器地址加入。

3.4 部署网络插件与基础组件

• 安装 Calico： kubectl apply -f calico.yaml，检查节点状态直到全部 Ready。
• 安装 MetalLB（裸金属场景）或云厂商负载均衡控制器。

4. 安全加固

4.1 RBAC 强化

• 禁用默认 ServiceAccount 的自动挂载。
• 为应用创建专用 ServiceAccount，遵循最小权限原则。
• 禁止使用 cluster-admin，按需创建 ClusterRole 和 RoleBinding。

4.2 网络策略

• 默认拒绝所有入站和出站流量，逐步开放白名单规则。
• 使用 NetworkPolicy 隔离敏感命名空间（如 kube-system、监控系统）。

4.3 Pod 安全

• 启用 Pod Security Admission（v1.25+）或 PodSecurityPolicy，设置基线策略：禁止特权容器、只读根文件系统、限制能力。
• 镜像来源控制：使用镜像漏洞扫描（Trivy），并配置准入控制器只允许受信任的仓库。

4.4 密钥管理

• 使用外部 Key Management Service（如 Vault、云 KMS）与 Kubernetes Secrets 集成。
• 启用 EncryptionConfiguration 对 etcd 中的 Secret 进行静态加密。

4.5 etcd 安全

• 为 etcd 客户端和 peer 通信开启 TLS 双向认证。
• 限制 etcd 端口的网络访问，仅允许控制平面节点访问。

5. 可观测性体系构建

5.1 监控与告警（Prometheus + Grafana）

• 使用 kube-prometheus-stack 一键部署 Prometheus、Alertmanager、Grafana 和节点/容器指标采集。
• 定义 SLO 指标报警：API Server 延迟、节点内存/磁盘压力、Pod 重启频繁等。
• 为关键应用配置自定义指标与 HPA（水平自动缩放）联动。

5.2 集中日志（Loki + Promtail / EFK）

• 部署 Loki 或 Elasticsearch 作为日志存储后端，Promtail 或 Fluent Bit 采集容器日志。
• 统一标准输出格式（JSON），屏蔽健康检查日志噪音。
• 建立索引策略，按时间自动清理旧日志。

5.3 分布式追踪

• 可选择性引入 Jaeger 或 Tempo 对服务间调用链路进行追踪，快速定位延迟瓶颈。

6. 备份与灾难恢复

6.1 etcd 备份

• 定期执行 etcd 快照：etcdctl snapshot save，结合 cron 实现自动化。
• 将快照上传至对象存储（S3/MinIO）并加密，保留多版本。
• 验证恢复流程：在隔离环境通过 snapshot restore 重建 etcd 集群并验证数据完整性。

6.2 应用及持久化数据备份（Velero）

• 部署 Velero 将 Kubernetes 资源对象（YAML）和 PV 快照备份到 S3 兼容存储。
• 按命名空间、标签筛选备份范围，设置定时备份计划。
• 定期演练应用级恢复，确保 RPO/RTO 满足要求。

7. 日常运维与生命周期管理

7.1 集群升级策略

• 升级前执行 etcd 备份，在测试集群验证新版本。
• 严格遵循 kubeadm 升级顺序：先升级主控制平面，再升级其余控制平面，最后滚动升级工作节点。
• 工作节点升级时，使用 kubectl drain 驱逐 Pod，然后 kubeadm upgrade node，最后 uncordon。

7.2 节点维护

• 节点下线前执行 kubectl drain --ignore-daemonsets --delete-emptydir-data。
• 关注 Node Problem Detector 告警，及时处理内核死锁、磁盘只读等问题。

7.3 故障排查方法论

• Pod 无法启动：kubectl describe pod 查看事件，常见原因包括资源不足、镜像拉取失败、配置错误。
• 服务不可访问：检查 Service、Endpoint、EndpointsSlice、NetworkPolicy、CNI 状态。
• 集群证书过期：使用 kubeadm certs check-expiration 检查证书有效期，并通过 kubeadm certs renew 续签。

8. 自动化交付与 GitOps 实践

8.1 持续部署工具选型

• Argo CD：轻量、完善的 Web UI，支持多集群部署，适合作为 GitOps 核心引擎。
• Flux：集成方便，自动同步并支持 Helm 和 Kustomize。

8.2 GitOps 工作流

• 将应用清单（Deployment、Service、ConfigMap 等）存放于 Git 仓库，按环境建立分支或目录结构。
• 开发人员提交 PR 修改清单，合并后由 Argo CD 自动同步集群状态。
• 配置健康检查、自动回滚以及差异可视化管理。

8.3 基础设施即代码

• 使用 Terraform 或 Crossplane 管理 Kubernetes 集群本身及周边云资源。
• 将 Cluster API 纳入 GitOps 管道，实现集群的一键声明式创建与销毁。

9. 生产级运维最佳实践清单

• 镜像策略：始终使用具体 tag（不用 latest），通过镜像加速代理提升拉取速度。
• 资源请求与限制：为每个容器设置 requests/limits，避免资源争抢和 OOM。
• 亲和性与反亲和性：通过 podAntiAffinity 将高可用副本分散到不同节点/机架/可用区。
• 优雅终止：设置 Pod terminationGracePeriodSeconds，并在应用代码处理 SIGTERM。
• 健康检查：为容器配置 Liveness 和 Readiness Probe，按业务特性定义就绪门限。
• 连接池控制：微服务对外部服务的连接池大小和超时进行调优，防止资源耗尽。
• 秘钥轮转：自动轮转敏感凭据，通过 external-secrets 同步到 Kubernetes。

通过上述结构化运维体系，你可以将 Kubernetes 打造成稳定、安全且易于管理的生产平台。运维的核心不是一次性的搭建，而是持续地监控、备份、更新与自动化。将各项工作融入标准流程和工具链，才能应对不断变化的业务需求。