闲云野鹤在人间头像
Kubernetes 从集群搭建到 Jenkins+GitLab+Harbor 完整CICD落地实战封面图

Kubernetes 从集群搭建到 Jenkins+GitLab+Harbor 完整CICD落地实战

Kubernetes 从集群搭建到 Jenkins+GitLab+Harbor 完整CI/CD落地实战

本文基于 kubeadm 部署 K8s,分为两大块:①Kubernetes v1.28 集群完整安装;②DevOps流水线整合:Jenkins+GitLab+Harbor实现业务代码自动构建、推送镜像、K8s自动部署应用,适合学习云原生CI/CD全流程。

前言

Kubernetes(K8s)已经成为容器编排事实标准,在企业开发中,我们希望做到:提交代码 → 自动编译打包 → 构建Docker镜像推送到私有Harbor仓库 → 自动更新K8s中业务Pod,实现持续集成持续部署。

文档包含两套内容:

  1. K8s v1.28 集群部署:1.24以后移除dockershim,使用cri‑dockerd对接docker作为容器运行时,master+双node节点。
  2. DevOps流水线:K8s v1.19环境演示Jenkins流水线,把Java项目自动部署到Kubernetes集群。

环境说明:CentOS7,docker作为容器引擎,Calico作为CNI网络插件,Harbor私有镜像仓库,GitLab存放代码与yaml,Jenkins做流水线调度。


一、Kubernetes v1.28 集群部署(cri‑dockerd对接Docker)

1.1 硬件规划

角色CPU内存IP主机名
master2核4G192.168.100.128master
node14核6G192.168.100.129node1
node24核6G192.168.100.136node2

1.2 所有节点前置环境配置

1. 设置主机名
# master执行
hostnamectl set-hostname master
# node1执行
hostnamectl set-hostname node1
# node2执行
hostnamectl set-hostname node2
2. 主机名解析 /etc/hosts(三台机器全部配置)
cat >> /etc/hosts <<EOF
192.168.100.128 master
192.168.100.129 node1
192.168.100.136 node2
EOF
3. 安装依赖工具包
yum -y install vim lrzsz unzip wget net-tools tree bash-completion conntrack ntpdate ntp ipvsadm ipset iptables curl sysstat libseccomp git psmisc telnet gcc gcc-c++ make
4. 关闭防火墙与SELinux
systemctl disable firewalld --now
setenforce 0
sed -i 's/enforcing/disabled/g' /etc/selinux/config
5. 关闭swap,k8s强制要求
swapoff -a
sed -i '/swap/s/^/#/' /etc/fstab
6. 关闭NetworkManager(可选)
systemctl stop NetworkManager
systemctl disable NetworkManager
7. 内核参数配置,开启网桥转发、ip转发
cat >/etc/sysctl.d/kubernetes.conf<<EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
vm.swappiness=0
vm.overcommit_memory=1
EOF
sysctl --system
8. 资源文件句柄数调优
cat >> /etc/security/limits.conf <<EOF
* soft nofile 655360
* hard nofile 131072
* soft nproc 655350
* hard nproc 655350
* soft memlock unlimited
* hard memlock unlimited
EOF
ulimit -SHn 65535
9. 时间同步chrony
yum -y install chrony
systemctl restart chronyd
chronyc sources -v
hwclock -s
10. IPVS内核模块加载
cat >>/etc/modules-load.d/ipvs.conf<<EOF
ip_vs
ip_vs_rr
ip_vs_wrr
ip_vs_sh
nf_conntrack_ipv4
ip_tables
ip_set
xt_set
ipt_set
ipt_rpfilter
ipt_REJECT
ipip
overlay
br_netfilter
EOF
systemctl restart systemd-modules-load
lsmod | grep -e ip_vs -e nf_conntrack_ipv4

1.3 所有节点安装Docker‑CE

yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo [https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo](https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo)
yum install -y docker-ce

配置docker镜像加速 + cgroup驱动为systemd,k8s要求docker与kubelet cgroup保持一致

tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": [
"[https://09def58152000fc00ff0c00057bad7e0.mirror.swr.myhuaweicloud.com](https://09def58152000fc00ff0c00057bad7e0.mirror.swr.myhuaweicloud.com)",
"[https://registry.docker-cn.com](https://registry.docker-cn.com)"
],
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
"max-size": "100m"
},
"storage-driver": "overlay2"
}
EOF

systemctl daemon-reload
systemctl enable --now docker

1.4 安装 cri‑dockerd(关键!k8s1.24+移除dockershim)

作用:提供CRI接口,让k8s可以调用docker引擎

wget [https://github.com/mirantis/cri-dockerd/releases/download/v0.3.4/cri-dockerd-0.3.4-3.el7.x86_64.rpm](https://github.com/mirantis/cri-dockerd/releases/download/v0.3.4/cri-dockerd-0.3.4-3.el7.x86_64.rpm)
rpm -ivh cri-dockerd-0.3.4-3.el7.x86_64.rpm

修改service指定国内pause镜像:

vim /usr/lib/systemd/system/cri-docker.service
# 修改ExecStart
ExecStart=/usr/bin/cri-dockerd --pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.9 --container-runtime-endpoint fd://

启动服务

systemctl daemon-reload
systemctl enable --now cri-docker.service
ls /run/cri-dockerd.sock

1.5 安装 kubeadm kubelet kubectl(所有节点)

配置阿里云k8s yum源

cat <<EOF>/etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=[http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64](http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64)
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=[http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg](http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg)
[http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg](http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg)
EOF

安装v1.28.0版本

yum install -y kubeadm-1.28.0-0 kubelet-1.28.0-0 kubectl-1.28.0-0

配置kubelet参数,指定cgroup驱动与proxy模式

vim /etc/sysconfig/kubelet
KUBELET_EXTRA_ARGS="--cgroup-driver=systemd"
KUBE_PROXY_MODE="ipvs"

systemctl daemon-reload
systemctl enable kubelet

1.6 Master节点初始化集群

只在master操作

拉取镜像(提前下载,避免初始化慢)

kubeadm config images pull \
--cri-socket=unix:///var/run/cri-dockerd.sock \
--kubernetes-version=v1.28.0 \
--image-repository=registry.aliyuncs.com/google_containers

两种初始化方式,推荐配置文件方式

方式1:yaml配置文件初始化
kubeadm config print init-defaults > kubeadm-init.yaml
vim kubeadm-init.yaml

修改关键点:

apiVersion: kubeadm.k8s.io/v1beta3
bootstrapTokens:
groups:
- system:bootstrappers:kubeadm:default-node-token
token: abcdef.0123456789abcdef
ttl: 24h0m0s
usages:
- signing
- authentication
kind: InitConfiguration
localAPIEndpoint:
  advertiseAddress: 192.168.100.128 # master本机IP
  bindPort: 6443
nodeRegistration:
  criSocket: unix:///var/run/cri-dockerd.sock # cri‑dockerd套接字
  imagePullPolicy: IfNotPresent
  name: master
  taints:
  - effect: NoSchedule
    key: node-role.kubernetes.io/control-plane
---
apiServer:
  timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta3
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controllerManager: {}
dns: {}
etcd:
  local:
    dataDir: /var/lib/etcd
imageRepository: registry.aliyuncs.com/google_containers
kind: ClusterConfiguration
kubernetesVersion: 1.28.0
networking:
  dnsDomain: cluster.local
  serviceSubnet: 10.96.0.0/12
  podSubnet: 10.244.0.0/16 # calico pod网段
scheduler: {}
---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
mode: ipvs
---
apiVersion: kubelet.config.k8s.io/v1beta1
kind: KubeletConfiguration
cgroupDriver: systemd

执行初始化

kubeadm init --config=kubeadm-init.yaml --upload-certs | tee kubeadm-init.log
方式2:命令行直接初始化(可选)
kubeadm init \
--apiserver-advertise-address=192.168.100.128 \
--image-repository=registry.aliyuncs.com/google_containers \
--kubernetes-version=v1.28.0 \
--cri-socket=unix:///var/run/cri-dockerd.sock \
--pod-network-cidr=10.244.0.0/16 \
--service-cidr=10.96.0.0/12 \
--upload-certs | tee kubeadm-init.log
配置kubectl认证文件
mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config

# 永久环境变量
echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile
source ~/.bash_profile

初始化失败重置命令

kubeadm reset -f --cri-socket=unix:///var/run/cri-dockerd.sock
rm -rf /etc/kubernetes/*

1.7 worker节点加入集群

node1、node2分别执行,必须带上cri‑socket参数!

kubeadm join 192.168.100.128:6443 --token abcdef.0123456789abcdef \
--discovery-token-ca-cert-hash sha256:xxxxxx \
--cri-socket unix:///var/run/cri-dockerd.sock

token过期重新生成(master执行)

kubeadm token create --print-join-command

此时节点状态为NotReady,还没有部署CNI网络插件。

1.8 部署Calico网络插件

calico3.25适配k8s v1.23‑v1.28,pod网段与初始化的10.244.0.0/16保持一致。

wget --no-check-certificate [https://docs.tigera.io/archive/v3.25/manifests/calico.yaml](https://docs.tigera.io/archive/v3.25/manifests/calico.yaml)
vim calico.yaml
# 修改CALICO_IPV4POOL_CIDR为 10.244.0.0/16

应用yaml

kubectl apply -f calico.yaml

等待所有calico pod全部Running

kubectl get nodes
kubectl get pods -A

1.9 验证集群功能

测试dns解析

dig -t a www.baidu.com @10.96.0.10

简单测试nginx应用

kubectl create deployment nginx --image=nginx --replicas=3
kubectl expose deployment nginx --port=80 --target-port=80 --type=NodePort

kubectl get pod,svc
# 浏览器访问 nodeIP:NodePort端口 访问nginx页面

kubectl命令补全

yum install bash-completion -y
source /usr/share/bash-completion/bash_completion
echo "source <(kubectl completion bash)" >> ~/.bashrc
source ~/.bashrc

至此Kubernetes v1.28集群搭建完成。


二、DevOps CI/CD流水线:Jenkins+GitLab+Harbor+K8s

业务目标:Java SpringBoot项目,代码提交打tag触发流水线: 拉取代码 → maven编译打包 → docker构建镜像 → push到Harbor私有仓库 → 将deployment yaml推送到k8s‑master → kubectl apply完成发布。

环境参考文档使用K8s v1.19演示,流程逻辑完全兼容v1.28集群。

2.1 整体架构组件

  1. GitLab:存放业务源代码 + k8s部署yaml文件 + Jenkinsfile流水线脚本
  2. Jenkins:流水线调度,maven编译、docker构建、ssh推送yaml到k8s‑master
  3. Harbor私有镜像仓库:存储业务docker镜像
  4. Kubernetes Master:接收yaml,执行kubectl apply完成应用部署
  5. Node节点:运行业务Pod

2.2 前置准备工作

① K8s创建harbor镜像拉取secret

k8s拉取私有harbor镜像需要imagePullSecrets凭证,master节点执行

kubectl create secret docker-registry harbor-secret \
--docker-server=192.168.100.145:80 \
--docker-username=admin \
--docker-password=harbor123
② k8s所有节点配置harbor非安全仓库

每个节点修改docker /etc/docker/daemon.json,添加insecure‑registries

{
  "insecure-registries":["192.168.100.145:80"],
  "registry-mirrors":["[https://registry.cn-hangzhou.aliyuncs.com](https://registry.cn-hangzhou.aliyuncs.com)"],
  "exec-opts":["native.cgroupdriver=systemd"]
}
systemctl daemon-reload
systemctl restart docker
# 测试登录harbor
docker login 192.168.100.145:80 -u admin -p harbor123
③ k8s‑master创建接收yaml目录,Jenkins通过ssh推送文件到此目录
mkdir /usr/local/k8s
chmod 777 /usr/local/k8s
④ Jenkins容器免密ssh登录k8s‑master(重点)

Jenkins运行在docker容器内,需要生成ssh密钥,公钥放到k8s‑master的authorized_keys实现免交互执行kubectl命令。

进入jenkins容器:

docker exec -it jenkins bash
# jenkins容器内部
cd ~
ssh-keygen -t rsa # 一路回车,不设置密码
cd .ssh
cat id_rsa.pub

复制输出公钥,粘贴到k8s‑master节点

# master节点操作
mkdir -p /root/.ssh
vim /root/.ssh/authorized_keys
# 粘贴上面公钥内容
systemctl restart sshd

在jenkins容器测试免密连通

ssh root@192.168.100.145 ls /

2.3 GitLab准备项目文件

在GitLab项目中创建:

  1. Java业务源代码(SpringBoot)
  2. Jenkinsfile:流水线定义
  3. pipeline.yml:k8s deployment + service资源清单

pipeline.yml示例:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: pipeline
  labels:
    app: pipeline
spec:
  replicas: 2
  selector:
    matchLabels:
      app: pipeline
  template:
    metadata:
      labels:
        app: pipeline
    spec:
      imagePullSecrets:
      - name: harbor-secret
      containers:
      - name: pipeline
        image: 192.168.100.145:80/repo/pipeline:v4.0
        imagePullPolicy: Always
        ports:
        - containerPort: 8080
---
apiVersion: v1
kind: Service
metadata:
  labels:
    app: pipeline
  name: pipeline
spec:
  selector:
    app: pipeline
  ports:
  - port: 8081
    targetPort: 8080
  type: NodePort

⚠注意:镜像tag版本需要和gitlab的tag版本保持一致,每次发布新版本修改镜像tag,打新tag。

2.4 Jenkins配置

  1. 安装插件:Publish Over SSH,用于ssh传输文件。
  2. 系统管理 → System → Publish Over SSH,配置k8s‑master服务器信息:
    • Name:k8s
    • Hostname:k8s‑masterIP
    • Username:root
    • Remote Directory:/usr/local/k8s
  3. 测试连接成功,保存。

2.5 Jenkinsfile流水线完整逻辑

流水线主要阶段:

  1. 拉取gitlab代码
  2. maven编译打包
  3. docker构建镜像
  4. docker push镜像到harbor私有仓库
  5. 将pipeline.yml推送至k8s‑master /usr/local/k8s目录
  6. ssh远程执行kubectl apply -f /usr/local/k8s/pipeline.yml,完成k8s应用更新
  7. 钉钉消息通知构建结果

流水线片段说明,核心两个新增stage

stage('将yml文件推送到k8s的master节点') {
    steps {
        sshPublisher(publishers: [sshPublisherDesc(configName: 'k8s', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: '', execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: 'pipeline.yml')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])
    }
}

stage('远程执行kubectl命令') {
    steps {
        sh 'ssh root@192.168.100.145 kubectl apply -f /usr/local/k8s/pipeline.yml'
    }
}

2.6 触发发布流程

  1. 修改Java业务代码,修改接口返回版本号;
  2. 修改gitlab中pipeline.yml镜像tag为新版本;
  3. gitlab打tag(如v4.0);
  4. Jenkins流水线检测tag,自动执行流水线;
  5. 流水线执行完成,查看k8s资源状态。

master查看pod与service:

kubectl get pod -o wide
kubectl get svc

浏览器访问 任意nodeIP:NodePort端口/test,验证业务接口返回新版本内容。

同时配置钉钉webhook,流水线执行成功/失败推送钉钉通知。

三、常见踩坑总结

  1. k8s1.24+使用docker必须部署cri‑dockerd,否则节点无法加入集群,join的时候必须带上--cri‑socket参数。
  2. docker与kubelet cgroup驱动必须统一为systemd,否则kubelet启动失败。
  3. 私有harbor镜像拉取失败:①所有节点配置insecure‑registries;②必须创建imagePullSecrets并在deployment引用。
  4. Jenkins容器ssh免密:密钥生成是在jenkins容器内部执行ssh‑keygen,不要在宿主机生成。
  5. calico部署完节点还是NotReady:核对pod网段是否和kubeadm初始化podSubnet完全一致。
  6. yaml缩进错误会导致kubectl apply失败,严格遵守yaml语法。
  7. gitlab打tag:修改yaml后要删除旧tag,重新创建新tag,jenkins才能读取最新yml文件。

四、拓展方向

  1. 版本优化:流水线中动态获取git tag,yaml中镜像tag通过变量传入,避免每次手动修改pipeline.yml;
  2. 增加sonarqube代码质量扫描;
  3. 增加回滚stage;
  4. 使用Ingress替代NodePort对外暴露服务;
  5. 使用Kuboard webUI管理k8s集群。

转载自 CSDN-专业IT技术社区

原文链接:https://blog.csdn.net/2403_87659444/article/details/170347264

文章来源转载

评论

评论列表

微信小程序
QQ小程序

关于作者

点赞数:0
关注数:0
粉丝:0
文章:0
关注标签:0
加入于:--