Kubernetes 从集群搭建到 Jenkins+GitLab+Harbor 完整CI/CD落地实战
本文基于 kubeadm 部署 K8s,分为两大块:①Kubernetes v1.28 集群完整安装;②DevOps流水线整合:Jenkins+GitLab+Harbor实现业务代码自动构建、推送镜像、K8s自动部署应用,适合学习云原生CI/CD全流程。
前言
Kubernetes(K8s)已经成为容器编排事实标准,在企业开发中,我们希望做到:提交代码 → 自动编译打包 → 构建Docker镜像推送到私有Harbor仓库 → 自动更新K8s中业务Pod,实现持续集成持续部署。
文档包含两套内容:
- K8s v1.28 集群部署:1.24以后移除dockershim,使用
cri‑dockerd对接docker作为容器运行时,master+双node节点。 - DevOps流水线:K8s v1.19环境演示Jenkins流水线,把Java项目自动部署到Kubernetes集群。
环境说明:CentOS7,docker作为容器引擎,Calico作为CNI网络插件,Harbor私有镜像仓库,GitLab存放代码与yaml,Jenkins做流水线调度。
一、Kubernetes v1.28 集群部署(cri‑dockerd对接Docker)
1.1 硬件规划
| 角色 | CPU | 内存 | IP | 主机名 |
|---|---|---|---|---|
| master | 2核 | 4G | 192.168.100.128 | master |
| node1 | 4核 | 6G | 192.168.100.129 | node1 |
| node2 | 4核 | 6G | 192.168.100.136 | node2 |
1.2 所有节点前置环境配置
1. 设置主机名
# master执行
hostnamectl set-hostname master
# node1执行
hostnamectl set-hostname node1
# node2执行
hostnamectl set-hostname node2
2. 主机名解析 /etc/hosts(三台机器全部配置)
cat >> /etc/hosts <<EOF
192.168.100.128 master
192.168.100.129 node1
192.168.100.136 node2
EOF
3. 安装依赖工具包
yum -y install vim lrzsz unzip wget net-tools tree bash-completion conntrack ntpdate ntp ipvsadm ipset iptables curl sysstat libseccomp git psmisc telnet gcc gcc-c++ make
4. 关闭防火墙与SELinux
systemctl disable firewalld --now
setenforce 0
sed -i 's/enforcing/disabled/g' /etc/selinux/config
5. 关闭swap,k8s强制要求
swapoff -a
sed -i '/swap/s/^/#/' /etc/fstab
6. 关闭NetworkManager(可选)
systemctl stop NetworkManager
systemctl disable NetworkManager
7. 内核参数配置,开启网桥转发、ip转发
cat >/etc/sysctl.d/kubernetes.conf<<EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
vm.swappiness=0
vm.overcommit_memory=1
EOF
sysctl --system
8. 资源文件句柄数调优
cat >> /etc/security/limits.conf <<EOF
* soft nofile 655360
* hard nofile 131072
* soft nproc 655350
* hard nproc 655350
* soft memlock unlimited
* hard memlock unlimited
EOF
ulimit -SHn 65535
9. 时间同步chrony
yum -y install chrony
systemctl restart chronyd
chronyc sources -v
hwclock -s
10. IPVS内核模块加载
cat >>/etc/modules-load.d/ipvs.conf<<EOF
ip_vs
ip_vs_rr
ip_vs_wrr
ip_vs_sh
nf_conntrack_ipv4
ip_tables
ip_set
xt_set
ipt_set
ipt_rpfilter
ipt_REJECT
ipip
overlay
br_netfilter
EOF
systemctl restart systemd-modules-load
lsmod | grep -e ip_vs -e nf_conntrack_ipv4
1.3 所有节点安装Docker‑CE
yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo [https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo](https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo)
yum install -y docker-ce
配置docker镜像加速 + cgroup驱动为systemd,k8s要求docker与kubelet cgroup保持一致
tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": [
"[https://09def58152000fc00ff0c00057bad7e0.mirror.swr.myhuaweicloud.com](https://09def58152000fc00ff0c00057bad7e0.mirror.swr.myhuaweicloud.com)",
"[https://registry.docker-cn.com](https://registry.docker-cn.com)"
],
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
"max-size": "100m"
},
"storage-driver": "overlay2"
}
EOF
systemctl daemon-reload
systemctl enable --now docker
1.4 安装 cri‑dockerd(关键!k8s1.24+移除dockershim)
作用:提供CRI接口,让k8s可以调用docker引擎
wget [https://github.com/mirantis/cri-dockerd/releases/download/v0.3.4/cri-dockerd-0.3.4-3.el7.x86_64.rpm](https://github.com/mirantis/cri-dockerd/releases/download/v0.3.4/cri-dockerd-0.3.4-3.el7.x86_64.rpm)
rpm -ivh cri-dockerd-0.3.4-3.el7.x86_64.rpm
修改service指定国内pause镜像:
vim /usr/lib/systemd/system/cri-docker.service
# 修改ExecStart
ExecStart=/usr/bin/cri-dockerd --pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.9 --container-runtime-endpoint fd://
启动服务
systemctl daemon-reload
systemctl enable --now cri-docker.service
ls /run/cri-dockerd.sock
1.5 安装 kubeadm kubelet kubectl(所有节点)
配置阿里云k8s yum源
cat <<EOF>/etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=[http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64](http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64)
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=[http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg](http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg)
[http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg](http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg)
EOF
安装v1.28.0版本
yum install -y kubeadm-1.28.0-0 kubelet-1.28.0-0 kubectl-1.28.0-0
配置kubelet参数,指定cgroup驱动与proxy模式
vim /etc/sysconfig/kubelet
KUBELET_EXTRA_ARGS="--cgroup-driver=systemd"
KUBE_PROXY_MODE="ipvs"
systemctl daemon-reload
systemctl enable kubelet
1.6 Master节点初始化集群
只在master操作
拉取镜像(提前下载,避免初始化慢)
kubeadm config images pull \
--cri-socket=unix:///var/run/cri-dockerd.sock \
--kubernetes-version=v1.28.0 \
--image-repository=registry.aliyuncs.com/google_containers
两种初始化方式,推荐配置文件方式
方式1:yaml配置文件初始化
kubeadm config print init-defaults > kubeadm-init.yaml
vim kubeadm-init.yaml
修改关键点:
apiVersion: kubeadm.k8s.io/v1beta3
bootstrapTokens:
groups:
- system:bootstrappers:kubeadm:default-node-token
token: abcdef.0123456789abcdef
ttl: 24h0m0s
usages:
- signing
- authentication
kind: InitConfiguration
localAPIEndpoint:
advertiseAddress: 192.168.100.128 # master本机IP
bindPort: 6443
nodeRegistration:
criSocket: unix:///var/run/cri-dockerd.sock # cri‑dockerd套接字
imagePullPolicy: IfNotPresent
name: master
taints:
- effect: NoSchedule
key: node-role.kubernetes.io/control-plane
---
apiServer:
timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta3
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controllerManager: {}
dns: {}
etcd:
local:
dataDir: /var/lib/etcd
imageRepository: registry.aliyuncs.com/google_containers
kind: ClusterConfiguration
kubernetesVersion: 1.28.0
networking:
dnsDomain: cluster.local
serviceSubnet: 10.96.0.0/12
podSubnet: 10.244.0.0/16 # calico pod网段
scheduler: {}
---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
mode: ipvs
---
apiVersion: kubelet.config.k8s.io/v1beta1
kind: KubeletConfiguration
cgroupDriver: systemd
执行初始化
kubeadm init --config=kubeadm-init.yaml --upload-certs | tee kubeadm-init.log
方式2:命令行直接初始化(可选)
kubeadm init \
--apiserver-advertise-address=192.168.100.128 \
--image-repository=registry.aliyuncs.com/google_containers \
--kubernetes-version=v1.28.0 \
--cri-socket=unix:///var/run/cri-dockerd.sock \
--pod-network-cidr=10.244.0.0/16 \
--service-cidr=10.96.0.0/12 \
--upload-certs | tee kubeadm-init.log
配置kubectl认证文件
mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config
# 永久环境变量
echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile
source ~/.bash_profile
初始化失败重置命令
kubeadm reset -f --cri-socket=unix:///var/run/cri-dockerd.sock
rm -rf /etc/kubernetes/*
1.7 worker节点加入集群
node1、node2分别执行,必须带上cri‑socket参数!
kubeadm join 192.168.100.128:6443 --token abcdef.0123456789abcdef \
--discovery-token-ca-cert-hash sha256:xxxxxx \
--cri-socket unix:///var/run/cri-dockerd.sock
token过期重新生成(master执行)
kubeadm token create --print-join-command
此时节点状态为NotReady,还没有部署CNI网络插件。
1.8 部署Calico网络插件
calico3.25适配k8s v1.23‑v1.28,pod网段与初始化的
10.244.0.0/16保持一致。
wget --no-check-certificate [https://docs.tigera.io/archive/v3.25/manifests/calico.yaml](https://docs.tigera.io/archive/v3.25/manifests/calico.yaml)
vim calico.yaml
# 修改CALICO_IPV4POOL_CIDR为 10.244.0.0/16
应用yaml
kubectl apply -f calico.yaml
等待所有calico pod全部Running
kubectl get nodes
kubectl get pods -A
1.9 验证集群功能
测试dns解析
dig -t a www.baidu.com @10.96.0.10
简单测试nginx应用
kubectl create deployment nginx --image=nginx --replicas=3
kubectl expose deployment nginx --port=80 --target-port=80 --type=NodePort
kubectl get pod,svc
# 浏览器访问 nodeIP:NodePort端口 访问nginx页面
kubectl命令补全
yum install bash-completion -y
source /usr/share/bash-completion/bash_completion
echo "source <(kubectl completion bash)" >> ~/.bashrc
source ~/.bashrc
至此Kubernetes v1.28集群搭建完成。
二、DevOps CI/CD流水线:Jenkins+GitLab+Harbor+K8s
业务目标:Java SpringBoot项目,代码提交打tag触发流水线: 拉取代码 → maven编译打包 → docker构建镜像 → push到Harbor私有仓库 → 将deployment yaml推送到k8s‑master →
kubectl apply完成发布。
环境参考文档使用K8s v1.19演示,流程逻辑完全兼容v1.28集群。
2.1 整体架构组件
- GitLab:存放业务源代码 + k8s部署yaml文件 + Jenkinsfile流水线脚本
- Jenkins:流水线调度,maven编译、docker构建、ssh推送yaml到k8s‑master
- Harbor私有镜像仓库:存储业务docker镜像
- Kubernetes Master:接收yaml,执行
kubectl apply完成应用部署 - Node节点:运行业务Pod
2.2 前置准备工作
① K8s创建harbor镜像拉取secret
k8s拉取私有harbor镜像需要imagePullSecrets凭证,master节点执行
kubectl create secret docker-registry harbor-secret \
--docker-server=192.168.100.145:80 \
--docker-username=admin \
--docker-password=harbor123
② k8s所有节点配置harbor非安全仓库
每个节点修改docker /etc/docker/daemon.json,添加insecure‑registries
{
"insecure-registries":["192.168.100.145:80"],
"registry-mirrors":["[https://registry.cn-hangzhou.aliyuncs.com](https://registry.cn-hangzhou.aliyuncs.com)"],
"exec-opts":["native.cgroupdriver=systemd"]
}
systemctl daemon-reload
systemctl restart docker
# 测试登录harbor
docker login 192.168.100.145:80 -u admin -p harbor123
③ k8s‑master创建接收yaml目录,Jenkins通过ssh推送文件到此目录
mkdir /usr/local/k8s
chmod 777 /usr/local/k8s
④ Jenkins容器免密ssh登录k8s‑master(重点)
Jenkins运行在docker容器内,需要生成ssh密钥,公钥放到k8s‑master的authorized_keys实现免交互执行kubectl命令。
进入jenkins容器:
docker exec -it jenkins bash
# jenkins容器内部
cd ~
ssh-keygen -t rsa # 一路回车,不设置密码
cd .ssh
cat id_rsa.pub
复制输出公钥,粘贴到k8s‑master节点
# master节点操作
mkdir -p /root/.ssh
vim /root/.ssh/authorized_keys
# 粘贴上面公钥内容
systemctl restart sshd
在jenkins容器测试免密连通
ssh root@192.168.100.145 ls /
2.3 GitLab准备项目文件
在GitLab项目中创建:
- Java业务源代码(SpringBoot)
Jenkinsfile:流水线定义pipeline.yml:k8s deployment + service资源清单
pipeline.yml示例:
apiVersion: apps/v1
kind: Deployment
metadata:
name: pipeline
labels:
app: pipeline
spec:
replicas: 2
selector:
matchLabels:
app: pipeline
template:
metadata:
labels:
app: pipeline
spec:
imagePullSecrets:
- name: harbor-secret
containers:
- name: pipeline
image: 192.168.100.145:80/repo/pipeline:v4.0
imagePullPolicy: Always
ports:
- containerPort: 8080
---
apiVersion: v1
kind: Service
metadata:
labels:
app: pipeline
name: pipeline
spec:
selector:
app: pipeline
ports:
- port: 8081
targetPort: 8080
type: NodePort
⚠注意:镜像tag版本需要和gitlab的tag版本保持一致,每次发布新版本修改镜像tag,打新tag。
2.4 Jenkins配置
- 安装插件:
Publish Over SSH,用于ssh传输文件。 - 系统管理 → System → Publish Over SSH,配置k8s‑master服务器信息:
- Name:k8s
- Hostname:k8s‑masterIP
- Username:root
- Remote Directory:
/usr/local/k8s
- 测试连接成功,保存。
2.5 Jenkinsfile流水线完整逻辑
流水线主要阶段:
- 拉取gitlab代码
- maven编译打包
- docker构建镜像
- docker push镜像到harbor私有仓库
- 将
pipeline.yml推送至k8s‑master/usr/local/k8s目录 - ssh远程执行
kubectl apply -f /usr/local/k8s/pipeline.yml,完成k8s应用更新 - 钉钉消息通知构建结果
流水线片段说明,核心两个新增stage
stage('将yml文件推送到k8s的master节点') {
steps {
sshPublisher(publishers: [sshPublisherDesc(configName: 'k8s', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: '', execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: 'pipeline.yml')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])
}
}
stage('远程执行kubectl命令') {
steps {
sh 'ssh root@192.168.100.145 kubectl apply -f /usr/local/k8s/pipeline.yml'
}
}
2.6 触发发布流程
- 修改Java业务代码,修改接口返回版本号;
- 修改gitlab中
pipeline.yml镜像tag为新版本; - gitlab打tag(如
v4.0); - Jenkins流水线检测tag,自动执行流水线;
- 流水线执行完成,查看k8s资源状态。
master查看pod与service:
kubectl get pod -o wide
kubectl get svc
浏览器访问 任意nodeIP:NodePort端口/test,验证业务接口返回新版本内容。
同时配置钉钉webhook,流水线执行成功/失败推送钉钉通知。
三、常见踩坑总结
- k8s1.24+使用docker必须部署cri‑dockerd,否则节点无法加入集群,join的时候必须带上
--cri‑socket参数。 - docker与kubelet cgroup驱动必须统一为
systemd,否则kubelet启动失败。 - 私有harbor镜像拉取失败:①所有节点配置
insecure‑registries;②必须创建imagePullSecrets并在deployment引用。 - Jenkins容器ssh免密:密钥生成是在jenkins容器内部执行ssh‑keygen,不要在宿主机生成。
- calico部署完节点还是NotReady:核对pod网段是否和kubeadm初始化
podSubnet完全一致。 - yaml缩进错误会导致
kubectl apply失败,严格遵守yaml语法。 - gitlab打tag:修改yaml后要删除旧tag,重新创建新tag,jenkins才能读取最新yml文件。
四、拓展方向
- 版本优化:流水线中动态获取git tag,yaml中镜像tag通过变量传入,避免每次手动修改pipeline.yml;
- 增加sonarqube代码质量扫描;
- 增加回滚stage;
- 使用Ingress替代NodePort对外暴露服务;
- 使用Kuboard webUI管理k8s集群。
转载自 CSDN-专业IT技术社区
原文链接:https://blog.csdn.net/2403_87659444/article/details/170347264




