弈栈录头像
CI/CD 基础:把构建、测试和发布串成流水线封面图

CI/CD 基础:把构建、测试和发布串成流水线

摘要

CI/CD 的目标不是把几条 shell 命令放进自动化平台,而是把代码验证、制品生成、部署和上线验证变成可重复、可追踪、可停止的交付流程。先分清持续集成、持续交付和持续部署,再把测试、镜像构建、推送、部署与回滚组织成一条清晰的流水线。

从一套 Java 服务的 Makefile 和 Docker Compose 部署约定开始,把本地与 CI 使用的命令统一起来,并为每个制品绑定 Git 提交号。接下来可以把这些阶段映射到 GitHub Actions、GitLab CI 或 Jenkins,而不把发布安全寄托在某一家平台的语法上。

一、背景与问题

手工发布通常从开发者电脑开始:拉取代码、运行测试、打包、构建镜像、登录仓库、连接服务器,再执行容器更新。步骤依赖操作者记忆,某次漏跑测试或使用了错误分支,可能让同一份代码在不同时间发布出不同结果。

把命令搬进 CI 平台也不自动等于可靠交付。常见问题包括:

  • 测试失败后流水线仍继续发布;
  • PR 校验和生产部署混在同一个高权限任务里;
  • 测试、构建和部署分别重新拉取代码,最终上线的内容与被测版本不一致;
  • 每次部署都覆盖 latest,无法确认线上实际运行的是哪个版本;
  • 开发机、CI 和生产环境使用不同的构建命令或依赖版本;
  • 数据库迁移不可逆,应用回滚后新旧代码无法共存;
  • 发布成功只代表命令退出码为 0,服务实际仍然不可用。

可靠的流水线要把“验证什么”“产生什么”“允许谁部署”“部署后怎样判断成功”写成可检查的步骤。任何关键验证失败都必须停止后续阶段,并保留足以追踪和回退的版本信息。

二、核心概念

1. 持续集成、持续交付与持续部署

概念关注点是否自动进入生产
持续集成(CI)频繁合并代码,并自动运行构建与测试否
持续交付(Continuous Delivery)每次变更经过验证后都保持可发布状态通常保留人工或业务审批
持续部署(Continuous Deployment)通过所有检查的变更自动发布到生产是

持续交付不是“每次提交都必须立即上线”;它要求交付过程可重复,且候选版本具备随时发布的条件。持续部署则把通过门禁的变更自动推进到生产,对自动化测试、监控和回滚能力要求更高。

2. 流水线、制品与部署

流水线是按依赖关系执行的任务图:测试通过后才构建,镜像构建完成后才推送,推送成功后才允许部署。制品可以是 JAR、容器镜像或前端静态包,应能唯一对应一次源码提交。

部署把已经生成的制品放入目标环境。生产部署不应偷偷重新构建另一份“看起来相同”的内容;应提升测试过的同一制品,只替换环境配置和运行时密钥。

3. 不可变版本与可追溯性

镜像至少应带有不可变的提交 SHA 标签,例如 ghcr.io/example/orders:4f3a...。latest 可以作为方便查找的移动标签,但不能单独承担生产部署、审计或回滚的版本标识。

一次发布应能回答:源码提交是什么、由哪次流水线构建、运行了哪些检查、生成了哪个制品、部署到哪些环境、当前运行版本是什么。规模较大的系统还应记录制品摘要、SBOM、构建来源证明和签名。

4. 门禁、审批和回滚

门禁是阻止不合格变更继续前进的自动或人工检查,例如测试通过、代码审查完成、镜像扫描未发现阻断级问题,或生产环境审批通过。回滚则是恢复到已知可用的应用版本,不等同于撤销所有数据库变化。

应用发布和数据库迁移要分开设计。采用向后兼容的扩展后收缩(expand-contract)方式,可以让旧应用与新应用在迁移期间共存,降低应用版本回退时的风险。

三、工作原理

一条常见交付流水线可以按以下阶段组织:

代码提交或拉取请求
        ↓
格式检查、静态分析与单元测试
        ↓
构建一次制品,并记录源码提交和构建信息
        ↓
集成测试、镜像扫描与制品推送
        ↓
部署到测试环境并执行健康检查
        ↓
生产环境审批或自动发布策略
        ↓
上线探测、指标观察与发布结果记录
        ├─ 正常:结束发布并保留版本信息
        └─ 异常:停止推进,切回上一已知可用版本

每个阶段只消费上游明确产出的内容。CI 负责验证提交并生成制品;部署阶段拉取该制品的固定版本,而不是再次从分支构建。生产凭证仅出现在生产部署任务中,PR 任务不应获得发布权限。

流水线还要处理并发。两个生产发布不能同时修改同一套服务;可按环境设置互斥组,或使用部署平台的队列与锁。若新版本已经进入发布,旧版本的待执行任务应按明确策略排队、取消或拒绝,不能靠偶然的任务启动顺序决定线上版本。

自动化平台只知道命令退出状态,不会自动理解业务健康。部署后应检查健康端点、关键依赖、错误率和响应延迟;遇到数据库连接错误、探活失败或错误率超过门槛时,停止扩大流量并触发回滚或人工处理。

四、实战示例

下面用一个 Spring Boot 服务演示如何把本地命令统一为流水线入口。示例在 GNU Make 环境运行,要求系统安装 Maven、Docker、Docker Compose 和 SSH 客户端。GitHub Actions 的具体 YAML 会在下一篇配置;这里先把 CI 平台需要调用的步骤固定下来。

1. 用 Makefile 固定构建命令

在项目根目录创建 Makefile:

IMAGE_REPOSITORY ?= ghcr.io/example/orders
IMAGE_TAG ?= $(shell git rev-parse --verify HEAD)
DEPLOY_USER ?= deploy
DEPLOY_HOST ?=

.PHONY: test image publish deploy

test:
	mvn -B -ntp verify

image: test
	docker build --pull --tag "$(IMAGE_REPOSITORY):$(IMAGE_TAG)" .

publish:
	docker push "$(IMAGE_REPOSITORY):$(IMAGE_TAG)"

deploy:
	test -n "$(DEPLOY_HOST)"
	ssh "$(DEPLOY_USER)@$(DEPLOY_HOST)" "cd /opt/orders && IMAGE_REPOSITORY=$(IMAGE_REPOSITORY) IMAGE_TAG=$(IMAGE_TAG) docker compose config --quiet && IMAGE_REPOSITORY=$(IMAGE_REPOSITORY) IMAGE_TAG=$(IMAGE_TAG) docker compose pull && IMAGE_REPOSITORY=$(IMAGE_REPOSITORY) IMAGE_TAG=$(IMAGE_TAG) docker compose up -d --remove-orphans"

Makefile 命令行前的缩进必须是 Tab。IMAGE_TAG 默认取当前完整 Git commit SHA;同一仓库和提交会得到稳定的镜像标签。CI 可以显式传入 IMAGE_TAG,确保它与触发流水线的提交一致。publish 不重新构建镜像,依赖流水线先执行 make image 并把同一镜像交给后续任务;跨 job 使用时应改为从仓库推送和拉取固定标签。

2. 让 Compose 部署使用固定镜像版本

服务器上的 /opt/orders/compose.yaml 可以这样引用镜像:

services:
  app:
    image: ${IMAGE_REPOSITORY:?IMAGE_REPOSITORY is required}:${IMAGE_TAG:?IMAGE_TAG is required}
    restart: unless-stopped
    env_file:
      - .env.production
    ports:
      - "127.0.0.1:8080:8080"

.env.production 只保存在服务器受控目录中,不放进 Git 仓库或镜像。服务器需要事先获得该镜像仓库的只读拉取权限;CI 发布凭证和服务器拉取凭证应分开管理。

3. 分阶段执行并观察结果

开发阶段先运行验证和镜像构建:

make test
make image

CI 在受信任的主分支提交上完成 make image,登录镜像仓库后推送同一标签;具备审批和环境保护后,再执行部署:

make image IMAGE_TAG=<完整提交SHA>
make publish IMAGE_TAG=<完整提交SHA>
make deploy IMAGE_TAG=<完整提交SHA> DEPLOY_USER=deploy DEPLOY_HOST=server.example.com

<完整提交SHA> 是说明用的占位符,需要换成真实提交 SHA;尖括号不能原样输入。部署命令先检查 Compose 配置、拉取固定标签,再更新容器;部署后还应检查健康端点、日志和指标。出现异常时,用上一已知可用的镜像标签重新执行部署,并核对数据库迁移是否兼容。

4. 为回滚保留上一版本

发布记录至少保存当前版本与上一版本,例如:

当前版本:ghcr.io/example/orders:4f3a9b...
上一版本:ghcr.io/example/orders:1c0d27...

不要让服务器只保留 latest 一个无法追溯的引用。回滚前确认数据库迁移与旧应用兼容;回滚后验证健康端点、错误率和关键业务请求。镜像回退命令成功不代表数据层已经恢复。

五、常见问题与实践建议

1. 测试成功,但线上运行的不是被测版本

如果构建、推送和部署任务各自重新检出分支或重新构建,分支可能已经前进,最终部署内容便不同于测试内容。使用触发流水线的提交 SHA 作为唯一标签,并让各任务共享同一个制品版本。

2. 流水线变绿,服务却不可用

把健康检查和关键业务探测加入部署后验证,检查日志和指标变化。命令退出码只能说明部署动作结束,不能证明进程持续存活、数据库可连接或核心接口返回正确。

3. 所有环境共用一份密钥

按环境隔离凭证与访问权限,生产部署使用单独的环境保护规则;PR 任务不要接触生产密钥。凭证定期轮换,并避免在日志里打印环境变量、配置内容或密钥文件。

4. 自动发布被重复提交触发

为生产环境设置并发控制,确保同一时间只有一个部署改变目标服务。按环境或应用建立互斥组,并明确旧任务应取消还是等待,不要让两次提交的发布顺序随机决定线上版本。

5. 构建依赖漂移

固定基础镜像版本、锁定依赖并保存构建参数;需要更强可复现性时,将工具链也放进受控构建镜像。定期更新依赖和基础镜像,但不能让每次构建都悄悄使用不同的浮动版本。

6. 数据库迁移堵住版本回退

删除列、改字段语义和批量改写数据都应拆成兼容步骤:先让新旧代码都能运行,再发布应用,最后清理旧结构。为每个迁移准备验证结果和恢复边界,不要默认数据库可以随镜像一起瞬间回退。

7. 回滚方案从未演练

在测试环境定期用上一已知可用镜像执行回退,检查配置、迁移、缓存、队列消息和后台任务是否兼容。把回滚触发条件、审批人和验证清单写进发布流程,不要等到生产故障时才决定从哪里找旧版本号。

六、进阶思考

随着服务数量增加,可以把流水线拆成复用模块:语言构建、镜像发布、部署和健康检查各有一套经过审查的实现,业务仓库只声明参数和制品信息。共享模块要固定版本,避免平台改动同时影响全部项目却无法回退。

供应链治理可以在现有流水线上逐步加入:生成依赖清单和 SBOM,记录构建来源,扫描镜像漏洞,对制品签名并在部署前验证签名。先确保“测试过的制品就是部署的制品”,再引入证明和验签;否则再多元数据也无法修复版本错配。

发布策略还可以从一次性替换升级为滚动、蓝绿或灰度发布。应用版本、流量切换和数据库迁移会成为三个独立状态,需要更细的监控和自动化回滚条件。先把基础流水线的可追溯性、权限隔离和健康门禁做好,再进入这些发布策略。

结论

CI/CD 的核心是让每次变更经过可验证的阶段,并让同一个不可变制品从测试环境提升到生产环境。测试通过、制品固定、权限隔离、部署后健康检查和版本回滚缺一不可;数据库迁移需要单独的兼容设计。

先把本地和 CI 的构建命令统一,再选择自动化平台实现流水线。下一篇用 GitHub Actions 把测试、GHCR 镜像发布和受控 SSH 部署串起来,并把生产环境保护规则落到具体工作流。

参考资料

转载自 CSDN-专业IT技术社区

原文链接:https://blog.csdn.net/m0_62221377/article/details/170413300

文章来源转载

评论

评论列表

微信小程序
QQ小程序

关于作者

点赞数:0
关注数:0
粉丝:0
文章:0
关注标签:0
加入于:--