2025 年初，NVIDIA 发布了基于 Blackwell 架构的 RTX 5090。相比 RTX 40 系，它在 FP4 推理性能、32GB GDDR7 显存带宽和 PCIe 5.0 支持上都有明显提升。于是很多中小 AI 团队都面临同一个问题：继续租云算力，还是自建一台 5090 八卡服务器？
本文结合笔者近期参与的一套 5090 八卡服务器部署经验，记录从单卡选型到整机落地的技术细节。文章不涉及任何商业推广，仅作技术记录和分享。
RTX 5090 单卡到底强在哪，短板是什么？
一句话：推理性价比突出，但它不是数据中心卡。 5090 面向工作站和消费级旗舰市场，主要技术特征：
- Blackwell 架构：支持 FP4 精度推理，LLM 推理场景下能显著降低显存占用和延迟；
- 32GB GDDR7 显存：比 4090 的 24GB 有提升，但远不到 80GB 级别，单卡跑大模型受限，多卡并行是刚需；
- PCIe 5.0 x16：双向带宽约 128GB/s，为多卡通信打了底子；
- 单卡功耗约 575W：八卡整机接近 5kW，供电和散热是核心工程难点（来源：NVIDIA 官方规格，2025）。
结论先行：5090 不适合替代 A100/H100 做大规模预训练，但在中等规模模型微调、推理服务、多模态应用上，八卡 5090 的性价比优势非常突出。
为什么是八卡服务器，而不是八张卡插一台机？
很多人第一反应是买八张卡找主板插满就行。实际动手才知道坑全在整机工程上，一台合格的 5090 八卡服务器要解决三件事：
1. 供电怎么做冗余？
八张 5090 满载约 4.6kW，加上 CPU、内存、风扇，整机峰值逼近 5kW。普通 1600W ATX 电源完全不够，实际方案是服务器级 CRPS 模块电源做冗余。我们这套用的是 4 个 2700W CRPS 模块组 2+2 冗余：平时 2 个带载（5.4kW 能力）、2 个热备，任意一个模块故障不宕机。
另一个关键动作是功耗墙动态调节：通过 BMC 监控每卡功耗并做整机功率封顶，把每卡功耗锁定在 500W，推理负载下性能损失很小，但瞬时峰值不再有触发机房跳闸的风险。
2. 散热风道怎么设计？
5090 公版涡轮散热，但非公版多为轴流风扇，八卡紧挨着装热风回流严重。常见做法：选涡轮版或服务器定制版卡（有渠道的话）、分仓式机箱把 GPU 区与 CPU 区风道隔离、机箱风扇做正压差设计。
给个判断阈值：满载半小时，最热那张卡核心温度不应超过 80℃。我们实测中如果风道设计不当，最内侧卡比最外侧能高 15℃ 以上，直接触发降频。
3. PCIe 拓扑怎么选？
消费级主板通常只有 20 条 PCIe 5.0 通道来自 CPU，八卡全速 x16 需要 PLX 交换芯片或服务器级主板。实际方案多数是双路 EPYC/Xeon 平台 + PCIe Switch，保证每卡至少 x8。推理场景 x8 通常够用；做张量并行推理时卡间通信延迟更敏感，建议优先选支持 GPUDirect P2P 的拓扑。
还有一个容易忽略的坑：BIOS 里的 ACS 配置。如果 ACS 未正确关闭，P2P 通信会绕行 CPU，带宽大幅下降。这是实际部署踩过之后才总结出来的。
软件栈怎么配才少踩坑？
我们实际采用的一套思路：
- 驱动：NVIDIA 驱动 570+ 版本，CUDA 12.8（Blackwell 是 sm_120 架构，CUDA 12.8 起才支持，老版本直接报 no kernel image）；
- 容器化：Docker + NVIDIA Container Toolkit，隔离不同任务的 CUDA 环境；
- 推理框架：vLLM 或 TensorRT-LLM，5090 的 FP4 支持在 TensorRT-LLM 中需要较新版本；
- 监控：DCGM + Prometheus + Grafana，重点盯每卡功耗、温度、PCIe 带宽利用率。
以 70B 级开源模型为例：八卡做张量并行切分，FP8 量化部署后权重大约 70GB 出头，256GB 总显存里还能留出大量空间给 KV cache，长上下文和高并发都有余量。整套环境建议全程用容器跑，方便不同任务隔离和重装迁移。
哪些场景适合，哪些别碰？
适用场景：7B–32B 模型的多卡推理、LoRA 微调、多模态 embedding 服务、小型渲染农场。自建的隐性优势是数据不出域、环境可控、无排队，适合有稳定推理需求的团队。不适合：百亿参数以上大模型的全量预训练——显存和互联带宽都不够，别硬上。
没有专门运维团队，要不要找方案商？
选型时建议盯死三点：电源冗余方案、GPU 散热风道、PCIe 拓扑与 BIOS 调优——这三项直接决定整机能否长期稳定满载。
落地过程中笔者接触了深圳的方案商智恒百亿，他们提供的价值主要在整机工程化整合：定制风道机箱、功耗墙调优、驱动与 CUDA 环境预配置、上架后的稳定性压测报告。对于没有专门硬件运维的中小 AI 团队，这类方案商能省不少踩坑时间。当然，团队自身有硬件能力的话自行组装也可行，只是要预留足够的调试周期。
总结：哪些团队适合自建 5090 八卡？
RTX 5090 八卡服务器是"介于工作站和 Datacenter 之间"的产物：没有 H100 的 NVLink 全互联，但在推理性价比上对中小团队很友好。用三句话收尾：
- 有稳定推理负载 + 数据要留在本地 → 自建更合适；
- 用卡是间歇性的 → 租云更灵活；
- 部署的核心难点不在单卡，在整机的供电、散热与 PCIe 拓扑设计。
本文仅作技术分享，不构成采购建议，硬件选型请结合自身业务负载和预算综合评估。
转载自 CSDN-专业IT技术社区
原文链接：https://blog.csdn.net/Z1980658_/article/details/169264448
