NVIDIA GPU 示例

Mon, 01 Jan 0001 00:00:00 +0000

说明： 本文为英文文档的中文译版，英文原版请参见 NVIDIA GPU examples。

本文展示如何在 Pod 中配置 NVIDIA 设备直通。

配置前提是你已经按照 NVIDIA Confidential Containers Reference Architecture 部署了 CoCo，并且所用组件版本与下文的直通模式相匹配。若你想看一个把 GPU runtime class、Trustee/KBS、sealed secret、guest pull 和与之对应生成的 agent policy 串成完整 NIM 场景，可参考带 GPU 远程证明的 NVIDIA NIM 部署场景。

简要说明如下：NVIDIA Hopper、NVIDIA Blackwell 和 NVIDIA RTX Pro 6000 都支持单 GPU 直通（SPT）。Hopper 和 Blackwell 另外支持多 GPU 场景（ PPCIE 和 MPT ）。Protected PCIe（PPCIE）只用于 Hopper 多 GPU，并且要求 NVLink switch 进入 PPCIE 模式，注意这里 CoCo 会帮你实现。多 GPU 直通（Multi-GPU Passthrough, MPT）用于 Blackwell GPU 之间的端到端加密。NVIDIA RTX Pro 不支持多 GPU 配置。下面分别给出各场景下 Pod 的配置。

NVIDIA 机密 NIM 部署

Mon, 01 Jan 0001 00:00:00 +0000

说明： 本文为英文文档的中文译版，英文原版请参见 NVIDIA confidential NIM deployment。

本文演示如何把 NVIDIA NIM 推理工作负载部署到 Kubernetes，并运行在 Confidential Containers 上。这里以一台启用了 NVIDIA GPU 机密计算能力的 AMD SEV-SNP Kubernetes 工作节点为例。相同的方法也可以迁移到 Intel TDX 节点，但参考值与证明策略需要按 TDX 重新生成，本文不展开。

NVIDIA NIM 将基础模型封装成容器，并提供针对 GPU 优化的运行时与 HTTP API。本文从一个普通的 NIM Pod 清单开始，镜像为 nvcr.io/nim/meta/llama-3.1-8b-instruct:1.13.1，通过 chat completions API 提供 Meta Llama 3.1 8B Instruct 模型服务。可选的基线步骤会先用非机密的 kata-qemu-nvidia-gpu runtime class 启动它，并检查 8000 端口上的健康状态、模型列表与推理接口。机密场景则切换为 kata-qemu-nvidia-gpu-snp runtime class，把 Pod 放进机密虚拟机中；但仅改 runtime class 还不够，还需要补齐 Trustee 的 KBS、guest pull、AA 与 CDH 配置、sealed secret、镜像签名策略、生成的 Kata agent policy、可信存储，以及批准 CPU、GPU 与 initdata 证据的 KBS 策略。下面按 checkpoint 逐步完成这些配置。

Nvidia on Confidential Containers

NVIDIA GPU 示例

NVIDIA 机密 NIM 部署