/zh-cn/tags/nim/ Recent content in Nim on Confidential Containers Hugo zh-cn © The Linux Foundation. All rights reserved. The Linux Foundation has registered trademarks and uses trademarks. For a list of trademarks of The Linux Foundation, please see our <a href="https://www.linuxfoundation.org/trademark-usage/">Trademark Usage</a> page. /zh-cn/docs/examples/nvidia-nim-confidential-gpu-attestation/ Mon, 01 Jan 0001 00:00:00 +0000 /zh-cn/docs/examples/nvidia-nim-confidential-gpu-attestation/ <blockquote> <p><strong>说明：</strong> 本文为英文文档的中文译版，英文原版请参见 <a href="https://confidentialcontainers.org/docs/examples/nvidia-nim-confidential-gpu-attestation/">NVIDIA confidential NIM deployment</a>。</p> </blockquote> <p>本文演示如何把 <a href="https://docs.nvidia.com/nim/index.html">NVIDIA NIM</a> 推理工作负载部署到 Kubernetes，并运行在 Confidential Containers 上。这里以一台启用了 NVIDIA GPU 机密计算能力的 AMD SEV-SNP Kubernetes 工作节点为例。相同的方法也可以迁移到 Intel TDX 节点，但参考值与证明策略需要按 TDX 重新生成，本文不展开。</p> <p>NVIDIA NIM 将基础模型封装成容器，并提供针对 GPU 优化的运行时与 HTTP API。本文从一个普通的 NIM Pod 清单开始，镜像为 <code>nvcr.io/nim/meta/llama-3.1-8b-instruct:1.13.1</code>，通过 chat completions API 提供 Meta Llama 3.1 8B Instruct 模型服务。可选的基线步骤会先用非机密的 <code>kata-qemu-nvidia-gpu</code> runtime class 启动它，并检查 8000 端口上的健康状态、模型列表与推理接口。机密场景则切换为 <code>kata-qemu-nvidia-gpu-snp</code> runtime class，把 Pod 放进机密虚拟机中；但仅改 runtime class 还不够，还需要补齐 Trustee 的 KBS、guest pull、AA 与 CDH 配置、sealed secret、镜像签名策略、生成的 Kata agent policy、可信存储，以及批准 CPU、GPU 与 initdata 证据的 KBS 策略。下面按 checkpoint 逐步完成这些配置。</p>