NVIDIA通过GPU自动升级和Kubernetes自动化增强了Dynamo

NVIDIA Enhances Dynamo with GPU Autoscaling and Kubernetes Automation

Felix Pinkston May 21, 2025 18:29

NVIDIA introduces GPU autoscaling, Kubernetes automation, and networking optimizations in the latest V0.2发电机的释放，增强了AI模型的部署和效率。

在NVIDIA GTC 2025上，NVIDIA宣布对其开源推理框架NVIDIA DYNANSWORWON，NVIDIA DYNANSOWOR。根据NVIDIA开发人员博客的数据，最新的V0.2版本旨在通过GPU自动化，Kubernetes自动化和网络优化来提高生成AI模型的部署和效率。/p>

GPU自动化以提高效率

GPU自动化已成为云计算中的关键组件，从而可以根据实时需求自动调整计算能力。但是，传统的指标（例如每秒查询（QP））已被证明是现代大型语言模型（LLM）环境不足的。为了解决这个问题，NVIDIA推出了NVIDIA Dynamo Planner，这是一种推理感知的自动制剂，专为分解服务工作负载而设计。它通过了解LLM特异性推理模式来动态管理计算资源，优化GPU利用率并降低成本。

精简的Kubernetes部署

将AI从本地开发模型过渡到生产环境过渡到生产环境会带来重大的挑战，通常会涉及复杂的手动过程。 NVIDIA的新Dynamo Kubernetes操作员可以自动使用这些部署，从而简化了从原型到大型生产的过渡。此自动化包括图像构建和图形管理功能，使AI团队能够使用单个命令在数千个GPU上有效地扩展部署。

Amazon EC2

网络优化有效地管理KV高速缓存对于成本有效的LLM部署至关重要。 NVIDIA的推理转移库（NIXL）为跨异构环境提供了简化的解决方案。 V0.2发行版扩展了NIXL的功能，包括对AWS弹性织物适配器（EFA）的支持，从而提高了在NVIDIA驱动的EC2实例上的多键设置的效率。

这些进步的NVIDIA位置NVIDIA NOTION DYNACTO作为一个强大的开发人员，以寻求在规模上进行大量改进，并在范围内进行大量改进，并在范围内进行大量范围，并在范围内进行了大量改进。随着NVIDIA继续开发发电机，这些增强功能有望促进各种云环境中更高效，更可扩展的AI部署。

图像来源：Shutterstock