NVIDIA揭示了增强吞吐量的Nemotron-H推理模型

NVIDIA Unveils Nemotron-H Reasoning Models for Enhanced Throughput

James Ding Jun 06, 2025 10:02

NVIDIA introduces the Nemotron-H Reasoning model family, delivering significant throughput gains and versatile applications in reasoning-intensive tasks, according在Nvidia的博客中。

在人工智能的重大发展中，Nvidia宣布了Nemotron-H推理模型家族，旨在增强吞吐量而不会损害性能。这些模型是针对处理推理密集型任务的量身定制的，特别关注数学和科学，其中输出长度一直在扩大标志

在AI推理模型中的突破

nvidia的最新产品包括Nemotron-H-47B-Reasoning-128K和Nemotron-H-8B-8B-Rounconing-128K 128K模型，这两种型号都可用于FP8量子元素，有时有时甚至达到数以时达到数万个令牌。这些模型源自Nemotron-H-47B-Base-8K和Nemotron-H-8B-Base-8K基础模型，根据NVIDIA的博客。

Nemotron-h-47b - 47B改良模型，在这个家族中最有能力的模型，在这个家族中最有能力的模型，在该家族中最有能力的范围近四倍，例如可比较的transformer模型，例如lllama-nemotron。它支持128K令牌上下文，并在精确的精确性方面出色地完成了重重的任务。同样，Nemotron-H-8B-Reasoning-128K模型显示出对Llama-Nemotron Nano 8B V1.0的显着改善。

创新功能和许可

Nemotron-H模型介绍了灵活的操作，从而使用户可以在推理和非估计模式之间进行选择。这种适应性使它成为Sui用于广泛的现实应用程序的表。 NVIDIA已根据公开的研究许可发布了这些模型，鼓励研究界进一步探索和创新。

培训和性能

对这些模型的培训涉及监督的微调（SFT），其中包括包括显式推理痕迹的示例。这种全面的培训方法跨越了数学，科学和编码的30,000多个步骤，从而对内部STEM基准进行了一致的改进。随后的培训阶段的重点是跟随教学，安全对准和对话，进一步提高了模型在各种任务中的性能。

长期的上下文处理和强化学习

支持128k token上下文，使用高达256k tokens的合成序列来提高其长达256k的sept toctions，从而培训了模型。此外，使用小组相对政策优化（GRPO）进行加强学习以完善诸如遵循教学和工具的说明，增强了模型的整体响应质量。

最终结果和吞吐量比较

与诸如千层面部 - 纽马特朗Super 49b v1.0和Qwen3 32b等模型等模型进行基准测试。值得注意的是，它比传统的基于变压器的模型高出大约四倍，这标志着AI模型效率的显着进步。

总体而言，Nemotron-H推理模型代表了一个多功能且高性能的基础，用于需要精确和速度，在AI推理能力方面提供了更大的效果。博客。

图像来源：Shutterstock