NVIDIA的CUEMBED BEOSTS GPU性能以嵌入查找

NVIDIA's cuEmbed Boosts GPU Performance for Embedding Lookups

Caroline Bishop May 16, 2025 04:21

NVIDIA unveils cuEmbed, a CUDA library that significantly enhances embedding lookups on GPUs, promising推荐系统和其他应用程序的性能提高了。

nvidia引入了Cuembed，这是一个尖端的，仅冠向的CUDA库，旨在提高NVIDIA GPU上嵌入查找的效率。这种发展对于使用推荐系统的人特别有益，嵌入操作可以消耗广泛的计算资源，如NVIDIA所报道。

ud对嵌入查找

嵌入查找对于处理机器学习模型中的非数字数据至关重要。他们将分类数据转换为浮点数的向量，从而使其整合到神经网络中。通过CUEMBED优化的核心操作涉及基于输入指数的嵌入表中检索和可能将矢量结合在一起，该过程由于其不规则的内存访问模式而可能是资源的。

优化GPU的性能通过Cuembed

>

>带宽。这是通过各种优化技术来实现的，例如增加飞行中的负载数量和跨GPU线程的合并内存访问。该库还利用缓存内存来容纳经常访问的行，从而减少内存系统压力。

实用的集成和使用

t他的图书馆是开源的，允许开发人员自定义和扩展其功能。它无缝地集成到使用C ++和Pytorch的项目中，为各种嵌入用例提供了多功能解决方案。开发人员可以通过将其添加为子模块或通过CMAKE软件包管理器。

现实世界影响

Cuembed已经证明了其在现实世界中的有效性。例如，Pinterest集成了基于GPU的推荐模型，并报告了训练吞吐量增加了15-30％。这种性能提高了图书馆的大幅增强机器学习工作负载的潜力。

结论

在Cuembed中，NVIDIA为加速嵌入查找提供了强大的工具，可加速嵌入式查找，对于从建议系统到图形神经网络的应用程序范围的应用。其开源性质邀请开发人员进一步创新，扩大其能力以满足各种需求在机器学习领域。

图像来源：Shutterstock