微软宣布推出新的Azure Virtual Machines（VMS），专门旨在提高基于云的AI超级计算功能。
新型H200 V5系列VM现在通常可用于Azure客户，并使企业能够应对越来越麻烦的AI工作量需求。
这家技术巨头透露 ，用户可以利用新的VM系列系列 ，可以增强基础模型培训和推断能力 。
你可能喜欢
是的，您现在可以使用AMD有史以来最快的GPU -AMD的本能MI325X AI加速器具有256GB的内存 ，并且可以运行危机（一种）
AI和管理云的临界点
“无论您是谁 ，您做什么，选择哪种形式” - 英特尔如何为每个行业和生态系统带来AI优势和无与伦比的安全性
尺度 ，效率和性能
微软在一篇博客文章中说 ，新的VM系列已经被众多客户和合作伙伴使用以推动AI功能 。
该公司表示：“我们的ND H200 V5 VM的规模，效率和增强性能已经在推动客户和Microsoft AI服务（例如Azure Machine Learning和Azure Openai Service）的采用。”
根据Trevor Cai ，Openai＆Rsquo的基础设施负责人的说法 ，其中是Openai，该主管正在利用新的VM系列来推动用户的研发和微调Chatgpt 。
他说：“我们很高兴采用Azure的新H200 VM 。 ”“我们看到 ，H200通过最少的移植工作提供了改进的性能 ，我们期待着使用这些VM来加速我们的研究，改善ChatGPT体验并进一步进一步我们的使命。 ”
你是专业人士吗？订阅我们的新闻通讯
注册techradar Pro新闻通讯，以获取您的业务成功所需的所有首选 ，意见 ，功能和指导！取得成功！请与我联系我们的其他未来品牌的新闻，并代表我们值得信赖的合作伙伴或Sponsorsby提交您的信息 ，您同意您同意的条款和隐私政策 ，并年龄在16岁或超过16岁之间 。
在H200 V5系列的引擎盖下
该公司表示，Azure H200 V5 VM具有Microsoft的系统方法来“提高效率和性能” ，并包括八个NVIDIA H200 H200 Tensor Core GPU 。
微软说 ，这解决了一个不断增长的gap＆rsquo;对于企业用户计算功率。
这家技术巨头说，随着GPU的原始计算能力增长的速度比附加的内存和内存带宽更快 ，这为AI推断和模型培训创造了瓶颈 。
“ Azure ND H200 V5系列VMS的高带宽内存（HBM）增加到141GB ，而HBM带宽比上一代的Azure ND H100 V5 VMS增长了43％，HBM带宽增加到4.8 TB/s ， ” Microsoft在宣布中说 。
“ HBM带宽的这种增加使GPU能够更快地访问模型参数 ，有助于减少整体应用延迟，这对于实时应用（例如Interactive Adments）是关键的指标。 ”
此外，新的VM系列还可以在单个机器的内存中弥补更复杂的大型语言模型（LLM） 。因此 ，这可以提高性能 ，并使用户可以在多个VM上运行分布式应用程序时避免昂贵的开销 。
Microsoft认为，更好地管理模型权重和批量尺寸的GPU内存也是新VM系列的关键区别。
当前的GPU内存限制都会直接影响基于LLM的推理工作负载的吞吐量和延迟 ，并为企业创造额外的成本。
通过利用较大的HBM容量 ，H200 V5 VM能够支撑较大的批量尺寸，Microsoft表示 ，与以前的迭代相比 ，这大大改善了GPU的利用率和吞吐量 。
在早期测试中，与ND H200 V5 VM相比 ，我们观察到高达35％的吞吐量增加 ，而ND H100 V5系列则用于运行Llama 3.1 405b型号的推理工作负载（世界尺寸8，输入长度128 ，输出长度8 ，输出长度8，最大批量尺寸＆最大批量尺寸＆32; 32 for H100和96 for H200 for H200） 。
Techradar Pro的更多信息
AWS首席执行官：不需要大规模轮班 - 但是AI仍然可以带来更改，使初创企业更容易使用其Cloud Services We＆Rsquo; ve off off offer of to for to forling offer of the offers
本文来自作者[admin]投稿，不代表东辰文化立场，如若转载，请注明出处：http://mzwhys.cn/zhis/202506-1144.html
评论列表（4条）
我是东辰文化的签约作者“admin”！
希望本篇文章《Microsoft的新型H200 V5系列VM用于Azure的旨在增强GPU性能》能对你有所帮助！
本站[东辰文化]内容主要涵盖：生活百科,小常识,生活小窍门,知识分享
本文概览： 微软宣布推出新的Azure Virtual Machines（VMS），专门旨在提高基于云的AI超级计算功能。 新型H200 V5系列VM现在通常可用于Azure...