AI推理加速落地
推出专门用于AI推理的DGX H100计算平台。
人工智能推理的作用越发重要,Chatgpt目前已被整合到各项领域中(如:Microsoft365),在此次大会上,Nvidia宣布推出用于AI推理的DGX H100计算平台(性能提高9倍、网络速度提升2倍),
微软 为首个大规模用户,并将提供对DGX H100的早期访问。
新推出4个推理平台(L4、L40、H100 NVL和Grace-Hopper),针对各种快速兴起的生成式 AI应用程序进行了优化。
①L4:提供增强的视频解码和转码功能、视频流、增强现实、生成AI视频等,可实现比CPU高120倍的AI 视频性能,同时能源效率提高99%
②L40:主要用于图像生成,并对图形和支持AI的2D、视频和3D图像生成进行了优化。③H100 NVL:主要用于大型语言模型部署,非常适合大规模部署ChatGPT等大型LLM。④Grace Hopper:主要用于图形推荐模型、矢量数据库和图形神经网络等领域.
硬件进展顺利
Hopper H100目前已全面投入生产,并部署在许多
数据中心,包括来自 Microsoft Azure、谷歌、
甲骨文 等的数据中心。
新推出DPU BlueField-3。(a)在此次大会上,
英伟达 宣布将新推出BlueField-3,该产品上一代DPU产品。多出两倍的Arm处理器内核和更多的加速器,因此它可以将工作负载的运行速度提高八倍。(b)BlueField-3可以跨云、高性能计算、企业和加速 AI用例卸载、加速和隔离工作负载。(c)目前Oracle Cloud Infrastructure 正在标准化 BlueField-3以运行其DGX Cloud
推出AI Foundations服务
伴随着生成式AI技术的发展,AI正在重塑千行百业,英伟达在此次大会上新推出的AI Foundations服务,使得下游客户可在"英伟达依靠自己的数据制定的基础模型",构建定制的生成式AI应用程序。目前该产品主要用于N
VIDIA NeMo语言服务、NVIDIA Pacass 影像服务与 NVIDIA BioNeMo 生物学三大领城。
新推出多种软件库&商业化进展速度
除了深度学中使用的训练模型所需的计算外,Nvidia还拥有数百个库来帮助各种行业和模型,在本次大会上,英伟达介绍了以下软件库的进展和内容:
①英伟达的量子平台(cuQuantum),可用于帮助量子计算领域的研究人员。
②用cuLitho加速芯片创新。在此次GTC大会上,公司新推出cuLitho,可用于
半导体光刻工艺的图案和掩膜的创建,通过该产品,可将两周的工作量缩减至8小时内。
③推出DGX Cloud,使得自定义AI模型的访问更加民主化。(a)在会议上,Nvidia发布了DGX Cloud,该产品是一种基于DGX平台的混合云培训即服务。通过将DGX功能导入云端,相关企业可立即访问"为生成AI训练高级模型"所需的基础设施和软件。(b)DGX Cloud目前可在Oracle Cloud和Equinix上使用,并将进入MicrosoftAzure和GoogleCloud。商业化进展不断加快。
④宣布与
医疗器械公司Medtronic plc合作,开发了GI Genius AI辅助结肠镜检查系统。
③Omniverse目前已经得到广泛部署,下载量超过30万次。微软和Nvidia将合作将Omniverse直接集成到Microsoft365中,其中包括Teams、OneDrive和SharePoint,使用户能够直接从业务应用程序访问metaverse功能。