Nvidia的Datacenter Chief与TheStreet谈论人工智能及其软件优势

参加Nvidia(NVDA)年度开发者大会的其中一件事就是Nvidia现在是一家软件公司,而不是图形芯片开发商。

从Nvidia服务器GPU业务负责人的角度来看,这种端到端的产品开发方法 - 包括开发GPU和硬件,创建与这些GPU协同工作的软件工具和库,以及与第三方开发人员合作有效利用这些GPU和工具/库的软件已经成为一种至关重要的竞争优势。

本周在Nvidia的GPU技术大会(GTC)上,我有机会与公司的加速计算副总裁Ian Buck交谈。Buck负责Nvidia的数据中心业务(涵盖服务器GPU及相关硬件和软件),该公司最近一个财年的收入为29亿美元。他也是Nvidia广泛采用的CUDA编程模型的创建者。

人工智能在云服务公司的采用

Nvidia仍然是加速器的主要提供者,用于处理训练AI /深度学习模型的艰巨任务,例如理解语音命令,检测照片中的对象以及确定要在搜索结果页面或个性化新闻源上显示的内容。而且,虽然这个领域更具竞争力,但该公司也是用于推理的加速器的主要提供商 - 运行训练有素的AI模型来对抗新数据和内容,例如由数亿消费者和办公室工作人员制作的数据和内容。

正如巴克指出的那样,运行大规模云数据中心的技术巨头(众所周知的超大规模)一直处于大规模部署AI的最前沿。“超大规模的人很快就跳了起来,”他说。“从逻辑上讲,因为他们有很多人才......他们也有很多数据,当然还有大量的计算能力。”

但由于在传统数据中心内部署了人工智能培训系统(如Nvidia的DGX系列),以及用于培训和部署AI模型的云服务的推出,人工智能的采用迅速蔓延。Buck指出,Uber和Yelp(YELP)等互联网/云服务提供商已经成为主要的采用者,使用人工智能来做一些事情,比如找出应该在商业网页上出现什么图像,或者正确组合乘坐共享驱动程序和一个地区的乘客。

企业AI采用

当被问及哪些企业垂直行业看到强大的人工智能采用时,巴克提到金融服务是Nvidia看到很多工作正在发生的另一个领域。他说,这是一个行业,公司长期投资计算以获得优势,而“人工智能是他们利用的另一种工具”。与此同时,石油和天然气行业长期以来一直使用具有GPU的高性能计算(HPC)系统来协助石油发现,现在正转向人工智能来帮助完成这一过程。

巴克补充说,医疗保健是一个“特别有趣”的领域。在这里,AI被用来做一些事情,比如帮助医生进行MRI和CAT扫描以确定最重要扫描的优先级,以及帮助放射科医生专注于扫描中的“热点”。

GPU的多功能性

随着Nvidia开始面临来自开发用于AI工作负载的定制芯片(ASIC)的公司的更多竞争- 开发它们的公司包括英特尔(INTC),Alphabet / Google(GOOGL)和几家初创公司 - 该公司一直在谈论其多功能性图形处理器。也就是说,他们不仅能够处理AI工作负载,还能够处理图形渲染,分析和传统HPC等领域的工作负载。

Buck建议Nvidia最近推出的Tesla T4 GPU基于该公司新的图灵GPU架构,加强了公司在多功能性方面的销售宣传。Buck说,Tesla T4可用于处理从培训到推理到视频转码,再到为虚拟桌面提供GPU资源的所有内容。谷歌已经开始向其云基础设施客户提供T4访问权限,而亚马逊(AMZN)本周宣布它计划也这样做。

Nvidia的推理优势

许多数据中心推理工作仍然使用服务器CPU(通常是英特尔)进行。在加速器领域,Nvidia面临来自英特尔和Xilinx(XLNX)开发的可编程芯片(FPGA)以及英特尔,谷歌和亚马逊等ASIC的竞争。

Nvidia致力于提升Tesla T4带来的性能提升,后者配备专用处理内核(称为Tensor Cores)来加速AI工作负载,帮助它获得推理份额。而巴克表示,如此多的培训工作依赖于Nvidia的GPU有助于其发展。

“通过对Nvidia GPU进行培训,您可以达到一定程度的准确性,”他说。如果公司依赖于通用处理器架构和软件堆栈,那么一旦部署了经过培训的AI模型进行推理,就可以更加轻松地保持这种准确性。他补充说,当部署的AI模型出错时(因为它们不可避免地会这样),依靠通用平台可以更容易地将数据发送回培训系统以帮助改进模型。

“我们经常看到的是对服务的不断重新培训,”巴克说。“今天部署的世界级人工智能不断重新培训。”

当被问及Nvidia的GPU推迟延迟性能时 - 也就是说,GPU需要对数据采取最短动作的时间--Buck提到Nvidia的GPU可以提供小于10毫秒(千分之一秒)的延迟。他补充说,虽然延迟(通常是FPGA的卖点)很重要,但支持各种推理工作负载的能力也很重要,因为公司为电力服务部署的AI模型数量不断增长。这是Nvidia的软件支持帮助它的领域。

在GTC周一的主题演讲中,Nvidia首席执行官Jensen Huang指出,微软(MSFT)Bing搜索引擎进行的简单语音查询搜索需要如何使用六种已部署的AI模型 - 其中包括语音识别,语言模型,文本到语音算法和用于确定要在网页上显示什么图像的算法。“所有这些[工作]必须在300毫秒或更短的时间内完成,”巴克指出。