近年来摩尔定律“失速”,使得通用CPU的性能增长边际成本急剧上升。有研究数据表明,现在CPU的性能年化增长率(面积归一化之后)仅有3%左右。然而,人们对计算的需求依然爆发性增长。
在此背景下,包括人工智能(AI)芯片在内的专用计算芯片陆续登上历史舞台,发光放彩。眼下,以数据为中心的专用处理器“DPU”正成为专用计算芯片的“新贵”:美国芯片巨头英伟达公司甚至将其定位为数据中心继CPU和GPU之后的“第三颗主力芯片”,掀起了行业热潮。
和CPU、GPU“三足鼎立”,DPU真有如此之大的潜力吗?它的应用场景有哪些?我国会抓住DPU发展机遇吗?近日,由中国科学院计算技术研究所主编,中科驭数(北京)科技有限公司、中国计算机学会集成电路设计专业组、计算机体系结构国家重点实验室联合编写的行业首部《专用数据处理器(DPU)技术白皮书》(以下简称《DPU技术白皮书》)发布。结合上述问题,《中国科学报》联系采访了主要编写人员一探究竟。
搭载DPU的加速卡(渲染图)中科驭数 供图
给CPU“减负”,为数据中心“降‘税’”
“DPU最直接的作用是作为CPU的卸载(offload)引擎,其效果是给CPU‘减负’。”《DPU技术白皮书》主编、中国科学院计算技术研究所研究员鄢贵海告诉《中国科学报》,作一形象比喻,DPU提供了数据中心一把“杀鸡”的工具,节省的是CPU这把“牛刀”,以释放CPU算力留给更需要它的业务负载。
接管CPU的网络协议处理任务,就是一个很好的例子。鄢贵海说,比如在数据中心仅线速处理10G的网络,大概就需要一个8核高端CPU一半的的算力,而如果是40G、100G甚至更高速的网络,性能开销更高。
云计算巨头亚马逊云服务(AWS)形象地称之为“数据中心税”——还未运行业务程序,先接入网络数据就要占去许多计算资源。
“DPU诞生的使命就是承载网络虚拟化、硬件资源池化等基础设施层服务,以释放CPU的算力到上层应用。”《DPU技术白皮书》编委会成员、中科驭数高级副总裁张宇解释说,将“CPU处理效率低下、GPU处理不了”的负载卸载到专用的DPU,就能实现对“数据中心税”的抵消,从而有助于提升整个计算系统的效率、降低整体系统的总体拥有成本。
张宇介绍称,DPU主要处理网络数据和IO数据,并提供带宽压缩、安全加密,网络功能虚拟化等功能。“这些可以说是离我们普通用户每天感知到的各种应用最远的功能了。但是这些基础功能是我们日常应用能更高效、更安全、更实时的保障。”
DPU的三个中文名
业界对DPU中的“D”有三种说法,因此DPU就有三个中文名。
一种是“Data”,DPU被称为“数据处理器”;一种是“Datacenter”,DPU译作“数据中心处理器”;一种是“Data-centric”,对应地,DPU可叫作“以数据为中心的处理器”。
中科院计算所研究员、中国计算机学会集成电路设计专业组副主任李晓维向记者解释说,这三种说法,乍一看意义差不多,但各有侧重:“数据处理器”既区别于信号处理器、基带处理器等“信号”处理,也区别于专门处理图形图像类数据的GPU,而是把各类时序化、结构化的数据放在核心位置;“数据中心处理器”只是偏重于描述DPU的应用场景,但显然它无法指代所有“服务于数据中心的处理器”;第三种说法则体现了DPU的设计理念,体现了计算架构从“以控制为中心”向“以数据为中心”的演进。
“以上三种关于DPU的说法,从不同角度反映DPU的特征,都有一定的可取之处,我们认为可以作为不同的三个维度来理解DPU的内涵。”李晓维说道。
“随着‘软件硬件化’成为常态,异构计算的潜能将因各种DPU的普及而彻底发挥出来。”《DPU技术白皮书》编委会成员、中科驭数联合创始人兼CTO卢文岩认为,新一代的DPU不仅可以作为运算的加速引擎,还具备“控制平面”(即追求数据处理功能的覆盖面)的功能,能更高效的完成网络虚拟化、IO虚拟化、存储虚拟化等任务,彻底将CPU的算力释放给应用程序。
“可以说,DPU的出现,将让各行各业的业务层数字化应用更全面、更流畅,更绿色。”卢文岩说。
DPU技术研发孕育已久
从市场规模角度来看,根据Fungible和英伟达的预测,用于数据中心的DPU量级将达到和数据中心服务器等量的级别。
“服务器每年新增大约千万量级,每台服务器可能没有GPU,但一定会有一颗或者多颗DPU,好比每台服务器都必须配网卡一样。”鄢贵海告诉《中国科学报》,服务器每年新增大约1500万台,每颗DPU以1万元计算,这将是千亿量级的市场规模。
在这个千亿量级市场,国际传统芯片巨头如英伟达、英特尔、Marwell、博通等厂商,都在积极布局DPU产品研发。
这些芯片巨头的布局并不意外,他们或有智能网卡研发基础(如博通)继续延伸技术触角,或通过并购专用加速芯片公司(如英伟达、英特尔)补充其在DPU领域的技术能力。相比它们,更值得一提的是,亚马逊旗下的AWS、中国的阿里云两大云计算巨头,早已注意到数据中心开销问题,并已有了良好实践。
据《DPU技术白皮书》显示,2013年,AWS研发了Nitro产品,将为虚拟机提供远程资源、加密解密、故障跟踪、安全策略等服务程序的资源开销,全部放到专用加速器上执行,“轻量化Hypervisor+定制化硬件”的上场一举节省30%CPU资源。几乎在同期,阿里云也着手研发“神龙架构”(X-Dragon系统),以硬件化的MOC卡统一支持网络,IO、存储和外设的虚拟化,如今“神龙架构”已经更迭到了第4代。
“可见,DPU其实在行业内已经孕育已久,从早期的网络协议处理卸载,到 后续的网络、存储、虚拟化卸载,其带来的作用非常显著,只不过在此之前DPU‘有实无名’,现在是时候迈上一个新的台阶了。”鄢贵海对《中国科学报》说道。
可喜的是,国内一些围绕DPU技术的创业公司也逐渐崭露头角。除了参与编写《DPU技术白皮书》的中科驭数之外,还有云豹智能、星云智联、芯启源、云脉芯联等新近成立的科技创业公司,展现出良好势头。
以中科驭数为例,这家创始团队来自中科院计算所的初创企业,在DPU理论基础、数据中心架构方面有着深刻理解,工程实现经验也因一些来自亚马逊、赛灵思、华为等核心骨干的加入,得到了很好的积累。2019年,中科驭数完成第一代DPU芯片的流片,预计将于2022年推出第二代DPU芯片“K2”。
与国外厂商“逐鹿中原”
“我们认为DPU的潜力确实是巨大的。”在鄢贵海看来,从技术发展的角度来看,DPU的出现有一定的必然性——上层应用对于算力的需求在过去5年急剧的增长,使得DPU的应用场景很多,它将广泛分布在5G、云计算、大数据、数据中心和边缘计算等领域。
而从工业和信息化部今年发布的《新型数据中心发展三年行动计划(2021-2023年)》中,鄢贵海更是看到了新型算力芯片难得的历史发展机遇。
该计划明确提出要加快提升算力算效水平,“推动CPU、GPU等异构算力提升,逐步提高自主研发算力的部署比例”“加强专用服务器等核心技术研发”“树立基于5G和工业互联网等重点应用场景的边缘数据中心应用标杆”等要求和措施。
“虽然国内厂商在芯片产品化的环节还相比国外一线厂商还有差距,但是在DPU架构的理解上还是有独到的见解的,而且我国目前在数据中心这个领域,无论是市场规模、增速还是用户数量,相较于国外都有巨大的优势。”鄢贵海认为,国内厂商有望充分利用这一“应用势能”,加快发展步伐,在DPU这个赛道与国外厂商逐鹿中原。
但挑战与机遇并存。
“目前要解决DPU标准化应用,还存在一定挑战。”鄢贵海对《中国科学报》解释道,由于数据中心本身的复杂性,各大厂商一方面采用商用现货组件(即COTS)来构建系统,追求低成本,一方面又设法分层服务化,打造面向不用类型客户的标准化产品,但除此之外的所有技术实现几乎都是各家“八仙过海,各显神通”——如AWS有Nitro,阿里云有MOC。
“有的厂商强化IO能力、有的关注路由转发、有的重视存储卸载、有的关注安全加密,不一而足。”鄢贵海说,而上层负载不同,也必然对底层架构有各异的需求,这也许是目前DPU标准化面临的最大的挑战。
热门