围观新MLPerfAI推理冠军 ,两家本土服务器 你选谁一起过?

(ChinaIT.com讯)有人说,服务器是互联网的灵魂。进入人工智能时代,AI服务器就是一切逻辑运行的根本。

 

根据IDC最新发布的2020H1《全球人工智能市场半年度追踪报告》显示,目前2020年上半年全球人工智能服务器市场规模达55.9亿美元。机构预测,未来AI服务器将保持高速增长,在2024年全球市场规模将达到251亿美元。

站在时代的风口上,实力厂商谁也不甘落后。因此,我们既看到了传统服务器厂商在AI领域阔步前行,也看到新锐力量在时代更替中的强势崛起。毕竟,你我都清楚知道:在大变局的情势之下,一切皆有可能。

 

作为衡量AI服务器的标准,目前,MLCommons每年组织2次MLPerf AI训练性能测试和2次MLPerf AI推理性能测试,为用户衡量设备性能提供权威有效的数据指导。而MLPerf是影响力最广的国际AI性能基准评测,备受业界关注和重视。

 
 
MLPerf再放新榜  两国产品牌均获超15项第一
 

美国太平洋时间9月22日10点,采用最新InferenceV1.1标准的MLPerf 推理测试成绩发布,总计超过10家国际知名服务器厂商的数十种产品参与了本次测试。

 

MLPerf推理V1.1 AI基准测试固定任务(Closed)包括数据中心(共16个项目)和边缘(共14个项目)两大场景。在数据中心场景下设置6个模型,分别是图像识别(ResNet50)、医学影像分割(3D-UNet)、目标物体检测(SSD-ResNet34)、语音识别(RNN-T)、自然语言理解(BERT)以及智能推荐(DLRM),其中Bert、DLRM和3D-Unet设有高精度(99.9%)模式。

 

除3D-UNet模型任务只考察Offline离线推理场景性能外,其他模型任务按照Server在线推理和Offline离线推理两种应用场景分别进行性能测试。边缘场景AI模型在数据中心场景的6个模型基础上删减了智能推荐(DLRM)模型,并增加目标物体检测(SSD-MobileNet)模型,所有模型均有Offline离线推理场景和SingleStream单流推理两个场景。
 

23日,浪潮宣布获得15项冠军;同日,宁畅宣布取得总共21项第一成绩。

 

浪潮在本次MLPerf竞赛获得15项全球第一,涵盖医学影像识别、自然语义理解、图像识别、语音识别、智能推荐、目标物体检测(SSD-ResNet34)以及目标物体检测(SSD-MobileNet)全部7项AI模型任务,从云到边全面领先。

 

浪潮持续提升数据中心场景下MLPerf各项任务性能成绩,即便在相同服务器配置下各项任务成绩依然得到较大改善,如图像识别(ResNet50)和语音识别(RNN-T)的模型性能分别较半年前的V1.0竞赛成绩提升了4.75%和3.83%。

 

宁畅X620G40与X640 G40人工智能服务器,在closed(封闭)赛段的3D-UNet99、ResNet-50与SSD-large等模型测试中,共取得21项第一成绩。

 

除X620 G40外,宁畅X640G40人工智能服务器,不仅整体AI性能取得全部16个推理模型第一成绩,平均单卡性能也取得12个模型的最好成绩。

 

值得注意的是,这是继7月份以来,浪潮和宁畅再次蝉联多项第一成绩,两者在AI服务器领域实力再次得到验证,不容小觑。

 
 
浪潮持续登高 宁畅从新锐到地位稳固
 

浪潮发布新闻中宣称:“浪潮连续第四次位居MLPerf™ AI基准测试冠军数量榜首。”

 

宁畅表示:“自2020年以来至今,宁畅AI服务器在参加的三次MLPerf推理与训练测试中,已取得了53项第一成绩,并打破AI服务器世界性能多项纪录。”

 

作为老牌和新锐服务器厂商,浪潮和宁畅自然不会放过任何一次评比得机会,搜索一下,我们能清晰地查阅到浪潮参赛得脉络。

 

2020年美国东部时间10月21日,全球备受瞩目的权威AI基准测试MLPerf公布今年的推理测试榜单,浪潮AI服务器NF5488A5一举创造18项性能纪录,在数据中心AI推理性能上遥遥领先其他厂商产品。

 

同日,宁畅AI服务器X640宣称:首登MLPERF,斩获30项AI性能世界第一,同GPU配置测试获16项世界第一。

 

2021年6月30日,国际权威AI性能基准评测平台MLPerf,发布了基于Training V1.0 的最新标准测试结果。

 

浪潮 NF5688M6和NF5488A5在固定任务赛道8大场景中一共收获4项冠军。

 

宁畅AI服务器X640 G40和X660 G45在固定任务(closed)赛道8大场景测试中收获两大场景世界冠军。

 

值得一提的是,请大家注意的是:浪潮 NF5688M6 获得DLRM 和 SSD 的单机训练性能第一,搭载的是500W功耗GPU,宁畅搭载的是400W功耗GPU。从这个角度上来说,同功率下,宁畅收获的同样是八大场景4个冠军席位。

 

根据公开资料,自2020年至今2021年7月,浪潮参与了MLPerf™ trainingv0.7, Inference v0.7, Inference v1.0, training v1.0四次竞赛。已经累计斩获41项冠军。

 

再加上这一次,获得15项冠军,浪潮4次总计获得56个第一。宁畅这次取得总共21项第一成绩,3次参赛总计获得53个第一,冠军总数浪潮略有胜出,但从单次平均获奖数量来看,宁畅技高一筹。难分伯仲。

 

我们不难看出,浪潮在AI服务器领域持续发力,而宁畅则被贴上行业黑马、独角兽厂商的标签。从成绩来看,宁畅在AI服务器领域,实力地位逐渐稳固。

 
 
MLPerf测试成绩的背后  代表的不仅仅是性能
 

28天前,国际权威数据中心媒体The Next Platform 针对全球权威AI基准测试MLPerf发布报道《MLPerf为何益于AI和你》。

 

报道中说:“当您采购设备时,往往担心三件事——性能、性价比和总体拥有成本。倘若没有衡量性能的基准,也没有对产品价格的合理判断,就不能估算总体拥有成本,更不知将预算投往何处。”

 

文章结论是:“这个问题也同样适用于运行AI 应用程序的服务器系统,这就是MLPerf 基准测试被看重的原因。”

 

如果我们回溯到最新的测试成绩来看:搭载8颗NVIDIA® A10 Tensor Core GPU宁畅X620 G40分别以3D-UNet99模型高低精度 179;ResNet-50离线模型97016;SSD-large在线、离线模型2500、2051的测试分数,取得2U人工智能服务器的五项第一成绩,成为本次测试中获得第一成绩最多的2U高度AI服务器。

 

这些分数背后的意义:3D-UNet得分意味着能够每秒完成170余次三维医学图像的分割,且精度高达99.9%;ResNet得分意味着能够每秒完成近10万张图片中各个事物类别的海量识别;SSD评分代表了离线场景下每秒可完成2500张图片中信息的分类、定位与精准检测、在线场景下每秒可应答2000余次实时目标检测的推理任务。

 

搭载10块NVIDIA® A30 Tensor Core GPU的宁畅X640 G40人工智能服务器,更将4U服务器机能发挥到极致。相比较其他搭载8块NVIDIA® A30 GPU的服务器,宁畅X640 G40不仅整体AI性能取得全部测试模型第一成绩,平均单卡性能也取得12项冠军。

 

再来看浪潮,浪潮取得此次MLPerf竞赛佳绩的三款AI服务器,分别是NF5488A5、NF5688M6及NE5260M5。

 

NF5488A5是全球首批上市的A100服务器,在4U空间支持8颗第三代NVlink互联的A100 GPU和2颗AMD Milan CPU,同时支持液冷和风冷散热技术;

 

NF5688M6是面向大规模数据中心优化设计的具备极致扩展能力的AI服务器,支持8颗A100 GPU和两颗Intel Icelake CPU,支持多达13张PCIe Gen4的IO扩展卡;

 

NE5260M5通过极致优化的信号和电源等系统设计,兼容高性能CPU和多种AI加速卡,通过减震降噪优化和严苛的可靠性测试,机箱深度430mm较普通服务器缩短近二分之一,满足空间受限的边缘计算场景部署需求。

 

2021年4月23日,MLPerf组织发布最新的MLPerf Inference v1.0结果,安培架构A100 Tensor Core GPU经过半年的优化,可将AI训练时间从数周缩短到几小时,显著加快了推理速度,无疑助力推动了整个AI行业的发展。

 

MLPerf的Benchmark证明了A100 GPU性能,但其不菲的售价也让许多公司需要量力购买。

 

当时,媒体报道:“更具性价比的NVIDIA A30(功耗165W)和A10(功耗150W) GPU也在MLPerf Inference v1.0中首秀。”

 

A30 GPU强于计算,支持广泛的AI推理和主流企业级计算工作负载,如推荐系统、对话式AI和计算机视觉。

 

A10 GPU更侧重图像性能,可加速深度学习推理、交互式渲染、计算机辅助设计和云游戏为混合型AI和图形工作负载提供支持。

 

A100 GPU第一的浪潮,A30、A10GPU第一的宁畅,你选择谁和你过日子?

 
 
结   语
 
随着国家加速新型基础设施建设,AI将会加速与交通、能源、制造等行业融合,进而撬动经济增长。AI服务器必将为千行百业提供新动能。
 
据IDC数据,目前中国AI服务器已经成为全球人工智能产业发展的中坚力量。2020年中国人工智能基础设施市场规模达到39.3亿美元,同比增长26.8%。其中,AI服务器市场规模占整体人工智能基础设施市场的87%以上,并持续保持高速增长。机构预测,中国AI服务器市场未来将占全球AI服务器市场的三分之一左右。
 
作为20多年ICT媒体老炮,我非常欣喜地看到浪潮持续创新,同样非常欣喜地看到宁畅在极短的时间内成为新的中坚力量。
 
未来已来。AI时代,你与谁一起前行?
ChinaIT.com 网站文章仅限于提供更多信息,不代表本网站立场观点。如需转载,请注明来源 。转载之文章来源于互联网,如有版权问题,请与我们联系:content@chinait.com。

扫码关注ChinaIT小程序,随时掌握最新IT资讯