12月7日,AI创业公司燧原科技(Enflame)发布了第二代云端AI推理加快卡——“云燧i20”。

这是继本年7月的云端AI练习加快卡“云燧T20”之后,燧原科技新一代针对云端推理场景的AI加快产品。

云燧i20最大亮点便是具有迄今最大的AI加快卡存储带宽,经过HBM2e内存达到了819GB/s,可为云端推理事务供给高吞吐、低延时的功能。

现在,以语音辨认、图片辨认、视频内容分析为主的感知类使用,内容引荐、诈骗买卖阻拦等决议计划类使用,在云端大部分都是以实时在线的方法供给服务,一起神经网络的参数越来越多,数据带宽需求也越来越高,因而统筹高带宽、低推迟变得至关重要。

云燧i20搭载了新一代AI推理芯片“邃思”,根据第二代高功能核算中心和数据引擎,12nm工艺打造,经过架构晋级大大提高了单位面积的晶体管功率,算力可比美7nmGPU,并且本钱更低。

一起,全面支撑FP32、TF32、FP16、BF16、INT8的核算精度,其间单精度FP32峰值算力32TFLOPS,单精度张量TF32峰值算力128TFLOPS,整型INT8峰值算力256TOPS,比照上代云燧i10浮点、整型算力别离提高到1.8倍、3.6倍。

调配晋级后的软件栈“驭算TopsRider”,功能、开发功率、模型覆盖面都得到大幅提高。

经过引进通用高层图优化和大规模算子交融技能,释扩大容量片内存储和高带宽存储的利用率,模型均匀功能提高3.5倍,硬件算力利用率均匀提高2倍。

经过晋级的编程模型以及算子主动分片、主动生成技能,自定义算子开发功率翻倍,模型搬迁本钱大大下降。

此外,对动态性的支撑也大大增强,在检测、语音辨认、语义了解等场景更具竞争力。

据介绍,燧原科技专心AI范畴云端算力渠道,供给自主知识产权的高算力、高能效比、可编程的通用AI练习和推理产品,可广泛使用于云数据中心、超算中心、互联网、金融、才智城市等多个人工智能场景,已在互联网、金融、政务等多家客户的商业落地,并取得认可。

#人工智能#12nm