中国  

English  

你的位置:开云官网kaiyun皇马赞助商 (中国)官方网站 登录入口 > 新闻资讯 > 云开体育进步AI模子与存算一体芯片的适配度-开云官网kaiyun皇马赞助商 (中国)官方网站 登录入口

云开体育进步AI模子与存算一体芯片的适配度-开云官网kaiyun皇马赞助商 (中国)官方网站 登录入口

时间:2026-09-09 06:19 点击:134 次

云开体育进步AI模子与存算一体芯片的适配度-开云官网kaiyun皇马赞助商 (中国)官方网站 登录入口

10月12日上昼,在中国移动寰球配合资伴大会算力网罗结合立异分论坛上,“中央企业算力网罗立异结合体十大遵守”淡雅发布,中国移动“芯易”存算一体通用软件诡计引擎获胜入选“中央企业算力网罗立异结合体十大遵守”并在论坛发布。

存算一体期间通过器件、诡计范式、架构等方面的矫正,大幅进步算力和能效水平,同期缩短对先进工艺的依赖,为进步我国先进算力自主可控提供了一条可选旅途。中国移动聚焦存算一体软件生态薄弱痛点,自主研发“芯易”存算一体通用软件诡计引擎,结合清华大学、后摩智能、知存科技完成RRAM、SRAM、NOR-Flash三大期间门道芯片的兼容适配,无缝对接Pytorch和TensorFlow 主流AI框架,引颈产业加快构建存算一体软件生态。

在AI期间寰球算力需求呈爆炸式增长的布景下,存算一体期间打破冯·诺依曼架构瓶颈,为AI诡计提供高性能、低资本的算力措置决议。刻下存算一体多期间门道并行发展,存算一体软件存在软硬件强耦合及“孤岛式”开提问题,导致软件生态薄弱,同期AI模子与存算一体芯片适配难度大,濒临集成鸿沟受限、诡计遵守富有、精度鲁棒性低、模子编排复杂等问题,加上应用牵引不及,最终阻挠了存算一体期间的应用履行。

针对上述问题,中国移动自主研发“芯易”通用存算一体软件诡计引擎,立异提议了面向存算一体架构的模子编订量化、模子推理优化、协同精度优化、权重智能编排等优化算法,软硬协同推崇芯片性能,并在智能保举、端侧大模子、巡检机器东谈主等场景率先完成应用考据,加快存算一体期间进修。

在架构立异方面,中国移动提议面向异构存算一体芯片的通用诡计架构,进取兼容Pytorch、Tensorflow通用AI框架,向下适配RRAM、SRAM、FLASH三种主流期间门道的存算一体芯片,研发编译器、启动时、优化器等中枢组件,为存算一体芯片提供模子编排、部署、优化、推理等全经由处事,极大缩短模子部署、应用、移动的门槛,推动产业生态发展。

“芯易”EasyCIM存算一体通用软件诡计引擎架构图

在算法立异方面,针对存算一体阵列集成鸿沟受限、器件维持位宽低的问题,提议一种面向存算一体架构的模子编订量化算法,基于剪枝、量化和局部残差战略,将语义分割网罗参数从近2800万个精简至不跳跃50万个,近一半模子参数使用超低比特暗示,大幅缩短模子尺寸与诡计量。

面向存算一体架构的模子编订量化算法结构及斥逐

针对存算一体诡计遵守富有、模子适配难的问题,提议一种面向存算一体芯片的模子推理优化算法,通过引入多分支参数结构、诳骗大卷积核替代级联小卷积核并结合结构重参数化战略,进步AI模子与存算一体芯片的适配度,优化后的ResNet50网罗在存算一体芯片的推理速率进步40%、精度进步1.5%。

面向存算一体架构的模子推理优化算法结构及斥逐

针对存算一体器件、电路非理思特点导致精度鲁棒性低的问题,提议一种面向存算一体芯片的AI模子协同精度优化智商,在模子考研阶段引入存算一体芯片上的推理斥逐进行反向传播并更新模子权重,基于该智商优化的图像识别算法准确率进步10%。

面向存算一体架构的模子协同精度优化算法框架及斥逐

针对存算一体芯片模子编排复杂度高、阵列诳骗率低的问题,提议一种面向存算一体架构的模子权重智能编排算法,基于序列到序列的指针网罗生成AI模子分层排序,编排遵守比拟传统东谈主工蜂群算法(ABC)进步10倍以上。

面向存算一体架构的模子权重智能编排算法结构及斥逐

在应用立异方面,中国移动基于“芯易”存算一体通用软件诡计引擎收尾了智能保举、端侧大模子、巡检机器东谈主等一系列存算一体立异应用,牵引应用落地。

在RRAM方面,中国移动结合清华大学将RRAM存算一体向量检索芯片应用到智能视频保举场景,基于存算一体软件诡计引擎收尾视频向量在VD200 RRAM存算一体向量检索芯片的部署和查询,维持百万级向量部署和检索,视频保举调回处事混沌率达2万次/秒,检索性能达到传统处事器4倍。

基于RRAM存算一体芯片的视频保举应用

在SRAM方面,中国移动结合后摩智能将存算一体芯片应用到大模子端侧推理场景,基于“芯易”存算一体软件诡计引擎收尾ChatGLM-6B、Qwen-7B、LLAMA2-7B大言语模子在M30 SRAM存算一体芯片上的优化推理,推理速率达15Tokens/s,比拟传统架构诡计芯片token生成速率进步1倍、诡计能效进步50%。

基于SRAM存算一体芯片的端侧大模子推理当用

在NOR-FLASH方面,中国移动结合知存科技将存算一体芯片应用到智能巡检机器东谈主场景,基于“芯易”存算一体软件诡计引擎收尾轻量化语音AI模子在WTM2101 NOR-FLASH存算一体芯片的协同精度优化和自动化编排,维持语音放手机器东谈主启停、移动、转向,进步巡检机器东谈主功课遵守50%以上。

基于NOR-Flash存算一体芯片的巡检机器东谈主应用

中国移动存算一体团队深耕期间立异,依托自主研发的"“芯易"”存算一体通用软件引擎及核默算法,已酿成权贵学术与产业影响力,在《IEEE/CAA Journal of Automatica Sinica》(IF=11.8)《IEEE Transactions on Mobile Computing》(IF=9.2)等海外顶级期刊,以及ISCA、UbiComp、EMNLP等海外顶级会议发表论文10余篇;累计苦求发明专利70余项、软著10余项。关系遵守先后入选2024中关村论坛紧要科技遵守、2023年“科创中国”先导期间榜、2023年世界互联网大会当先科技遵守,并斩获2024数字中国立异大赛智能科技赛谈一等奖、2024年第二届寰宇先进诡计期间立异大赛二等奖,得到业界高度认同。与此同期,团队积极联动产业生态,结合后摩智能、知存科技等存算一体芯片厂商,在先进诡计产业发展定约牵头鼓励存算一体通用软件用具链参议,于2024年11月定约第二届整体会议上完成《存算一体软件用具链参谈论述》结项及遵守发布,为存算一体软件架构与接口圭臬化拓荒注入要津推力。

将来云开体育,中国移动将抓续攻关存算一体软硬件协同期间,拓展基于存算一体的立异应用场景,积极鼓励存算一体软件圭臬拓荒,抓续引颈产业加快构建存算一体软件生态。

]article_adlist--> 海量资讯、精确解读,尽在新浪财经APP

官网:www.smuse.vip

邮箱:6b4bbbb1@outlook.com

联系:22607145549

地址:新闻资讯电子工业园6191号

Powered by 开云官网kaiyun皇马赞助商 (中国)官方网站 登录入口 RSS地图 HTML地图


开云官网kaiyun皇马赞助商 (中国)官方网站 登录入口-云开体育进步AI模子与存算一体芯片的适配度-开云官网kaiyun皇马赞助商 (中国)官方网站 登录入口