当前位置: 当前位置:首页 > 热点 > 摩尔线程携手无问芯穹:0到1端到端大模籽实训在国产GPU初次突破 正文

摩尔线程携手无问芯穹:0到1端到端大模籽实训在国产GPU初次突破

2024-10-17 07:39:04 来源:五月披裘网 作者:热点 点击:310次

摩尔线程散漫无问芯穹宣告,线程携手芯穹训国双方在克日正式实现基于国产全功能GPU千卡集群的无问3B规模大模籽实训。该模子名为“MT-infini-3B”,到端到端大模在摩尔线程夸娥(KUAE)千卡智算集群与无问芯穹AIStudio PaaS平台(https://cloud.infini-ai.com/aistudio)上实现为了功能晃动的籽实磨炼。本次实训短缺验证了夸娥千卡智算集群在大模子磨炼场景下的产G初次坚贞性,同时也内行业内当先开启了国产狂语言模子与国产GPU千卡智算集群深度相助的突破新范式。

MT-infini-3B模子磨炼总历时13.2天,线程携手芯穹训国经由精度调试,无问完玉成程晃动磨炼不中断,到端到端大模集群磨炼晃动性达到100%,籽实千卡磨炼以及单机比照扩充功能超过90%。产G初次当初,突破实训进去的线程携手芯穹训国MT-infini-3B功能在同规模模子中跻身前线,比照在国内干流硬件上磨炼而成的无问其余模子,在C-Eval,到端到端大模MMLU,CMMLU等3个测试集上均完乐成用争先。

MT-infini-3B功能呈现

无问芯穹散漫独创人兼CEO夏立雪呈现:“国内大模子与国产芯片的软硬件协同发展,终纵指标是构建一个成熟的生态系统。无问芯穹正在打造‘M种模子’以及‘N种芯片’间的‘M×N’中间层产物,实现多种大模子算法在多元芯片上的功能、一律部署。摩尔线程是第一家接入无问芯穹并妨碍千卡级别大模子磨炼的国产GPU公司,而‘MT-infini-3B’的磨炼是行业内初次实现基于国产GPU芯片从0到1的端到端大模籽实训案例。”

摩尔线程独创人兼CEO张建中呈现:“无问芯穹在夸娥千卡智算集群上实现的从零开始的大模子磨炼,不光是对于摩尔线程技术实力的有力认证,更是实现为了国内大模子磨炼的国产化闭环。摩尔线程夸娥千卡智算集群以全功能GPU为底座,提供软硬一体化的全栈解决妄想,具备高兼容性、高晃动性、高扩充性等综合劣势,咱们被动于成为AGI时期大模子磨炼坚贞坚贞的先进根基配置装备部署。”

此前,摩尔线程与无问芯穹已经告竣深度策略相助。无问芯穹大模子开辟与服务平台“无穹Infini-AI”以及摩尔线程大模子智算千卡集群夸娥已经实现系统级融适量配,该平台可能灵便调用夸娥的集群能耐以实现大模子的磨炼、微调与推理使命。未来,双方还将睁开更多适配与测试,增长国产大模子技术的快捷发展与运用宽泛,为中国家养智能工业的发达发展贡献实力。

作者:娱乐
------分隔线----------------------------
头条新闻
图片新闻
新闻排行榜