清华大学电子工程系方璐教讲课题组和自动化系戴琼海院士课题组日前收尾了光运筹帷幄系统大范围神经网罗的高效精确训练。该斟酌效果以“光神经网罗全前向训练”为题开心情色五月天,于北京本领8月7日晚在线发表于《当然》期刊。
四房色播△论文发表截图
东谈主工智能大模子的迅猛发展与无为期骗,使得算力成为紧要的计谋持手与基础关节。长期以回电子芯片的算力增长撑持着AI模子范围的不停发展,关联词其高能耗亦带来了前所未有的动力挑战,新兴运筹帷幄范式的开荒与发展朝发夕至。以光为运筹帷幄绪论,以光的可控传播构建运筹帷幄模子,光运筹帷幄以其高算力顽劣耗特点大开了智能运筹帷幄的新赛谈,在后摩尔期间展现出稠密的后劲。
训练和推理是AI大模子中枢才能的两大基石,统筹兼顾。相较于推理而言,模子训练对算力更为急需,关联词电训练架构条款前向-反向传播模子高度匹配,这对光运筹帷幄物理系统的精确对皆提议了尖酸的条款,甚而梯度运筹帷幄难、离线建模慢、映射邪恶大,极地面遏止了光训练的范围与效力。
清华大学电子工程系方璐教讲课题组、自动化系戴琼海教讲课题组构建了光子传播对称性模子,摈弃了电训练反向传播范式,创始了全前向智能光运筹帷幄训练架构,研制了通用光训练芯片“太极-II”,解脱了对离线训练的依赖,撑持智能系统的高效精确光训练。“太极-II”的面世,填补了智能光运筹帷幄在大范围训练这一中枢拼图的空缺。
(总台央视记者 马力)开心情色五月天