详情
近日,美团发布并开源LongCat-2.0(龙猫)万亿级大模型,总参数1.6万亿,采用MoE混合专家架构,平均激活参数480亿,原生支持百万字超长上下文。该模型峰值动用5万张国产算力卡,全程未使用海外高端GPU,完成30万亿Token预训练与线上推理全链路作业,是国内首个纯国产算力支撑的万亿参数模型。团队自2023年启动国产算力适配,从千卡集群起步,攻克算子适配、分布式容错、通信优化等工程难题,通过故障自愈、显存调度优化,大幅降低集群故障率、提升算力利用率,匿名版本OwlAlpha此前长期稳居全球开发者调用榜单前列,综合能力对标国际一线模型。
我院认为,美团龙猫项目是国产算力生态的一次突破,证明了国产芯片集群具备支撑前沿大模型完整研发落地的工程能力,打破“万亿模型必须依赖海外GPU”的固有认知。该案例并非单一技术单点突围,而是企业、国产算力厂商协同共建软硬件适配生态的成功范本。消费互联网海量真实业务场景,为国产算力大规模实测、迭代优化提供天然试验场,为全行业国产化算力部署提供可复制工程经验,整体释放积极正向产业信号。
立足广东本地AI产业现有发展基础,该项目也为省内企业技术迭代带来启示。省内互联网、制造企业可借鉴美团“小规模集群起步、逐步扩容适配”的落地路径,先在现有国产算力资源上开展中小模型适配测试,再按需拓展算力规模;依托大湾区丰富的产业场景,企业可结合自身业务数据打磨垂直领域大模型,同步联动本地算力服务商联合调试软硬件;行业层面可参考其工程优化思路,持续打磨国产算力集群调度、容错相关工具链,稳步降低本土企业使用国产算力训练大模型的试错成本,循序渐进完善区域AI国产化应用生态。

