美团开源万亿参数大模型LongCat-2.0,训练全程由国产芯片完成

快讯摘要

美团正式发布新一代万亿参数大模型LongCat-2.0，并将对外开源。作为业界首个在五万卡国产算力集群上完成全流程训练与推理的万亿参数模型（总参数1.6T，平均激活约48B，动态范围33B~56B），LongCat-2.0从零开始预训练，原生支持1M超长上下文。 (来自华尔街见闻APP)。