美團(tuán)開源首款大模型:性能超DeepSeek-V3.1,編程比肩Claude4 Sonnet快訊
LongCat-Flash 還對(duì)常用大模型組件和訓(xùn)練方式進(jìn)行了改進(jìn),LongCat-Flash 模型在架構(gòu)層面引入,實(shí)現(xiàn)了計(jì)算效率與性能的雙重優(yōu)化。
【TechWeb】9月1日消息,美團(tuán)今日正式發(fā)布和開源了一款大模型——LongCat-Flash-Chat,并同步開源。
據(jù)介紹,LongCat-Flash 采用創(chuàng)新性混合專家模型(Mixture-of-Experts, MoE)架構(gòu),總參數(shù) 560 B,激活參數(shù) 18.6B~31.3B(平均 27B),實(shí)現(xiàn)了計(jì)算效率與性能的雙重優(yōu)化。
根據(jù)多項(xiàng)基準(zhǔn)測試綜合評(píng)估,作為一款非思考型基礎(chǔ)模型,LongCat-Flash-Chat 在僅激活少量參數(shù)的前提下,性能比肩當(dāng)下領(lǐng)先的主流模型,尤其在智能體任務(wù)中具備突出優(yōu)勢(shì)。并且,因?yàn)槊嫦蛲评硇实脑O(shè)計(jì)和創(chuàng)新,LongCat-Flash-Chat 具有明顯更快的推理速度,更適合于耗時(shí)較長的復(fù)雜智能體應(yīng)用。
在通用領(lǐng)域知識(shí)方面,LongCat-Flash在 ArenaHard-V2 基準(zhǔn)測試中取得 86.50 的優(yōu)異成績,位列所有評(píng)估模型中的第二名,超過DeepSeek-V3.1。
在部分benchmark上,比如Agent工具調(diào)用、指令遵循的表現(xiàn)超過DeepSeek-V3.1、Qwen3 MoE-2507,甚至比閉源的Claude4 Sonnet還要好。
編程能力方面,在 TerminalBench(終端命令行任務(wù)基準(zhǔn))中,以 39.51 的得分位列第二,僅低于公認(rèn)的“編程之王”Claude4 Sonnet(40.7分)。
美團(tuán)介紹,LongCat-Flash 模型在架構(gòu)層面引入“零計(jì)算專家(Zero-Computation Experts)”機(jī)制,總參數(shù)量 560 B,每個(gè)token 依據(jù)上下文需求僅激活 18.6B~31.3 B 參數(shù),實(shí)現(xiàn)算力按需分配和高效利用。為控制總算力消耗,訓(xùn)練過程采用 PID 控制器實(shí)時(shí)微調(diào)專家偏置,將單 token 平均激活量穩(wěn)定在約 27 B。
此外,LongCat-Flash 在層間鋪設(shè)跨層通道,使 MoE 的通信和計(jì)算能很大程度上并行,極大提高了訓(xùn)練和推理效率。配合定制化的底層優(yōu)化,LongCat-Flash 在 30 天內(nèi)完成高效訓(xùn)練,并在 H800 上實(shí)現(xiàn)單用戶 100+ tokens/s 的推理速度。LongCat-Flash 還對(duì)常用大模型組件和訓(xùn)練方式進(jìn)行了改進(jìn),使用了超參遷移和模型層疊加的方式進(jìn)行訓(xùn)練,并結(jié)合了多項(xiàng)策略保證訓(xùn)練穩(wěn)定性,使得訓(xùn)練全程高效且順利。
針對(duì)智能體(Agentic)能力,LongCat-Flash 自建了Agentic評(píng)測集指導(dǎo)數(shù)據(jù)策略,并在訓(xùn)練全流程進(jìn)行了全面的優(yōu)化,包括使用多智能體方法生成多樣化高質(zhì)量的軌跡數(shù)據(jù)等,實(shí)現(xiàn)了優(yōu)異的智能體能力。
通過算法和工程層面的聯(lián)合設(shè)計(jì),LongCat-Flash 在理論上的成本和速度都大幅領(lǐng)先行業(yè)同等規(guī)模、甚至規(guī)模更小的模型;通過系統(tǒng)優(yōu)化,LongCat-Flash 在 H800 上達(dá)成了 100 tokens/s 的生成速度,在保持極致生成速度的同時(shí),輸出成本低至 5元/百萬 token。
目前LongCat-Flash-Chat已在 Github、Hugging Face 平臺(tái)同步開源,同時(shí)也可以訪問官網(wǎng) https://longcat.ai/,與 LongCat-Flash-Chat 開啟對(duì)話。(果青)
1.TMT觀察網(wǎng)遵循行業(yè)規(guī)范,任何轉(zhuǎn)載的稿件都會(huì)明確標(biāo)注作者和來源;
2.TMT觀察網(wǎng)的原創(chuàng)文章,請(qǐng)轉(zhuǎn)載時(shí)務(wù)必注明文章作者和"來源:TMT觀察網(wǎng)",不尊重原創(chuàng)的行為TMT觀察網(wǎng)或?qū)⒆肪控?zé)任;
3.作者投稿可能會(huì)經(jīng)TMT觀察網(wǎng)編輯修改或補(bǔ)充。
