九九在线精品视频_日本免费视频_日韩久久一区_在线免费观看日本一区_国语一区二区三区_欧美日韩美女视频_久久精品资源_91福利小视频_久久久综合色_天天艹天天操

【TechWeb】7月1日消息，按照計劃，6月30日百度正式開源文心大模型4.5系列模型。早在今天2月14日，百度就對這一開源做了預(yù)告。

此次百度開源的文心大模型4.5（ERNIE 4.5）系列模型包括47B、3B激活參數(shù)的混合專家（MoE）模型，與0.3B參數(shù)的稠密型模型等10款模型，并實現(xiàn)預(yù)訓(xùn)練權(quán)重和推理代碼的完全開源。

ERNIE 4.5模型在Apache License 2.0許可下提供。該許可允許商業(yè)使用，但須遵守其條款和條件。

此外，百度還開源了文心大模型4.5的開發(fā)工具包ERNIEKit，它提供模型訓(xùn)練和壓縮能力，包括預(yù)訓(xùn)練、監(jiān)督精細(xì)調(diào)整（SFT）、低秩適應(yīng)（LoRA）、直接偏好優(yōu)化（DPO）、量化軟件訓(xùn)練（QAT）和訓(xùn)練后量化（PTQ）技術(shù)。

目前，文心大模型4.5開源系列已可在飛槳星河社區(qū)、HuggingFace等平臺下載部署使用，同時開源模型API（應(yīng)用程序編程接口）服務(wù)也可在百度智能云千帆大模型平臺使用。

英特爾已在第一時間實現(xiàn)對百度文心4.5系列端側(cè)模型的適配和在英特爾酷睿Ultra平臺上的端側(cè)部署。

同時，百度也放出了文心大模型4.5開源系列的技術(shù)文檔。一起看看。

文心大模型4.5的三個關(guān)鍵創(chuàng)新

1、多模態(tài)混合專家模型預(yù)訓(xùn)練： 文心4.5 通過在文本和視覺兩種模態(tài)上進行聯(lián)合訓(xùn)練，更好地捕捉多模態(tài)信息中的細(xì)微差別，提升在文本生成、圖像理解以及多模態(tài)推理等任務(wù)中的表現(xiàn)。為了讓兩種模態(tài)學(xué)習(xí)時互相提升，我們提出了一種多模態(tài)異構(gòu)混合專家模型結(jié)構(gòu)，結(jié)合了多維旋轉(zhuǎn)位置編碼，并且在損失函數(shù)計算時，增強了不同專家間的正交性，同時對不同模態(tài)間的詞元進行平衡優(yōu)化，達到多模態(tài)相互促進提升的目的。

2、高效訓(xùn)練推理框架： 為了支持 文心4.5 模型的高效訓(xùn)練，我們提出了異構(gòu)混合并行和多層級負(fù)載均衡策略。通過節(jié)點內(nèi)專家并行、顯存友好的流水線調(diào)度、FP8混合精度訓(xùn)練和細(xì)粒度重計算等多項技術(shù)，顯著提升了預(yù)訓(xùn)練吞吐。推理方面，我們提出了多專家并行協(xié)同量化方法和卷積編碼量化算法 ，實現(xiàn)了效果接近無損的4-bit 量化和2-bit 量化。此外，我們還實現(xiàn)了動態(tài)角色轉(zhuǎn)換的預(yù)填充、解碼分離部署技術(shù)，可以更充分地利用資源，提升文心4.5 MoE 模型的推理性能?；陲w槳框架，文心4.5 在多種硬件平臺均表現(xiàn)出優(yōu)異的推理性能。

3、針對模態(tài)的后訓(xùn)練： 為了滿足實際場景的不同要求，我們對預(yù)訓(xùn)練模型進行了針對模態(tài)的精調(diào)。其中，大語言模型針對通用語言理解和生成進行了優(yōu)化，多模態(tài)大模型側(cè)重于視覺語言理解，支持思考和非思考模式。每個模型采用了SFT、DPO或UPO（Unified Preference Optimization，統(tǒng)一偏好優(yōu)化技術(shù)）的多階段后訓(xùn)練。

多項評測超Qwen3、DeepSeek-V3

ERNIE-4.5-300B-A47B-Base 在 28 個基準(zhǔn)測試中的 22 個超越了 DeepSeek-V3-671B-A37B-Base，在所有主要能力類別中均有領(lǐng)先的表現(xiàn)。相對于其他SOTA模型，在泛化能力、推理和知識密集型任務(wù)方面的顯著提升。ERNIE-4.5-21B-A3B-Base 總參數(shù)量為 210 億（約為 Qwen3-30B 的 70%），在包括 BBH 和 CMATH 在內(nèi)的多個數(shù)學(xué)和推理基準(zhǔn)上效果優(yōu)于 Qwen3-30B-A3B-Base。盡管ERNIE-4.5-21B-A3B-Base 更小，但模型效果突出，實現(xiàn)了效果和效率的平衡。

經(jīng)過后訓(xùn)練的 ERNIE-4.5-300B-A47B 模型，在指令遵循和知識類任務(wù)方面表現(xiàn)出顯著優(yōu)勢，其在 IFEval、Multi-IF、SimpleQA 和 ChineseSimpleQA 等基準(zhǔn)測試中取得了業(yè)界領(lǐng)先的效果。輕量級模型 ERNIE-4.5-21B-A3B 盡管總參數(shù)量減少了約 30%，但與 Qwen3-30B-A3B 相比，仍取得了具有競爭力的性能。

在非思考模式下，ERNIE-4.5-VL 在視覺感知、文檔與圖表理解以及視覺知識方面效果突出，在一系列基準(zhǔn)測試中表現(xiàn)優(yōu)異。在思考模式下，ERNIE-4.5-VL 不僅展現(xiàn)出比非思考模式更強的推理能力，還保留了非思考模式的強大感知能力。ERNIE-4.5-VL-424B-A47B 在各種多模態(tài)評估基準(zhǔn)中均取得了突出效果。其思考模式在 MathVista、MMMU 和 VisualPuzzle 等高難度基準(zhǔn)上具有明顯優(yōu)勢，并在以感知為主的數(shù)據(jù)集（如 CV-Bench 和 RealWorldQA）上保持了不錯的效果。盡管使用顯著少的激活參數(shù)，輕量級視覺語言模型 ERNIE-4.5-28B-A3B 在大多數(shù)基準(zhǔn)測試中，相較于 Qwen2.5-VL-7B 和 Qwen2.5-VL-32B，效果相當(dāng)甚至更優(yōu)。此外，文心4.5輕量級模型也同時支持思考和非思考兩種模式，提供了與 ERNIE-4.5-VL-424B-A47B 一致的功能。

圖注：ERNIE-4.5預(yù)訓(xùn)練模型的性能

圖注：ERNIE-4.5-300B-A47B后訓(xùn)練模型的性能

英特爾適配端側(cè)部署

此次文心系列模型的開源發(fā)布后，英特爾“第零日”即實現(xiàn)對文心端側(cè)模型的適配和在英特爾酷睿Ultra平臺上的端側(cè)部署。

英特爾宣布OpenVIN已經(jīng)對文心4.5的0.3B參數(shù)量的稠密模型成功適配，并在英特爾酷睿Ultra平臺上成功部署且獲得了優(yōu)異的推理性能。

OpenVINO工具套件是由英特爾開發(fā)的開源工具套件，旨在優(yōu)化和加速深度學(xué)習(xí)模型的推理性能，支持跨平臺部署并充分利用英特爾硬件資源。OpenVINO助力行業(yè)中廣泛的先進模型在英特爾人工智能產(chǎn)品和解決方案中的性能，應(yīng)用在AI PC、邊緣AI和更多人工智能的使用場景當(dāng)中。

從2021年開始，百度飛槳和英特爾OpenVINO進行深入合作，雙方進行深度適配，為開發(fā)者提供了更有效更便捷的AI開發(fā)工具鏈。（宜月）