華為即將發(fā)布AI推理領(lǐng)域突破性成果：或能降低對HBM內(nèi)存依賴快訊
這項成果或能降低中國AI推理對HBM（高帶寬內(nèi)存）技術(shù)的依賴，提升國內(nèi)AI大模型推理性能，HBM的高帶寬和大容量允許GPU直接訪問完整模型。
快科技8月10日消息，據(jù)國內(nèi)媒體報道，華為將于8月12日在2025金融AI推理應(yīng)用落地與發(fā)展論壇上，發(fā)布AI推理領(lǐng)域的突破性技術(shù)成果。
據(jù)透露，這項成果或能降低中國AI推理對HBM（高帶寬內(nèi)存）技術(shù)的依賴，提升國內(nèi)AI大模型推理性能，完善中國AI推理生態(tài)的關(guān)鍵部分。
HBM（High Bandwidth Memory，高帶寬內(nèi)存）是一種基于3D堆疊技術(shù)的先進DRAM解決方案，多層DRAM芯片垂直集成，顯著提升數(shù)據(jù)傳輸效率。具有超高帶寬與低延遲、高容量密度、高能效比等優(yōu)勢。
AI推理需頻繁調(diào)用海量模型參數(shù)（如千億級權(quán)重）和實時輸入數(shù)據(jù)。HBM的高帶寬和大容量允許GPU直接訪問完整模型，可避免傳統(tǒng)DDR內(nèi)存因帶寬不足導(dǎo)致的算力閑置。對于千億參數(shù)以上的大模型，HBM可顯著提升響應(yīng)速度。
當(dāng)下，HBM已成為高端AI芯片的標(biāo)配，訓(xùn)練側(cè)滲透率接近100%，推理側(cè)隨模型復(fù)雜化加速普及。
然而，其產(chǎn)能緊張和美國出口限制倒逼國內(nèi)廠商探索Chiplet封裝、低參數(shù)模型優(yōu)化等替代方案。
1.TMT觀察網(wǎng)遵循行業(yè)規(guī)范，任何轉(zhuǎn)載的稿件都會明確標(biāo)注作者和來源；
2.TMT觀察網(wǎng)的原創(chuàng)文章，請轉(zhuǎn)載時務(wù)必注明文章作者和"來源：TMT觀察網(wǎng)"，不尊重原創(chuàng)的行為TMT觀察網(wǎng)或?qū)⒆肪控?zé)任；
3.作者投稿可能會經(jīng)TMT觀察網(wǎng)編輯修改或補充。
