“All in AI”產(chǎn)品戰(zhàn)略關(guān)鍵一步 安謀科技Arm China發(fā)布“周易X3”NPU IP快訊
在‘All in AI’產(chǎn)品戰(zhàn)略的指引下,致力于為基礎(chǔ)設(shè)施、智能汽車(chē)、移動(dòng)終端、智能物聯(lián)網(wǎng)等場(chǎng)景打造端側(cè)AI計(jì)算效率新標(biāo)桿,實(shí)現(xiàn)從模型部署到開(kāi)發(fā)調(diào)試的全鏈路支持。
【TechWeb】11月20日消息,日前,安謀科技Arm China正式推出新一代NPU IP“周易”X3,作為公司“All in AI”產(chǎn)品戰(zhàn)略下的首款重磅產(chǎn)品,“周易”X3基于專為大模型設(shè)計(jì)的最新DSP+DSA架構(gòu),在性能、能效與軟件生態(tài)方面實(shí)現(xiàn)全面突破,致力于為基礎(chǔ)設(shè)施、智能汽車(chē)、移動(dòng)終端、智能物聯(lián)網(wǎng)等場(chǎng)景打造端側(cè)AI計(jì)算效率新標(biāo)桿。
安謀科技Arm China產(chǎn)品研發(fā)副總裁劉浩表示:“在‘All in AI’產(chǎn)品戰(zhàn)略的指引下,我們將持續(xù)加大投入,以前瞻性視野整合頂尖研發(fā)資源,秉持開(kāi)放合作理念,為生態(tài)伙伴提供業(yè)界領(lǐng)先的從硬件、軟件到服務(wù)的端到端解決方案,全力賦能伙伴的產(chǎn)品創(chuàng)新和商業(yè)化落地。”
硬件架構(gòu)全面升級(jí),為大模型量身打造
公開(kāi)數(shù)據(jù)顯示,“周易”X3采用最新的DSP+DSA架構(gòu),專為大模型而生,在計(jì)算效率、帶寬、精度適配、任務(wù)處理四大維度上實(shí)現(xiàn)了跨越式提升,精準(zhǔn)解決端側(cè)AI大模型運(yùn)行難題,打造端側(cè)AI計(jì)算效率的新標(biāo)桿,是其“All in AI”戰(zhàn)略的硬核體現(xiàn)。
其單Cluster最高支持4個(gè)Core,擁有8~80 FP8 TFLOPS算力且可靈活配置,單Core帶寬高達(dá)256GB/s。相較于“周易”X2產(chǎn)品,“周易”X3的CNN模型性能提升30%~50%,多核算力線性度達(dá)到70%~80%。在同算力規(guī)格下,AIGC大模型能力較上一代產(chǎn)品實(shí)現(xiàn)10倍增長(zhǎng),這得益于16倍的FP16 TFLOPS、4倍的計(jì)算核心帶寬、超過(guò)10倍的Softmax和LayerNorm性能提升共同驅(qū)動(dòng)。
借助這些優(yōu)化,端側(cè)大模型推理將更高效:在Llama2 7B大模型實(shí)測(cè)中,“周易”X3 NPU IP在Prefill階段算力利用率高達(dá)72%,并在安謀科技Arm China自研的解壓硬件WDC的加持下,實(shí)現(xiàn)Decode階段有效帶寬利用率超100%,遠(yuǎn)超行業(yè)平均水平,滿足大模型解碼階段的高吞吐需求。
軟件平臺(tái)開(kāi)放易用,開(kāi)發(fā)效率顯著提升
周易”X3搭載全新升級(jí)的Compass AI軟件平臺(tái),實(shí)現(xiàn)從模型部署到開(kāi)發(fā)調(diào)試的全鏈路支持:
兼容TensorFlow、PyTorch、ONNX、Hugging Face等主流框架與模型庫(kù);
支持超160種算子與270多種模型,覆蓋LLM、VLM、VLA、MoE等主流架構(gòu);
提供GPTQ量化、動(dòng)態(tài)Shape支持、Token級(jí)量化等先進(jìn)優(yōu)化手段;
核心組件如Parser、Optimizer、Linux驅(qū)動(dòng)等已開(kāi)源,支持自定義算子與編譯流程,助力開(kāi)發(fā)者實(shí)現(xiàn)白盒化部署。
安謀科技Arm China產(chǎn)品總監(jiān)鮑敏祺指出:“‘周易’X3遵循‘軟硬協(xié)同、全周期服務(wù)與成就客戶’的產(chǎn)品準(zhǔn)則,提供從硬件、軟件到售后服務(wù)的全鏈路支持,以前瞻性設(shè)計(jì)、專業(yè)團(tuán)隊(duì)交付與深度服務(wù)投入,全面助力客戶產(chǎn)品成功與商業(yè)化落地。”
多場(chǎng)景落地,推動(dòng)端側(cè)AI普及
新一代“周易”X3 NPU IP將端側(cè)智能的邊界拓展至更廣闊的應(yīng)用場(chǎng)景,面向基礎(chǔ)設(shè)施、智能汽車(chē)、移動(dòng)終端、智能物聯(lián)網(wǎng)四大領(lǐng)域,精準(zhǔn)匹配當(dāng)前爆發(fā)的端側(cè)AI需求。
基礎(chǔ)設(shè)施:支持加速卡中CNN與大模型的高效推理;
智能汽車(chē):為ADAS自動(dòng)泊車(chē)、IVI智能交互提供高能效AI算力;
移動(dòng)終端:在AI PC與AI手機(jī)中實(shí)現(xiàn)超分渲染與AI Agent流暢運(yùn)行;
智能物聯(lián)網(wǎng):在智能IPC、智能網(wǎng)關(guān)等設(shè)備中實(shí)現(xiàn)本地化低延遲推理。
“周易”X3 NPU IP的發(fā)布,標(biāo)志著安謀科技Arm China“All in AI”產(chǎn)品戰(zhàn)略的正式開(kāi)啟。安謀科技Arm China以“AI Arm CHINA”為戰(zhàn)略發(fā)展方向,為千行百業(yè)智能化轉(zhuǎn)型提供更強(qiáng)IP“核芯”動(dòng)力。(御風(fēng))
1.TMT觀察網(wǎng)遵循行業(yè)規(guī)范,任何轉(zhuǎn)載的稿件都會(huì)明確標(biāo)注作者和來(lái)源;
2.TMT觀察網(wǎng)的原創(chuàng)文章,請(qǐng)轉(zhuǎn)載時(shí)務(wù)必注明文章作者和"來(lái)源:TMT觀察網(wǎng)",不尊重原創(chuàng)的行為T(mén)MT觀察網(wǎng)或?qū)⒆肪控?zé)任;
3.作者投稿可能會(huì)經(jīng)TMT觀察網(wǎng)編輯修改或補(bǔ)充。
