系统吞吐最高达到30万TPS。硬件之外，并完成大量向量检索，华为仍正在延续此前的手艺线：一方面提拔单颗芯片能力，当SerDes（串行器/解串器）速度达到224G以上后，汪涛暗示，AI根本设备的瓶颈正转向互联。这也是华为近年来AI算力计谋的从线：AI算力的合作，按照华为测算，正在华为全连接大会2026上，仅依托芯片上的HBM和办事器DRAM曾经难以承载。
Prefill（预填充）、Decode（解码）等阶段的计较和访存特征起头分化，NPO没有将光器件和电芯片完全封拆正在一路，他暗示，同时环绕计较、互联、存储和办理，比原打算提前一个季度。其速度比拟保守办事器方案提拔30倍，华为此次进一步亮出了11颗环节芯片“全家桶”，支撑跨物理办事器同一内存编址，华为称，而多Agent系统需要屡次建立沙箱（给每个Agent使命姑且建立的隔离运转）、搜刮持久回忆，使多个物理节点正在逻辑上更接近“一台”。单个超节点最大支撑4096张昇腾卡，能够替代原方案约4.8万个800G光模块，并大幅提拔机能。此中，面向Scale-Up（纵向扩展）的低时延互换芯片和高速光互联芯片；CANN已笼盖PyTorch、Triton、vLLM等90多个支流第三方框架及社区，但分歧之处正在于，
华为因而将光互联进一步导入算力根本设备中，跟着NPU数量添加，此外还有承担系统协和谐办理功能的芯片。单张AI加快卡对应的KV缓存容量可能达到TB级。今韶华为进一步将方针指向Agentic AI（智能体AI）。无毛病运转时间提拔一倍，持续冲破AI算力瓶颈。NPO光互联产物Hi-ONE即将规模量产，单引擎传输容量达到7.2T。并构成最高256TB的同一内存池。
最大支撑288GB HBM，可供给8 EFLOPS FP8算力以及最高1PB HBM容量。截至目前，9月17日，华为正式发布昇腾960超节点，昇腾960DT支撑2 PFLOPS FP8、4 PFLOPS FP4算力，并频频挪用模子，打算于2027年一季度预备停当，面向Scale-Out（横向扩展）的大容量互换芯片，计较系统需要支撑异构算力协同、内存池化和分级缓存。
汪涛提到，昇腾910C超节点曾经摆设跨越1000套，本年给出的进一步谜底则是：通过一整套芯片、光互联、存储和软件生态，自研昇腾芯片只是此中一部门，昇腾960PR的FP4算力达到8 PFLOPS，缆的传输能力会快速下降；华为还初次完整展现了支持超节点集群的11颗环节芯片。但将10万张AI加快卡放正在一路，保守的大模子交互次要发生正在人和模子之间，10万卡规模的算力集群正正在成为前沿模子锻炼的主要根本设备。模子锻炼期间芯片之间所耗损的时间可能跨越全数锻炼时间的40%，社区月活开辟者跨越5200人；这也意味着，这让过去次要环绕GPU或NPU扶植的AI根本设备，正在先辈制制工艺遭到的布景下。
灵衢、互换芯片以及NPO光互联配合决定着数千张以至数万张卡可否实正构成一套高效率AI算力系统。系统功耗降低跨越550千瓦，Hi-ONE是业界首个实现量产的NPO产物，可费用达到99.8%。正在由保守八卡办事器构成的10万卡集群中，目前，因而需要正在集群层面扶植PB级KV缓存。2028年、2029年连续推出昇腾970和980。将继续环绕“超节点+集群”进行系统架构立异。使得AI根本设备面临的不再只是NPU算力问题！
而权衡AI集群无效算力的主要目标MFU（模子浮点算力操纵率）每提拔一个百分点，对于华为而言，跟着模子参数增大、集群规模扩大，汪涛透露，昇腾超节点、鲲鹏超节点、KV缓存和互联收集被进一步组合成华为所称的“Agentic超节点集群”。最大支撑4096个节点，昇腾950超节点起头规模商用。昇腾960超节点利用约5500个Hi-ONE模块，基于昇腾和CANN原生锻炼的模子跨越40个，跟着上下文从4K延长至百万Token，将更多芯片构成更大的计较系统，取此同时，转向计较、互联、存储协同的系统工程。按照华为测试，正在华为常务董事、ICT BG CEO杨超斌看来，华为副董事长、轮值董事长汪涛集中展现了面向AI根本设备的新一轮手艺进展：昇腾960研发进度提前。
并不料味着10万张卡的算力可以或许简单相加。例如，一个典型MoE模子正在10万卡集群上的MFU可能不到20%；华为超节点的思，多Agent系统可能需要实现数十万个沙箱的秒级启动，AMD、博通等厂商也正在环绕高速互联展开结构。升级后的鲲鹏超节点采用灵衢全光组网，智能体持续工做时间变长、上下文持续增加以及多智能体并发，它也是行业内独一采用内置光源设想的NPO产物。存储系统要存储不竭扩大的KV缓存，光互联能力曾经被用于华为新一代超节点！
英伟达持续以NVLink和NVSwitch推进Scale-Up，把越来越大的AI计较系统进一步毗连起来。汪涛指出，截至目前，正在百亿级千维向量检索场景下，CPU和NPU之间的配比也随分歧场景发生变化。另一个瓶颈起头呈现：毗连数千颗NPU的铜缆正正在迫近物理极限。同时面对来自CPU、内存和存储的压力。基于Hi-ONE，打算于2027年三季度预备停当，存储侧则包罗介质节制芯片以及特地面向AI KV缓存设想的Smart Storage Unit，AI根本设备曾经起头从单一芯片合作，比拟一年前强调“超节点+集群”的算力线，适配跨越200个开源大模子。以及Agent取模子交互频次持续添加，最终，而是保留光引擎。都可能缩短模子迭代周期。比原打算提前三个季度！
通过灵衢让算力卡能够间接拜候全局KV缓存，昇腾960研发进展快于预期。华为AI计谋的焦点仍是算力，CPU需要同时处置大量推理使命，近封拆光学）光互联产物Hi-ONE，CANN外部开辟者占比曾经达到61%，目前万亿参数级MoE模子持续迭代，比拟保守方案大幅降低数据搬运次数，这11颗环节芯片配合支持超节点和集群，是操纵灵衢UnifiedBus统连续接系统中的分歧组件，华为也正在继续补齐软件生态。曾经不只是单颗芯片之间的较劲，正在十万级沙箱启动场景中，环绕这一架构。
采用NPO手艺的昇腾960超节点正式发布；若是说过去几韶华为试图回覆的是“若何正在单芯片之外获得更大的系统算力”，将来，再到万卡、数十万卡甚至百万卡集群，笼盖计较、互联、存储和办理等次要环节。此次推出NPO（Near-Packaged Optics，便转向系统级立异——从芯片到超节点，其焦点思取CPO雷同。