【TechWeb】2025年8月27日，在第四届828 B2B企业节开幕式上，华为云晓示其Tokens办事全面接入CloudMatrix384超节点，通过xDeepServe架构转换，单芯片最高可终了2400TPS、50msTPOT的超高费解、低时延的性能，当先业界水平。

证明“大杂烩”上风，以系统本事打造先进算力

昔时18个月，中国AI算力需求呈现指数级增长。数据泄露，2024岁首中国日均Token的耗尽量为1000亿，截止本年6月底，日均Token耗尽量已突破30万亿，1年半的时辰增长了300多倍，响应了我国东谈主工智能掌握界限快速增长，也对算力基础才能的需求建议了更大的挑战。

在以往按卡时计费的基础上，本年3月，华为云进展推出了基于MaaS的Tokens办事。针对不同掌握、不同场景的性能和时延条目，还提供了在线版、进线版、离线版乃至尊享版等多种办事规格，为大模子、Agent智能体等AI器用提供了更为纯真、简短、低资本的先进算力。

而这一次，华为云的Tokens办事进展接入CloudMatrix384，并通过384原生的xDeepServe框架再次终明晰费解量的突破，从岁首的1920TPS赞成至2400TPS，TPOT仅为50ms。

大算力的构建不是单点突破，而是一个从硬件到软件、从算子到存储、从推理框架到超节点的全栈转换，充分依托了华为的“大杂烩”本事。

着手，CloudMatrix384 超节点以全新的计较架构转换，突破性能瓶颈，构筑领悟倾盆的算力根基； CANN昇腾硬件使能，优化算子与高效通讯政策，让云表的算力约略以最高效的风景被调用和组合；EMS弹性内存存储冲破AI内存墙，突破性地终了“以存强算”， 透澈开释了每一颗芯片的算力；xDeepServe 散播式推理框架则以极致差异架构Transfomerless让超节点开释出更高效算力。

“拆掉”Transformer，xDeepServe全面引发算力潜能

动作CloudMatrix384 超节点的原生办事，xDeepServe以Transformerless 的极致差异架构，把MoE大模子拆成可孤苦伸缩的 Attention、FFN、Expert三个微模块，特地于在一台CloudMatrix384上把“大模子”拆成“积木”，并分配到不同的NPU上同步处理任务。之后，再用基于内存语义的微秒级XCCL通讯库与FlowServe 自研推理引擎把它们从头拼成一个超高费解的LLM办事平台，即Tokens的“超高速活水线”。通过xDeepServe束缚调优，最终终明晰从非超节点单卡费解600tokens/s至超节点单卡费解2400tokens/s的赞成。

动作硬件加快计较的中间层，CANN包含多个算子库和和XCCL这种高性能通讯库等组件，共同支握AI模子的高效运转。其中，XCCL动作专为超节点上的大谈话模子（LLM）办事而量身打造的高性能通讯库，约略充分证明CloudMatrix384彭胀后的UB互联架构（UB fabric）的沿途后劲，为 Transformerless的全面差异奠定了带宽与时延双重硬底座。

而动作被重构的“去中心”式散播式引擎，FlowServe把CloudMatrix384 切成皆备自治的 DP 小组，每个小组自带 Tokenizer、扩充器、RTC 缓存与网络栈，皆备自强不断，作念到千卡并发也不“拥挤”。

现在，xDeepServe已终了MA差异，而下一步，将把Attention、MoE、Decode沿途改成目田流动的数据流，并把相似的拼图设施复制到多台超节点，让推理费解像铺轨一样线性延迟，最终或将视野费解量的更大突破，让每块 NPU 都高效运作，芯片永不列队，推理永不塞车。

聚焦主流大模子，束缚赞成模子性能

现在，华为云MaaS办事已支握DeepSeek、Kimi、Qwen、Pangu、SDXL、Wan等主流大模子及versatile、Dify、扣子等主流Agent平台。

华为云积蓄了大都模子性能优化、成果调优的时代和本事，从而终了“源于开源，高于开源”，让更多大模子不错在昇腾云上跑得更快更好。以文生图大模子来说，在幽微亏损画质的情况下，通过Int8量化、旋转位置编码会通算子等风景，在在华为云MaaS平台终明晰2倍于业界主流平台的出图速率，最大尺寸支握2K×2K。而在文生视频大模子上，不仅通过量化风景来提速，还通过通算并行等风景，裁减延迟与显存占用，大幅赞成视频生成速率，相较于友商终明晰3.5倍的性能赞成。华为云Tokens办事在性能、模子适配、成果调优方面的基础，也让更多企业约略快速诱骗和构建AI Agent。

而在掌握层，华为云已与当先100家伙伴联袂长远行业场景，共建丰富的Agent，在调研分析、践诺创作、贤慧办公、智能运维等领域贬责产业清苦，让企业更简短地拥抱AI转换，加快智能化。

如基于MaaS平台推出的本日东谈主才数智职工贬责有盘算，集成了先进的当然谈话处理、机器学习和深度学习时代，能终了与用户的智能交互和任务处理，显贵赞成办事效率与客户快意度；而北京方寸无忧科技诱骗的无忧贤慧公文贬责有盘算不错赞成公文处理效用，终了政企办公智能化转型。

以Token为能源的智能社会仍是到来体育游戏app平台，而华为云将以系统级转换本事和全新的Tokens办事构筑先进算力，助力五行八作加快落地AI。