选择区域/语言
- Australia - English
- Brazil - Português
- China - 简体中文
- Europe - English
- France - Français
- Germany - Deutsch
- Ireland - English
- Italy - Italiano
- Japan - 日本語
- Kazakhstan - Қазақ тілі
- Kazakhstan - Русский
- Kenya - English
- Korea - 한국어
- Malaysia - English
- Mexico - Español
- Mongolia - Монгол
- Netherlands - Nederlands
- New Zealand - English
- Poland - Polski
- Romania - Română
- Singapore - English
- South Africa - English
- Spain - Español
- Switzerland - Deutsch
- Switzerland - Français
- Switzerland - Italiano
- Switzerland - English
- Tanzania - English
- Thailand - ภาษาไทย
- Turkiye - Türkçe
- Ukraine - Українська
- United Kingdom - English
- Uzbekistan - Русский
- Uzbekistan - O’zbek
- Vietnam - Tiếng Việt
- Global - English
在大模型推理快速发展的今天,众多被企业和开发者广泛接受的推理引擎、框架,如SGLang、vLLM等,大多出自海外团队。然而在中国,xLLM团队希望走出一条“难而正确”的道路——从零开始打造国产大模型推理引擎。
选择挺进这一技术领域“无人区”,为国产芯片打造专属的“动力引擎”,背后是xLLM团队对行业趋势的深刻洞察。当大模型从最初的“能用”走向“规模化可用”,推理延迟与吞吐效率成为企业落地的核心瓶颈。高企的算力成本与国产算力的全面登场,使得“如何把算力应用到极致”从一个单纯的优化问题,升级为决定应用能否商业落地的现实问题。xLLM所做的,正是为国产芯片打造一套真正高效的开源推理引擎。
xLLM在国内AI芯片中,最先在昇腾上进行了深度适配与优化,覆盖了大语言模型、多模态、文生图及生成式推荐等核心AI场景,并在关键模型上取得高吞吐、低延迟的性能突破。在多项实测中,其性能表现显著优于vllm等开源适配方案。
然而,技术突破只是第一步。xLLM团队很快意识到一个更深层的挑战:再优秀的国产推理引擎,如果缺乏足够多“会用、善用”它的开发者,就难以真正融入产业生态。当前,国产芯片生态存在一定程度的碎片化现象,开发者普遍习惯于海外框架,切换成本高昂。这不仅是技术问题,更是人才培养问题。
正是在这一背景下,xLLM团队开启了与华为中国区人才发展团队的合作。之所以找到这个团队,是因为他们运营着800多个华为ICT学院。ICT学院是华为为高校师生传递最新ICT技术和知识的校企合作项目,目前已与全球110多个国家和地区的3,500多所高校合作,累计协同培养学生逾180万名。十多年来,华为ICT学院在高校产教融合方面持续耕耘,近年来更是与国内计算机领域的名师合作,将昇腾、CANN技术融入到高校计算机核心课程中。
双方的诉求在这一交汇点高度一致——xLLM需要让更多高校开发者接触并掌握基于昇腾平台的大模型推理技术,华为则希望通过昇腾全栈生态培养国产AI计算人才。因此,双方一拍即合,决定以华为ICT学院和ICT大赛为纽带,将xLLM的推理引擎技术与华为覆盖全球的人才培养网络深度结合,共同探索一条“训、赛、选”紧密结合的国产AI人才培养新路径。
合作路径:以赛促学、以学促用
第一步,用大赛检验真功夫
2025年底至2026年初举办的第十届华为ICT大赛“挑战赛”,是xLLM与华为合作的重要舞台。本届挑战赛围绕人工智能与高性能计算深度融合,要求参赛学生深入理解华为昇腾、鲲鹏的软硬件设计,并在规定时间内完成HPC算法、AI模型、算子等的性能优化。这是目前国内首个将国产超算和智算平台相结合的性能和优化赛道。
该赛道在第九届华为ICT大赛首次成功开启。到了2025年的第十届赛事,来自28所头部高校的47支高校参赛队加入到了这项赛事的角逐中,最终,在高难度赛题、极短比赛时间的压力下,浙江大学、中国科学技术大学、北京邮电大学的超算队淬炼而出,凭借扎实的系统优化和工程功底获得了一等奖。而获奖学生在答辩过程中展示出他们对于昇腾、鲲鹏系统级优化的能力,得到了华为和xLLM专家的高度肯定。这种“以赛选才、以用留才”的模式,正在构建一条从校园到产业的国产AI人才成长通道。
第二步,借大赛平台发掘人才
优秀的人之所以优秀,是因为他们从不满足现状,始终追求进步。挑战赛决赛结束仅一周,获得一等奖的北京邮电大学代表队,自发组织了所有赛题单项奖的获奖高校,开启了线上复盘和优化经验分享。
参赛学生也邀请了xLLM和华为的技术专家上线指导。在交流中,即便只是大二、大三的本科生,他们在解决性能瓶颈、设计优化思路以及对计算机体系结构的深入理解上,也证明了他们的实至名归。
这场交流也让xLLM团队从中发现了多名具备优秀潜质,并且追求卓越的高校学生。目前,社区准备吸纳这些学生进联合团队,或者在xLLM社区中将其发展成为核心开发者。
图1:xLLM基于CANN全栈能力深度优化
第三步,通过训练营,持续培养人才
以赛促训,以训促学,是华为ICT学院和ICT大赛多年来持续发掘和培养优秀人才所积累下来的经验。
2026年华为中国区人才发展团队,联合华为计算产品线生态团队和xLLM团队开启了暑期开发者专项活动,希望借助暑期时间培养更多熟悉昇腾、CANN,且对xLLM开源项目有浓厚兴趣的开发者,不断为社区繁荣输送新鲜血液。
在合作中,xLLM团队与华为人才发展团队联合推动将xLLM推理引擎的实践内容推入高校训练营以及小学期/短学期课堂。由xLLM核心开发者亲自担任讲师,在现场带领学生开展代码实战。通过这种方式,学生得以在真实的国产算力平台上,完成从理解原理到解决问题的全流程演练,加深了对本土AI技术的实际工程认知。
图2:xLLM与昇腾联合开展开发者活动,共建开源生态
未来展望:让更多高校“跑”起国产推理引擎
面向未来,xLLM团队与华为人才发展团队在生态建设上有着更大的想象空间。
在竞赛层面,随着第十一届华为ICT大赛的筹备与升级,xLLM团队会进一步参与到赛题设计中,计划将推理引擎优化、算子迁移等产业真实挑战融入赛题,xLLM的深度参与将使挑战赛赛题更加贴近国产AI落地的实际需求。
在生态层面,双方计划推动xLLM走进更多高校,通过训练营、黑客松、开源贡献等多种形式,激发青年开发者对国产AI基础设施的热情。目前,xLLM社区也已联合清华大学、北京大学、中国科学技术大学等高校及硬件厂商,持续研究和突破大模型落地中的性能、成本以及应用场景瓶颈。
让更多高校学子掌握这项技术,意味着未来能有更多产业场景受益于国产AI推理能力。
结语:坚信的力量
xLLM团队坚信,与华为的携手不是一场简单的技术合作,而是一场面向长远的国产AI人才战略。
从推理引擎的调优到开发者生态的建设,从ICT学院的课堂教学到ICT大赛的实战竞赛,双方正在构建一个多维度的人才培养网——让更多高校学子在国产算力平台上学习、实践、成长,最终成为国产AI计算生态的中坚力量。
国产AI的根基在技术,未来在人才。xLLM与华为ICT学院的携手,正是要让每一位青年开发者都能自信地说:我们能够用自己的技术,解决自己的算力问题,构建属于自己的计算生态。这条路虽然艰难,但正确且值得。
- 标签: