2024年2月，OpenAI推出的文生视频模型Sora引发全球关注。由Sora生成的画质精良逼真，堪比影视CG效果，甚至有人预言它将颠覆电影工业。然而，Sora却选择了闭源策略，技术细节成为“黑箱”，令许多研究者望而却步。令人惊喜的是，仅三个月后，我们团队——北京大学科研团队就用中国开源方案打破了这一僵局。
命运的齿轮开始转动，我们与华为的“缘分”也就此开启。
中国开源方案破局：从算力瓶颈到全球关注
2024年鲲鹏昇腾开发者大会上，华为官宣和清华大学、北京大学、上海交通大学、浙江大学、中国科学技术大学共5所顶尖高校合作成立鲲鹏昇腾科教创新卓越中心，围绕前沿技术研发、创新课题资助、顶级专业竞赛支持等维度展开合作，以“培养卓越研究人才”为共同目标，为计算产业孵化根植中国的创新成果。
一个月后，北京大学与华为率先举办签约仪式，北京大学鲲鹏昇腾科教创新卓越中心（后文简称为“卓越中心”）正式落地，为视图生成、AI Agent、计算平台优化与创新、科学智能、工业仿真、生命科学等科研课题提供支持。彼时，我正带领团队筹备开源版Sora，但受限于算力和数据的要求，项目进展缓慢。
视频生成不仅需要处理高分辨率和高帧率的数据，还依赖于复杂的神经网络架构以及大规模且多样化的训练数据集，这些因素都对计算资源提出了极高的要求。视频生成每次实验和迭代优化都需要大量的GPU资源，算力成为项目推进的关键瓶颈。尽管团队在高校内已拥有一些算力支持，但在大模型时代，如果要实现类似Sora视频生成效果，原有的算力资源远远不够。
为突破算力瓶颈，我们团队与昇腾的合作一拍即合。借助北京大学鲲鹏昇腾科教创新卓越中心开展合作，仅用了短短一个月时间，Open-Sora Plan就在昇腾平台正式推出——该方案兼容文生图和文生视频，生成的视频精致流畅，足以媲美电影效果。
更重要的是，Open-Sora Plan采用完全开源模式，开发者可根据自己的需求定制模型，开发效率大幅提升。因此，Open-Sora Plan一经发布，立即引起国内外AI开发者的关注，迅速冲上GitHub Trending全球榜单第一，收获1.2万颗星标和14万余次访问。
从“试探”到“信赖”的双向奔赴
一项技术的成熟，既需要年轻科研力量奋力奔跑，也需要全行业的众擎易举。我在采访中曾多次强调：Open-Sora Plan项目的成功，不仅是技术层面的突破，更源于全球范围的合作。
迁移至昇腾生态后，团队首先感受到的，是昇腾打造的“性能卓越且易于使用”的AI基础软硬件平台——它为开发者提供了坚实的AI算力底座。目前，已有50多个业界主流大模型基于昇腾孵化及适配，可以说，昇腾已支撑起近一半的中国原创大模型。
经过体验，我们深切感受到昇腾生态的高度开放与包容：通过CANN（昇腾异构计算架构）的支持，昇腾实现高效能的并行计算，显著加快大规模数据集的处理速度，这对依赖海量计算的科研项目尤为重要；昇腾提供的接口类库简化了AI应用开发流程，降低了入门门槛，提高了效率；算子加速库进一步优化算法性能，为科研人员提供了更灵活的选择。更重要的是，昇腾全面支持业界各类框架、加速库及三方社区生态，并提供全流程迁移工具，可快速实现大模型和应用的适配，目前已支持ChatGLM、LLaMA2、GPT和BLOOM等业界主流大模型。
在接下来的训练中，团队发现昇腾的训练与推理能力也同样出色：使用torch_npu进行开发时，整体代码都可以无缝在昇腾NPU上完成训练和推理；需要进行模型切分时，昇腾MindSpeed分布式加速套件提供了丰富的大模型分布式算法及并行策略；而在大规模训练中，使用MindSpeed和昇腾硬件的稳定性远高于其他计算平台，可以连续一周不中断运行。
因此，短短一个月后，Open-Sora Plan便正式推出，获得了业内的极大认可。
当初在计算平台选型时，我们尝试多个平台，最终坚定选择了昇腾。从最初的“怀疑”到刚接触的“还行”，再到深入了解后，我发现昇腾的成长速度和生态丰富程度远远超出了之前的预期，深入合作后发现与Open-Sora Plan也比较适配，我们越用越顺手。
这种“顺手”源于产品的易用性，大幅降低了开发者门槛——团队成员从零开始接触昇腾，上手速度却相当快。在我看来，这得益于昇腾学习门槛的逐步降低，和社区支持的日渐丰富，而这正是昇腾生态不断完善的直接体现。
加速度进化：从V1.0到多模态创新
在昇腾生态的沃土上，Open-Sora Plan展现出了惊人的进化速度：
- 2024年4月初，Open-Sora Plan V1.0正式发布；
- 仅一个月后，在2024年5月迎来了V1.1版本的更新；
- 2024年10月底，V1.3版本发布，带来创新性的特性，推出了社区首个视频生成领域可行的稀疏化3D Attention——Skiparse Attention，该技术有效提升了模型处理时空信息的效率和准确性，进一步优化了视频生成质量和性能，同时延续并强化了对多种分辨率、多时长视频生成的支持；
- 2025年鲲鹏昇腾开发者大会（KADC 2025）上，我们团队联合兔展团队共同发布了Open-Sora Plan V1.5版本，并预告了V2.0统一架构的多种能力。相比上一代V1.3模型，V1.5模型的功能更加完善，性能显著提升，完全依托昇腾MindSpeed MM多模态大模型套件进行训练和优化，采用更先进的Diffusion Transformer结构SUV，突破了上一版本的计算复杂度和性能上限，实现了电影级的视频生成质量；V2.0版本则实现了从单模态到多模态的统一架构创新，基于昇腾通过统一框架实现视觉、语言、空间信息多源深度协同推理，增强视觉对复杂文本提示词的理解精准度，支持文本和单张图片生成动态视频，并支持检测分割、深度估计、风格迁移等多种下游任务。
这一系列突破，充分展现了昇腾在大模型时代的技术支撑能力和自主创新潜力。
产学研融合：从技术突破到人才闭环
从闭源到开源，从实验室到产业，Open-Sora Plan的故事，是高校深耕与产教融合的共同胜利——它证明：当高校科研与产业生态深度绑定时，技术突破便不再是“孤军奋战”，而是群体智慧的结晶。
这种合作模式达到了“1+1>2”的效果：
一方面，有力推进了创新科研成果孵化——Open-Sora Plan依托北大强大的科研力量，全力突破模型架构、算法创新等关键技术瓶颈。高校的科研团队凭借深厚的学术积累和前沿的研究理念，不断探索视频生成技术的新边界。同时，昇腾AI软硬件平台也为模型训练提供了坚实的后盾，保障了训练的稳定性与高效性，大大加速了视频生成技术的迭代速度。
另一方面，通过深度校企合作和有效的人才培养机制，成功培养出一批复合型人才，构建起“技术-人才-场景”的闭环。在联合实验室，学生既能接触到北大教授的学术前沿指导，又能参与企业真实项目开发。高校人才深度参与到项目之中，在实践中不断学习成长，不仅掌握了先进的模型技术，还了解了产业的实际需求，为产业储备了一大批“懂模型、能落地”的复合型人才，为产业的长远发展注入了源源不断的活力，真正实现从科研突破到产业应用的价值转化。
我们每天都与昇腾团队交流讨论，一起头脑风暴，共同开发代码和算法。他们的专业建议和底层算子开发支持，使我们的工作更加高效。我们会每周进行定期评审和会议讨论，确保项目的稳步推进。
如今，Open-Sora Plan已成为产教融合的标杆案例，其模式被复制到了智能制造、数字医疗、文创等多个领域。Open-Sora Plan源自高校实验室，两年间从闭源走向开源，既实现技术突围，也完成人才孵化，为校企联合积累了实践经验。如今，它正以开源精神与创新实践，为中国在AI时代的人才竞争探索独特路径。
大道不孤，众行致远。科技的未来，离不开基础技术的持续突破和人才的不断涌现，更离不开生态链各方的协同合作。而Open-Sora Plan正以开源初心，集结昇腾等多方力量，持续书写着技术与理想共生的故事。
清空
