网络自动化引擎，使能企业网络高效运维
随着移动互联网、云计算、5G、元宇宙等技术兴起，网络上的设备呈现出复杂多样的特点，既有像路由器、交换机这样的转发设备，也有像防火墙、NAT、负载分担及入侵检测这种实现特定功能的盒式设备。同时，网络虚拟化在加速进行，传统路由器、防火墙功能跑在通用的硬件设备上。越来越多样的网络设备类型，和变化越来越快的市场，对网络的自动化存在如下六类挑战：
网络自动化程度低，传统企业部署和调整过程涉及交换机、路由、安全和广域优化等多个网络技术领域，技术复杂度高，且由人工手动操作，面临耗时长、效率低、容易出错的问题。
网络自动化交付慢，面临着市场快速变化，网络新功能上线速度慢，无法快速适应业务创新，保持企业竞争力领先。
网络存在多厂商，企业客户为了减少单一厂商的供应风险，并降低成本，往往引入多厂商设备，但多厂商设备导致网络运维更加复杂，难度增大，人力维护成本增加，错误频出。
网络跨多个域，企业网络往往跨园区，数据中心等，不同的网络域需要由不同的运维人员负责，并要使用不同的脚本工具，缺少统一网络自动化能力，存在各种冲突和潜在的配置错误风险。
网络配置出错多，企业客户网络涉及领域包括金融、教育等方面，网络问题至关重要，传统网络自动化依赖人工经验变更，无预防和检验手段，近40%故障来源于人为错误，往往会造成重大事故。
企业网络运维的人员技能参差不齐，网络运维的用户更理解业务领域，缺少对底层复杂琐碎的命令行的了解。企业网络需要的是基于业务领域概念提供给用户编辑操作界面。
（一）自动化引擎整体架构
自动化引擎面向企业不同领域业务，提供面向业务的端到端自动化管理能力，提供开放的自动化编程平台，具备如下几个特征：
敏捷的自动化：支持网络设备能即插即用、Underlay/Overlay预配置能够自动生成并下发；支持模型驱动的“低码”网络自动化开放编程能力，用户可以快速交付新的网络功能。支持声明式面向网络资源的编排自动化能力。
多域多厂商自动化：支持管理不同域设备，如：路由器、交换器、防火墙、虚拟网络等；支持多域的不同场景自动化能力，如离线预配置和在线配置；支持管理多厂商设备，并支持三方设备驱动动态加载能力；
可靠的自动化：支持跨多个网络设备业务自动化的数据一致性事务保障能力，支持网络配置下发前的DRYRUN和仿真验证能力，支持网络配置下发后的配置回退和配置一致性校验和修复能力。
业务意图自动化：基于数据中心，园区，企业分支，安全等各个领域特点，抽象出面向各个领域意图的自动化能力，并提供全生命周期自动化编排框架能力，使能客户定义自己的业务意图。
企业网络自动化引擎基于如下自动化引擎架构支撑以上4个自动化特征：
图1 网络自动化引擎关键技术示意图
（二）网络自动化引擎关键技术
1.敏捷的自动化关键技术
华为iMaster NCE自动驾驶网络管理与控制系统支持“NO CODE”网络自动化开放能力，网络运维的人员可快速通过界面定义业务，分钟级别完成新业务定义；通过敏捷的设备“零接触”上线，降低海量设备上线运维成本。
通过开放“LOW CODE”网络自动化开放能力，降低研发自定义业务门槛，提升开发效率，使能客户网络功能以单位快速交付。
1.1零配置部署（Zero Touch Provisioning，ZTP）技术
以园区为例，园区网络包含大量路由交换设备，以及海量的终端设备。在传统管理模式下，这些设备都依赖于人工进行上线管理，并完成连通性配置以及策略配置，费时费力且“误配率”高。用户希望网络设备能即插即用、Underlay/Overlay相关配置能够自动生成并下发，终端设备上电后能自动纳管并根据实际情况下发合适的准入策略。
通过ZTP，用户可以基于规划阶段生成的设计方案自动生成网络配置，并在设备上线后根据设备款型、版本自动推送配套配置，完成配置校验、拨测验收等一系列操作。
终端和IOT设备上线后，根据系统内置的设备指纹库与AI匹配算法自动识别终端类型，并根据类型下发终端准入策略，实现海量的多类型终端快速上线。对于未能识别的终端设备，系统自动提取终端指纹并发起审批流程，人工审核后自动更新指纹库和算法模型，后续的同类型终端便可自动识别。
1.2 自动化开放编程框架
传统功能上线模式是用户提需求给厂商进行开发，需求交付周期长，客户期望快速交付新的功能，并且开放的能力简单易用。
解决方案是提供基于模型驱动的“低码”网络开放编程框架能力，使能用户编程，高效交付。提供动态不中断业务加载插件包的方式，不用升级平台，就可以快速添加和更新的网络功能。“插件包”包括使能业务创新的业务插件包，也包括屏蔽底层硬件差异的驱动插件包。
图2 网络自动化开放编程能力示意图
1.3 模型驱动的“低码”技术
“低码”技术包括“NO CODE”和“LOW CODE”，他们分别面向不同的用户群体提供了高效交付网络和功能交付能力。
对于业务知识丰富，有少量网络编程的网络运维人员，自动化引擎通过模型驱动、EASYMAP算法的方式减少用户编码（LOW CODE），使用户仅需关注业务核心逻辑，无需考虑一致性事务、南北向协议对接等复杂工程化功能。
对于业务知识丰富，但是缺少网络编程的网络运维人员，用户需要快速地组合和编排系统已经提供的网络原子服务，交付面向领域（Business）的业务。自动化引擎使能“NO CODE”技术包括：“Runbook”，面向过程编排的工作流技术。“层次化声明式模板”，面向网络领域对象的编排技术。
1.3.1 Runbook
“Runbook”，包括图形化拖拽的工作流“设计器”，以及全生命周期的工作流运行环境。“设计器”支持通过界面化拖拽和选择、填空方式进行工作流的编排，能够覆盖用户网络作业所需的编排逻辑和流程处理。“运行环境”包括如下过程：DRYRUN，仿真验证，最终配置发放执行。
图3 Runbook业务设计器示意图
1.3.2 层次化声明式模板
面对众多的网络原子服务的编排，传统的CUD（create、update、delete）的方式带来了运维的复杂度。通过声明式的编排方式，用户永远只需要定义自己需要的网络资源，而不需要开发CUD代码。 网络自动化编排引擎会自动计算出底层网络资源的差异，并下发到网络设备。这样的方式使网络运维呈现几何级别的复杂度降低。
“层次化声明式模板”除了支持声明式编程，还支持领域特有的资源关系的编排，比如在园区场景，站点之间存在父子和组合关系，“层次化声明式模板”提供继承和聚合的语义支持特定业务场景使用。
最后，“层次化声明式模板”支持图形化的拖拽方式对资源进行生命式的组合编排，使能客户零编码完成业务编排。
1.3.3 模型驱动
自动化引擎是基于YANG模型驱动方式运作，通过安装设备YANG，系统可自动生成南向协议报文、网元的北向接口以及网元管理配置界面，通过业务YANG能自动生成网络级北向接口和业务管理界面，从而大幅减少了API代码开发和界面开发过程。另外，基于YANG模型还能自动生成数据，支持入库和查询，减少了数据库开发过程。这些能力显著提升了软件的敏捷开发效率。另外，自动化引擎提供有EASYMAP机制，一方面代码开发量可减少50%，另一方面也降低了业务映射到代码的复杂性。
图4 模型驱动能力示意图
2. 多域多厂商的自动化关键技术
华为iMaster NCE自动驾驶网络管理与控制系统支持可插拔的全场景模型驱动的驱动框架，可以和协议解耦，和设备解耦，和领域解耦（数据中心、云、园区、企业分支等），支持敏捷适配不同场景的设备能力。
2.1 SND驱动框架
通过SND驱动（Specific Network Element Driver）框架使能网络设备能力快速在开放可编程平台开放SDK，并且通过MDCLI、MDXML、MDJSON等关键模型驱动转换技术，支持从YANG模型到设备CLI、NETCONF、RESTCONF、COAP等协议的自动化转换。通过把设备协议报文转换成系统中模型数据，能够把设备能力快速给业务开放，或者直接暴露给北向界面UI和北向编程RESTCONF接口。
并且SND驱动对于NETCONF设备支持模型在线协商能力，支持通过一款SND驱动适配多个款型和版本设备模型差异的能力。
2.2 GND驱动框架
SND驱动是将设备硬件SDK对外开放，GND驱动（Generic Network Element Driver）是屏蔽设备类型差异一层，支持配置下发、操作、状态、通知等各种GND开放能力，使得设备能力彻底和网络上层应用解耦。同时GND也是基于模型驱动的方式，能够将设备GND能力通过北向界面和接口自动化开放。
通过开放GND能力使能RUNBOOK和层次化模板上层编排框架进行业务快速编排。
2.3 设备配置一致性
设备在不同区域的配置模式差异巨大。比如在园区场景，因为设备在客户的楼道等复杂环境，楼道可能断电，客户希望设备离线时也能下发配置，减少运维的复杂度。而在金融等高可靠性场景，用户期望设备在线时才能配置，并在所有设备商成功才生效，如果有设备失败需要回退。自动化引擎提供了离线和在线配置一致性保障能力。
3. 可靠的自动化关键技术
网络运维的人员可以在自动化下发前进行配置预览、冲突检查、仿真校验；下发过程中进行安全事务性配置下发；下发过程后进行配置正确性持续保障，提供快速回退和数据一致性比较修复能力；全方位地保障自动化正确性，并快速修复。
3.1 配置下发前可靠性关键技术
3.1.1 DRYRUN
配置下发前，用户可以通过DRYRUN功能对于预先下发的配置进行预览和审核，发现潜在的问题和风险。DRYRUN的能力是利用系统2阶段提交事务能力，在第一阶段结束后，将用户的输入自动化运行得到当前事务将要下发到设备的配置结果。
3.1.2 仿真
在DRYRUN的基础上，可以将DRYRUN结果输入系统数字孪生底座。数字孪生技术为真实网络世界构造虚拟的沙箱的运行环境，通过数学方法模拟网络行为，提供网络自动化仿真验证能力，从而有效提升策略变更的可靠性和准确性，降低网络运维风险。
图5 自动化仿真验证示意图
自动化仿真验证包括两大能力，即CPV（Control Plane Verification）和DPV（Data Plane Verification），分别构建控制面和数据面的仿真验证能力，以“网络建模+形式化验证”的方法为策略自动化变更评估提供客观、可靠的定量依据。CPV对控制面路由的黑洞、环路、可达进行形式化求解验证；DPV完成数据面转发路径的形式化求解验证。两项技术能力的结合，可极大降低策略变更的风险，提升园区网络运维的效率。
3.1.3 数据源校验
数据源机制是在底层数据库层面记录不同数据的来源，可能来自不同业务，也可能来自设备人工配置，通过数据源机制，系统可以做到在事前校验业务之间冲突，和校验潜在设备上配置冲突。
图6 数据源机制示意图
3.2 配置下发过程中可靠性关键技术
3.2.1 事务机制
通过事务机制，系统保证下发给多台设备配置，要么全部成功，要么全部失败，能够有效降低运维的错误后业务中断的风险，并且简化用户运维操作。
3.3 配置下发后可靠性关键技术
3.3.1 配置一致性
自动化引擎支持全方位的配置一致性校验能力，不仅可以校验设备和控制器网元库的差异，还可以通过检验业务和设备还原配置差异， 同时支持多种修复方式。对于第三方通过命令行等方式绕开控制器配置设备，控制器也可以快速发现设备变更，自动化关联到对业务的影响。
图7 配置一致性示意图
3.3.2 配置历史和回退
自动化引擎可以记录用户北向的配置历史，也可以记录南向的配置历史。并且可以追溯北向配置历史、南向配置历史和设备之间的配置历史的关系。
一旦发现问题，用户可以选择某一条北向配置，然后把这条北向配置回滚掉，快速在事后进行修复。
图8 配置一致性示意图
4. 意图的自动化关键技术
通过对不同领域业务自动化需求的分析和抽象，自动化引擎提供了面向不同领域的意图服务，也向用户提供自定义意图的自动化编码框架，使能客户简化运维的复杂度，提供高可靠的自动化，快速使能商业成功。在数据中心场景，针对用户在规划、设计、部署阶段的使用场景，提供了21个意图，提升部署效率90%。
面对不同领域（园区、企业分支、数据中心、安全）自动化引擎提供了默认的领域相关意图服务，以园区策略场景举例：
园区的全场景无线网络覆盖后，极大地提高了员工的办公效率，园区的网络边界也在消失，这种无边界网络接入给园区网络管理和安全带来了极大挑战。传统通过IP地址和VLAN等信息来配置ACL保障安全的策略给网络管理员带来了非常大的困难。园区自动化领域抽象出业务随行的SDN集中控制解决方案，把网络资源和人的身份关联起来，网络资源自动跟人移动。通过统一策略配置简化网络运维，以安全组为基础，只需要基于用户身份定义安全组和组间策略，简化规划和部署工作量。
图9 业务随行自动化示意
