数字孪生引擎，打造企业高精数字地图
近年来，数字孪生、城市大脑等智慧中枢概念层出不穷，相关产业及标准化加速发展。数字孪生是综合运用感知、计算、建模等信息技术，通过软件定义，对物理空间进行描述、诊断、预测、决策，进而实现物理空间与虚拟空间的相互映射。
为了解决企业网络的运维难题，华为在企业网络中引入数字孪生技术，推出网络数字孪生引擎，通过该引擎构建物理网络实体及虚拟孪生体，二者可进行实时交互映射，打造虚拟网络数字世界。数字孪生的引入，能让用户通过与数字模型的交互，实现对真实世界的信息交互，从而衍生出全新的业务，推动网络由传统人工运维向智能运维的全生命周期网络演进，同时提供以服务客户和保障业务质量为核心的低成本试错、高质量运维和网络服务。
图1 数字孪生使能自动驾驶网络
构建数字孪生网络模型，需要经过以下过程：
- 首先需要收集网络相关的历史数据，包括网元存量数据、网络业务配置数据、各类性能数据和告警数据、日志等；
- 将收集到的原始数据通过数据仓库进行加工，建立多维多层模型，基于模型驱动自动生成网络拓扑；
- 每一时刻多维信息都会自动留存快照，记录网络现状和历史，支持历史按需回放，并可支持不同历史时刻快照对比，直观呈现网络多维变化趋势；
通过构建简单、易用、轻量级的数据底座，在整个网络数字化发展过程中提供基础能力保障。以数字地图还原ICT真相（拓扑、业务路径、路况），根据业务和应用意图，进行控制闭环，实现自优化。
华为网络数字孪生引擎主要围绕数据、建模、仿真、可视四个方向，结合图表征、SMC等数学和自治理论构建数字孪生引擎核心能力。
图2 数字孪生引擎核心能力
一、孪生数据
数字孪生引擎会收集企业客户所有ICT相关数据，并对这些多源数据进行全量映射后发布主题数据，利用局部数据反向生成全网流量数据。通过开放的数据采集框架，可以灵活的对接外部三方系统进行数据的自动采集和同步，并进行数据的清洗和加工，过滤冗余和冲突数据，最终将多源数据全面映射成唯一ID，挖掘出显式及隐式关系，形成网络数据资产，提升NetDevOps开发效率，提供带标签的数据集，支持算法验证。
数据处理流程如下所示：
1. 映射：多源（含3rd系统）数据进行全量映射。
图3 多元数据映射模型举例
基于值识别同一属性，利用模式匹配算法，挖掘同义数据映射关系，构建映射模型，实现全网多源数据的全量映射，去除冗余数据。
2. 增强：分析现网流量特征，生成动态采集策略，反向生成全网流量。
图4 数据处理增强流程示意
3. 压缩：对高频采集流量进行模式匹配，基于特征识别相似性进行数据压缩，效果达到3倍以上。
图5 流量数据模式匹配示例
针对流量数据的结构性、趋势性及对偶性特征，确定评估函数。通过基于时间序列聚类的模式挖掘算法和低损压缩算法，实现精度误差的5%范围内，减少70%的数据传输。
二、孪生建模
孪生建模是数字孪生引擎中的核心能力，也是考验数字孪生能否发挥价值的重要指标。大规模组网的海量数据，包括配置、路径、策略、流量等网络多层异构数据，因涉及层内自治、层间关联等问题，难于统一建模。华为自动驾驶网络数字孪生引擎，利用图论解决层内&层间数据关系的抽象建模；利用图表征解决网络与应用行为模型的特征挖掘；利用组合优化实现网络与应用的资源建模；利用图论和概率论实现网络自身可靠性的建模等等，最终解决海量异构多维数据的建模难题。通过网络KPI、日志、表项、应用流等多维异构数据采集、数据治理，最终实现原始数据向模型的准实时数据映射。
建模的目标主要是支撑网络全生命周期规建维优营的全场景自动化，所以需要针对不同的场景匹配不同的模型，核心的关键模型如下：
- 优化类模型：提供资源规划、容量提升、负载均衡等问题的确定解析框架
- 拟合类模型：突破统计\数理分析\AI关键技术，实现时序KPI拟合类建模
- 流量模型：构建多场景、多类型流量模型，实现低成本数据表征与高精度数据增强
- 网络资源模型：构建IP、协议、转发表资源模型，实现资源自治（自分配、自优化）
- 安全策略模型：基于多维标签模型的主客体访问控制模型，达成策略易部署、可验证
三、 孪生仿真
孪生仿真是基于形式化建模技术，通过构建大规模网络虚拟环境执行仿真评估，实现模型运行、校验，支持事件响应、状态数据传递等数字孪生虚拟环境仿真系统构建。孪生仿真解决了大规模复杂组网、应用的业务抽象建模及高还原度在线运行问题，以及形式化仿真验证技术在实际业务中的可靠性和准确性问题。
仿真的价值在于通过模型双向映射及形式化建模仿真等技术，实现复杂规模网络下的仿真及业务评估，零风险、低投入实现网络SLA保障；通过形式化仿真工具及模型校验技术，构建网络模型及模型实例双向映射孪生仿真基础机制，实现重保应用对应的组网/路径/应用数据大规模仿真。
孪生仿真的框架包括：模型定义及发布和仿真验证两大块，其上可以支撑多业务场景的仿真验证评估的需求。
- 模型定义&发布：通过模型定义，进行实例数据和模型互映射以及基于模型的实例数据生成；
- 仿真&验证：利用建模及仿真技术体系，实现模型的验证框架。
四、 孪生可视
孪生可视主要目标是解决最终用户的数据使用体验，通过可视化的方式将内部建模后的多维数据进行综合可视。
网络拓扑是运维的主要入口之一，传统网管把拓扑作为网络的可视化呈现手段，叠加以基本告警和状态信息，帮助监控人员概览网络。华为创新性地提出通过地图的方式进行整体的数据呈现，打造IT基础设施的高精数字地图。华为iMaster NCE自动驾驶网络管理与控制系统打造的数字孪生高精数字地图，目标是成为“网络驾驶的主屏幕”，将来自不同应用/环境等多重信息按照场景有机整合到主拓扑单屏中，通过多图层、多视角、多维度的方式将内部数据进行全方位无死角的展示，通过单一画布、无极缩放、标注定位等特性，为网络管理员带来一站式操作体验。
华为iMaster NCE通过对网元存量数据、网络业务配置数据、各类性能数据和告警数据、日志等持续不间断采集和存储，在智能管控单元中将物理网络数字化映射到数字孪生网络地图。
孪生可视基于模型驱动自动生成网络拓扑，基于智能布局快速还原物理网络拓扑结构，帮助运维人员快速识别网络、设备特征，提升运维效率。同时，每一时刻多维信息都会自动留存快照，记录网络现状和历史，支持历史按需回放，并可支持不同历史时刻快照对比，直观呈现网络多维变化趋势。
图6 数字孪生可视数据分类
IT系统不断增加的复杂度，导致IT系统越来越复杂，人工快速排障变得越来越难。传统的应用监控（APM）和网络监控（NPM）工具，可以发现某个函数调用失败或者某个链路性能下降，却难以在复杂的云环境下找到故障发生的根本原因。因此需要IT基础设施具备可观测性。高精数字地图通过在可观测性数据与直观的地图显示之间搭建桥梁，帮助用户快速理解这些数据。
图7 数字地图全栈多维可视化呈现
数字地图的核心能力包括以下几方面：
1．网络拓扑关系智能还原，取代传统人工打标签方式，利用AI计算在准确性、实时性和覆盖面等方面提供质的变化；
2．网络KPI实时叠加，借助告警压缩计算，通过地图直观呈现网络异常，让运维人员第一时间发现问题；
3．提供应用+网络全方位关联映射及可视化能力，帮助网络用户快速定界定位故障；
4．提供企业全栈可视，从用户到业务、业务到应用、应用到服务、服务到网络端到端一体化追踪的能力；
5．地图能力开放，延展用户的价值空间，适配更多场景；
6．一键网络导航，帮助运维人员快速定位问题应用程序之间的网络路径；
7．全网检索，借助内置的模型算法，可帮助客户快速找到关注的资源，如设备版本EOS风险查询；
最后，通过数字地图的形式将数字孪生的能力进行泛化，从而孵化更多更高级的价值场景，实现自动、自优、自治的自动驾驶网络高阶服务。
