6G AI和通信的性能要求和评估方法

1 引言

随着人工智能（Artificial Intelligence，AI）技术，特别是深度学习和大型预训练模型的快速发展，AI将走进千行百业，成为人们日常生活不可或缺的一部分。广泛部署的移动通信系统或许是AI和通信融合的最佳选择。作为统一的基础设施，移动通信系统能为所有联网的人和机器提供无处不在的AI服务，这也将推动移动通信系统的变革。

为促进下一代移动通信系统的开发，国际电信联盟无线电通信部门（International Telecommunication Union–Radio communication Sector，ITU-R）明确定义了IMT-2030的六大典型使用场景。除了增强IMT-2020已有的三个场景外，IMT-2030还纳入了两项超越通信的服务——AI和感知。这两项服务将由6G网络提供，对系统的新能力和性能指标提出了要求，因此需要对相关技术、性能要求和评估方法展开研究。然而，近年来大部分研究工作只聚焦于技术，在性能要求和评估方法层面鲜有涉及。

因此，本文重点研究6G AI和通信的性能要求和评估方法，旨在为下一代移动通信系统的设计提供指导，为用户提供有保障的AI服务。在接下来的章节中，我们会先介绍IMT-2030框架中定义的“AI和通信”场景，重点关注这一新场景在6G中有哪些典型的AI服务和能力要求。随后梳理相关性能指标的现状、介绍设计原则和性能要求的定义（这些性能要求分为定性和定量两种）。最后，提供相应的评估方法和示例，并给出总结。

2 AI和通信

作为下一代移动通信系统，6G旨在通过提供人工智能即服务（Artificial Intelligence as a Service，AIaaS），实现普惠智能。对于无线网络中广泛分布的AI大模型而言，训练将会更简单、分发更迅速、推理更精准。利用分布式智能终端提供的数据和资源，6G可提供AI模型训练服务，其逻辑是先在分布式终端上进行本地训练，然后终端之间通过网络进行模型交互，这种方式可以有效地保护用户数据隐私。此外，针对资源受限的终端，6G可以联合调度通信资源和AI资源，为其提供高精度推理服务。因此，AIaaS成为6G的一个典型应用场景。本节将介绍ITU中的标准化进展及典型服务。

2.1 IMT-2030框架中的AI和通信

为促进IMT-2030的开发，ITU-R5D工作组（Working Party 5D，WP5D）批准了一个新框架和总体目标，确定了下一代移动通信系统的动机、应用、技术趋势、频谱、使用场景和能力。泛在智能既是重要的应用趋势，也是关键的使能技术——AI能增强无线接口的性能、实现无线网络自动化和网络服务智能化，IMT系统设计的一个关键目标是高效支撑无线网络中的AI服务。

图1 IMT-2030 使用场景

在ITU-R确定的IMT-2030六大使用场景（见图1）中，“AI和通信”作为超越通信的服务场景，支持分布式计算和AI应用，包括数据采集、本地/分布式计算卸载、分布式AI模型训练和推理等。典型用例包括：IMT-2030辅助的自动驾驶、医疗辅助设备间自主协作、跨设备/网络计算密集型操作的卸载、数字孪生的创建并用于预测。

为了支持新使用场景，IMT-2030除了传统的通信能力外，还需要新增AI能力与感知能力（详见表1）。对于“AI和通信”这一场景，在通信方面，“AI和通信”需要更高的区域通信容量和用户体验速率，同时要求低时延和高可靠性，具体要求视实际情况而定。在AI方面，IMT-2030也需要具备一些新能力，包括从不同来源获取、准备并处理数据，进行分布式AI模型训练，在不同IMT系统之间共享模型并进行分布式推理，以及编排和链接计算资源等。下面将结合典型的AI服务来介绍相关的AI能力和性能要求。‘

表 1 IMT-2030 的能力

2.2 “AI和通信”场景中的典型服务

IMT-2030将为AI应用提供端到端的高效支撑，通过在分布式智能之间建立连接，提供泛在AI服务（如AI模型训练、推理、部署等）。为实现这一目标，IMT-2030可利用网络中的连接、数据和模型资源与能力，构建一个分布式高效AI服务平台。AI应用范围非常广泛，既可以使用端到端AI算法为无线接口和无线网络进行定制化调优和自动化运维（即，提供智能化网络调优能力），也可以作为分布式学习的基础设施，利用网络原生的通信AI一体化能力，实现从云端集中式智能到边缘深度泛在智能的演进（即，提供智能化用户服务能力）。

2.2.1 IMT-2030的AI应用示例

业界普遍认为，协作机器人将是未来6G的一个重要应用场景，但这种机器人需要依赖时延低、学习/推理精度高的AI服务才能工作。在该示例应用中，多个机器人共同协作完成工业环境中的复杂任务，每个机器人都配备了摄像头等传感器，借助AI实现部分自主。对于完全自主或复杂任务，协作机器人系统应通过感知、认知、规划和控制来实现任务的最终目标。例如，当人类用语音指示机器人去拿某个物品时，首先要能理解自然语言指令，然后规划每个机器人负责的子任务。无论是理解还是规划，都离不开高效训练的大（语言）模型，而这些模型会消耗大量的计算资源和内存资源。借助本地视觉或控制模型，机器人能从感知的图像中检测到物体，并规划子任务的路径轨迹和相应的控制决策。

图2 AI 应用之协作机器人

这样，AI机器人就能与网络协作，利用网络提供的超级AI能力，实现复杂任务规划。机器人还可以基于网络相互合作，通过协作训练、分享和学习彼此的经验提升本地模型的性能。接下来，我们将详细介绍本例中涉及的两个典型AI服务——模型推理和模型训练。

2.2.2 模型推理服务

AI模型推理是AI应用的一项基础功能。它会根据给定输入运行AI模型，并产生预期输出。通过泛在连接，6G网络原生智能可以提供模型实时推理能力，以满足不同需求。在分布式AI模型推理服务中，6G网络利用通信能力与AI能力，通过模型协作为用户提供实时高精度的模型推理服务，弥补用户的能力短板。在图3所示的典型AI模型推理服务中，我们可以将一个大模型拆成两部分，分别部署在网络侧和用户侧，分工合作。其中，对资源要求较高的那部分部署在网络侧，以发挥强大的网络AI能力，为用户提供模型联合推理服务。

图3 AI 模型推理服务

2.2.3 模型训练服务

AI模型训练对获取高精度模型至关重要。6G网络原生智能可以根据不同的用户特性和网络特性，提供合适的算法和资源进行模型训练编排，从而提高模型训练的速度和精度。在大规模分布式AI模型训练服务中，网络作为管理平台，提供高速数据通道和高效调度机制，方便分布式终端交换数据或模型参数。这样既能支持模型的快速聚合和分发，又能保护用户隐私。图4展示了一个典型的分布式模型训练服务，在每轮训练中，分布式终端先基于本地数据在本地训练模型，然后将更新后的模型上传到网络；网络将终端更新的本地模型聚合成一个全新的全局模型，再分发给各个终端。这一“聚合+分发”的过程不断迭代，在实现联合学习的同时，也保护了用户的原始数据。

图4 分布式 AI 模型训练服务

3 “AI和通信”场景的性能要求

性能要求是系统设计的主要驱动力，也是每一代移动通信系统发展乃至革新的根本所在。现有的移动通信系统主要为面向连接的数据传输而设计，因此其关键性能指标（Key Performance Indicator，KPI）主要是连接的传输速率和时延。然而，AI服务不仅仅是传输，还涉及AI相关的资源，这就衍生出新的KPI，即AI模型学习/推理的精度和时延。从通信角度来看，6G网络应提供很高的通信容量（尤其是上行方向），以满足模型训练和模型推理过程中数据/模型交互的需求。而从AI角度来看，6G网络应支持大规模分布式学习和实时推理。因此，6G网络设计从一开始就应该综合考虑AI和通信两个方面。以下小节将分析现状，并为“AI和通信”场景定义具体的性能要求，详述其原则和架构。

3.1 现状

从2G到5G，前几代移动通信系统均聚焦于提供通信服务，数据传输几乎是其唯一的任务。5G R18开始研究系统对AI/机器学习（Machine Learning，ML）操作的支持。3GPP TR 22.874识别并报告了三种典型的AI/ML操作，分别是分割推理、模型/数据分发和分布式/联邦学习。此外，还定义了各种应用，如图像识别、实时媒体编辑、机器人之间的分割推理与控制、多智能体之间的协作学习等。所有AI/ML操作预计都需要在云服务器中执行，而5G系统仍然只提供用户和云服务器之间的数据传输（即通信服务），这对数据速率提出了更高的要求。

下一代移动通信系统将引入超越通信的新能力（如AI相关的能力），因此6G相关的研究小组通常会考虑支持AI服务。譬如，中国的IMT-2030推进组和欧洲的Hexa-X不约而同地在其白皮书中指出，6G提供的AI服务将是下一代网络设计的关键因素，同时还建议纳入新能力，以确定AI服务的性能要求。针对AI空口和AI服务，这两大6G研究组织在传统通信性能指标之外，还提出了AI相关的性能指标，包括AI模型推理精度和时延。然而，他们并未清晰地论证些性能指标，也没有详细定义6G的性能要求和评估方法。

为评估AI软硬件系统的能力，计算机科学界定义了一些训练和推理方面的KPI。例如，MLCommons定义了MLPerf基准，通过参考应用、模型和数据集来衡量模型训练和推理的AI性能。但是，这些指标只能用来度量集中部署的软硬件能力，而6G网络中的AI服务是分布式部署的，且涉及通信，需要新的指标来度量。

3.2 6G AI和通信的性能定义原则

利用6G网络中的连接、模型、数据等资源，6G AIaaS能提供适配不同应用场景的AI能力。与传统移动网络不同，6G网络不仅需要连接，还需要其他资源，以便为用户提供高性能的AI服务。因此，6G AIaaS需要实现通信与AI能力的融合，为AI服务构建全面的性能指标和评估方法，这对于6G网络设计和网络资源配置具有指导意义。

AI相关能力的性能定义主要遵循以下原则：

端到端AI能力：为保障用户体验到的服务质量，AI服务需要端到端的性能指标。AI服务质量不仅依赖于通信能力，也依赖于AI能力。然而，现有的性能指标和评估方法只关注通信能力，无法保证AI服务质量。因此，IMT-2030系统需要考虑如何实现通信与AI能力的融合。

典型服务：IMT-2030系统是实现泛在智能的关键。需要利用网络内部的AI能力并通过协作，为不同用户提供统一平台，支撑大规模的分布式模型训练和统一的高精度模型推理。因此，AI相关能力的指标需要结合训练、推理等典型服务来定义。

核心性能：通信AI一体化的宗旨是高效使能AI服务，包括模型训练和实时高精度模型推理。同时，AIaaS面向数十亿用户，需要特别关注影响用户体验的关键因素。围绕AI服务有不少性能指标，而要实现“高效使能AI服务”的宗旨，IMT-2030系统必须优先考虑最核心的几个指标。

3.3 6G AI和通信的性能要求

AI和通信的KPI是根据6G网络提供的服务（包括AI模型训练和推理）来定义的，这些服务的性能取决于AI模型能力（受系统AI资源限制）以及用户与网络间的通信能力。本文提出的AI服务性能要求包括一组功能要求和三个量化要求。其中，功能要求可通过检查来评估，而量化要求则需要通过仿真来评估，具体如下：

• AI服务功能要求

AI相关能力的功能要求是：无线接口技术（Radio Interface Technology，RIT）或成套无线接口技术（Set of Radio Interface Technologies，SRIT）需要为功能提供相应的机制和/或信令，包括作为能力开放给外部应用的功能（如分布式数据处理、分布式学习、AI计算、AI模型执行、AI模型推理等），或是在候选RIT/SRIT提出者看来能更好地支撑AI应用的功能。

• AI服务精度（或AI服务质量）

AI服务精度即AI推理/学习服务的精度，是指在给定的时延要求内，AI服务的输出与给定输入对应的真值一致的程度（或与参考情况的相对程度）。对于给定的AI任务，AI服务精度主要取决于任务特性、AI模型部署方式以及AI相关数据的传输。不同应用可能对AI服务精度有不同的要求，譬如，自动驾驶对物体识别的精度要求远高于普通消费者拍照识花的要求。因此，可以为6G网络中有一定精度要求的具体应用定义最低性能要求。给定一个AI推理/学习任务，最低精度要求可以定义为部署环境中该任务在特定时间内能达到的精度需要高于的值。若能满足最低要求，则说明6G网络可以支持所有精度要求更低的应用。

• AI服务时延

AI服务时延是指AI推理/学习服务从开始到结束所需的时间，包括AI相关数据的传输时间与AI模型处理时间，其中处理时间的长短取决于实际设备和实现方式。与AI服务精度类似，不同应用对AI服务的时延要求可能也有所不同。因此，我们可以为6G网络中有一定时延要求的具体应用定义最低性能要求。给定一个AI推理/学习任务，最低时延要求可以定义为部署环境中该任务达成特定精度要求所花的时间需要小于的值。若能满足最低要求，则说明6G网络可以支持所有时延要求更低的应用。

• AI服务密度

AI服务密度是指在单位面积内，网络中有多少AI服务能同时满足特定的精度要求和时延要求。IMT-2030系统将AI服务密度作为系统容量指标，在不同的应用要求（即精度或时延）下，系统可以支持不同的AI服务密度。这意味着，6G网络的最低性能要求既可以针对具有特定精度和时延要求的具体应用或应用的组合来定义。因此，对于给定的AI推理/学习任务，可以将6G网络AI服务密度的最低要求定义为部署环境中每平方公里的服务数量。

4 评估方法与示例

上一节定义了典型分布式AI模型训练和推理服务的量化性能要求，由于服务性能由通信和AI资源共同决定，评估时需要对通信和AI做一些假设。本节将介绍一套性能评估方法，并在示例中给出详细的假设和结果。

4.1 评估方法

性能要求可以从两大基本KPI得出，即AI服务精度和AI服务时延。AI服务精度反映的是AI服务的输出与给定输入对应的真值一致的程度，具体取决于AI模型以及AI相关的数据/模型传输。AI服务时延是AI模型处理时间与数据传输时间之和，同样也取决于AI模型以及AI相关的数据/模型传输。这两个指标的定义对于模型训练和模型推理服务同等适用，二者使用的无线资源类似，只是前者涉及模型交互，后者涉及数据交互。

图5 AI 服务性能评估体系

性能评估可按服务流程进行，图5所示的AI服务性能评估体系包括以下几个关键部分：

• 资源假设：通信性能评估中已经定义了一套测试环境，AI的评估也应在类似环境中进行。该环境需要配置无线资源，包括带宽、终端（UE）天线数量和基站天线数量等。同时，AI任务应使用AI相关配置来定义，包括由输入和对应目标输出组成的数据集以及精度计算方法。
• AI服务流程：整个流程从终端侧的AI模型处理开始，在终端侧生成中间数据（模型输出或模型权重）。然后，在假定的无线配置下，数据从终端传往基站。基站收到数据后，再用基站侧AI模型进行处理，得到服务结果，并计算性能指标。
• AI服务性能计算：根据服务结果、AI模型处理时间以及传输时间，可以计算出AI服务精度和AI服务时延这两大指标。如前所述，AI服务精度是指AI模型处理后的输出与数据集中各输入对应的目标值一致的程度，这个程度需根据具体AI任务来定义。AI服务时延则是终端和基站的AI模型处理时间与中间数据的传输时间之和。

AI服务密度是指满足特定AI服务精度和AI服务时延要求的AI服务数量。因此，评估AI服务密度需要仿真AI服务精度和AI服务时延。例如，先将终端数量N设为最小值并由终端发起服务请求，利用测试环境的评估参数进行系统仿真，在服务时延范围内统计AI服务精度。然后逐步增大N并重复仿真，直至AI服务精度不再达标为止，此时的N值为Nmax。然后，就能根据公式C=Nmax/覆盖面积计算出AI服务密度。

4.2 评估示例

本节以分布式AI推理服务为例来论证上述性能评估方法。根据相应的服务流程修改评估流程后（这是未来需要研究的一个方面），该方法也可用于协作训练和推理服务。在典型的未来智能工厂中，AI机器人需要通过摄像头感知环境（如实时检测物体），基于收集的图像实时进行高精度的AI模型推理。

图6 分布式 AI 推理服务示例

图6展示了用户的AI推理服务流程，该流程不仅涉及用户侧和网络侧的AI模型处理，还包括用户和网络之间的传输过程。具体分为三个步骤：1）终端使用终端侧AI模型处理输入的数据，生成中间数据；2）终端将中间数据发往基站；3）基站使用基站侧AI模型处理接收到的中间数据，得到推理结果。需要注意的是，本示例流程假设服务是从终端侧开始的，由终端处理输入数据并上传中间数据到基站，从而算出结果。下行方向也可采用类似流程：先由基站处理输入数据，再将中间数据发给终端，从而算出结果。以下评估方法同样适用于这种下行场景：

• 评估配置：评估配置定义如下，中括号【】内为示例。
• 测试环境：【密集城区】
• 无线配置：【同沉浸式通信（用户体验速率：500Mbps）】
• AI任务：【图像识别】
• AI数据集：【ImageNet-1k验证数据集】
• AI模型：【AlexNet，左边由终端处理，右边由基站处理，如图7所示】

图7 AlexNet 模型部署示例

• AI模型处理时间：【终端侧模型：0.75ms；基站侧模型：0.45ms】
• 评估流程
• AI服务精度：可以通过仿真来评估AI服务精度。首先，终端利用终端侧AI模型对数据集中每个样本 \(S_{i}, i=1, \ldots, n\) 的输入进行处理，得到中间数据 \(Z_{i}\)。根据测试环境和传输配置，终端发送中间数据到基站处理。以经典传输方案为例，中间数据先量化并转化为比特，再编码、调制成符号进行无线传输。然后，基站再利用基站侧AI模型处理接收到的中间数据 \(\tilde{Z}_{i}\)，得到每个样本对应的推理结果 \(\tilde{Y}_{i}\)。接着，将推理结果与每个样本的目标输出或标签 \(Y_{i}\) 进行比较或计算，从而得到输出与真值一致的程度 \(acc=\frac{1}{n} \sum_{i=1}^{n}{1_{\left \{ \tilde{Y}_{i}==Y_{i} \right \} } } \)，即为AI服务精度。

对于参考情况的精度，可以用整个AI模型处理数据集中的每个样本 \(S_{i}\)，得出推理结果 \(\tilde{Y}_{1}^{'} \)，即参考情况的输出。然后将推理结果与每个样本的标签 \(Y_{i}\) 进行比较，即参考情况下该输出与真值一致的程度表示为 \(acc_{ref}=\frac{1}{n} \sum_{i=1}^{n}{1_{\left \{ \tilde{Y}_{1}^{'}==Y_{i} \right \} } } \)。最后，可以用\(\frac{acc}{acc_{ref} } \)计算出AI服务的相对精度。

• AI服务时延：AI服务时延是中间数据的传输时间 \(t_{comm} \) 与终端和基站侧的AI模型处理时间 \(t_{proc,UE}\), \(t_{proc,BS} \) 之和。因此，AI服务时延可以用 \( t_{service}=t_{comm}+t_{proc,UE}+t_{proc,BS}\) 表示。在本例中，我们通过有效载荷比特数除以数据速率来计算数据传输时间，其中有效载荷比特数由中间数据的元素数量及每元素量化比特数决定。如果有新技术可用，也可使用其他方案。

• 评估结果

表2总结了不同的传输配置（即每元素量化比特数）对AI服务性能的影响。从AI服务精度和AI服务时延的数值变化情况可以看出，由于中间数据传输的限制，AI服务时延和AI服务精度难以同时兼顾——精度越高，时延往往也越大。但我们可以通过优化传输配置或提升传输技术来满足性能要求，以表2为例，将每元素比特数设为8，可保证AI服务精度大于56%、AI服务时延小于2ms。

表2 AI 服务性能评估结果

5 结语

“AI和通信”是IMT-2030中定义的6G新场景之一，本文重点分析了该场景的动机、典型AI服务和性能要求。笔者从用户体验和网络容量两个角度出发，针对通信与AI能力及资源的一体化定义了全新的性能指标，从而为系统设计提供指导，并能更好地支撑AI服务。与此同时，本文还提供了相应的性能评估方法，并结合详细示例展开讲解。以上研究，只是6G从愿景走向技术设计的第一步。