当前的企业网络架构在数字化转型过程中面临许多难点。计算机网络系统作为IT基础设施关键且复杂的一部分,其架构和设计的理念正在从传统的面向硬件设备的网络运维理念,重构为面向业务和应用的网络运营理念,这是企业网络的数字化转型的一个重要目标。网络架构不够敏捷、网络运维不够自动化和智能化、网络故障定位难等是最主要的挑战,这还带来了业务连续性无法满足服务等级协议Service Level Agreement, SLA要求、网络运营成本高等诸多问题。

人工智能领域的技术正在迅速发展,这为解决网络系统中的难点带来了新的思路和方法。本文主要阐述了AI技术在网络智能化过程中的一些应用和未来展望。

第一部分  AI技术在网络系统领域的应用

1.1 AI技术在计算机网络系统领域的应用

计算机网络系统的智能化主要经历了三个阶段。

第一个阶段是通过“软件定义网络Software Defined Network, SDN”技术实现了对网络系统的动态配置、监控及优化,解决了传统网络系统的静态架构定义和表达问题。

图1.软件定义网络技术示意图

第二个阶段是大数据和深度学习技术的应用。在许多业务场景下实现了智能网络的“自治化管理”,也就是一系列的智能网络设备和控制器对网络状态的智能化监测、性能优化及安全防护。这与张宏军老师的《从隐秩序到显规则》的复杂性科学的思路是一致的。

现在是第三个阶段,即用大模型技术推动智能网络的进化。目前主要有两个研究方向:第一个是使用大模型来全面学习网络系统的策略,如架构、配置、安全、监控、优化等对象,进而能够实现全方位的智能化运维和故障处理,做到人工智能辅助的运营AI Ops;第二个是使用大模型来学习并识别数据流的行为和意图,帮助进一步提升网络安全的智能防控水平,提升面向业务和应用的网络系统安全策略。

图2.智能化网络概念示意图

1.2在计算机网络系统的智能化改进过程中,大模型技术的重要性和必要性

大模型是指使用一个大的人工神经网络的模型,比如大家熟知的ChatGPT-3的模型有1750亿个参数。因为当前的人工智能技术主要是通过模型的参数来计算并输出学习到的知识,所以越大的模型能够学习并输出的知识就会越多,进而也能够产生更多的涌现并有能力生成较复杂的高价值的内容。

当前,计算机网络系统领域的技术知识是巨量的,只有大模型才有足够的学习潜力。当前主流的大模型都是基于Transformer模型发展而来的,还需要许多的基础研究工作,才能在计算机网络领域取得类似于ChatGPT那样高水准的突破。

1.3大模型技术在网络工程领域当前的进展

我们设计开发了一个“智能网络操作员”AI Operator。它可以自主检查、发现、修复网络故障,它可以作为网络运维方案中的智能化控制中心。它的精简版本可以运行在个人电脑上,在5秒之内可以智能分析处理一个小型网络中的数千条信息,达到100准确率和可靠性。

这是我们在计算机网络系统领域内实现的首个通用型的智能操作员,以往的产品仅仅可以实现单个技术上的智能化,比如入侵检测的智能化、流量工程的智能化等。我们尝试把自然语言处理领域的智能化技术迁移到计算机网络领域,已经取得了初步的成功。

图 3智能网络操作员的工作原理

1.4这项智能操作员技术的应用场景

这项技术可以重构网络系统的智能化运维控制中心。它能够实时分析网络中的监控数据,并发出修复故障或优化网络的操控指令。

它也可以学习、感知网络数据流的行为和意图,进而实施主动安全防护策略。比如在近期发生的黑客攻击地震监测中心事件中,如果通过数据流的行为去分析其意图,就很容易区分并捕获恶意数据流,进而发出实时告警,记录并拒止其入侵行为。

第二部分关于QRDQN算法和关键性损失算法的深度技术分析

2.1这个AI项目从技术上的实现方式

该项目主要涉及三个方面的核心工作:

第一个方面,就是设计了一个全新的架构,把计算机网络和人工神经网络集成在一起,这个架构通过我们的环境感知组件来实现,主要有以下功能:

1.使用软件接口抓取计算机网络的状态信息,比如网络接口的状态、路由状态等;

2.使用预定义的标准来评估网络当前的状况,如果某个操作指令改善了网络状况,评分会增加1分,反之则评分减少1分;

3.使用预定义的规则将网络状态信息转换为嵌入向量Embedding Vector,这样可以优化神经网络的运算效率;

4.自动将神经网络生成的指令应用于计算机网络,并且向神经网络反馈最新的计算机网络状态信息。

第二个方面,是提出了对QRDQN算法的优化方法,也就是“关键性损失算法”。

QRDQN算法是当前最主流的强化学习算法之一,它会对每一个State-Action Pair进行计算并得到多个评估分值,最终优选出平均分最高的Action作为该State下的正确指令并输出该指令。

原本的QRDQN算法的准确率在80左右,也就是说有大约20的输出指令是错误的。这是由于神经网络自身的以下两个特点导致的:

1.神经网络会输出统计意义上的计算数据,其数值表示某个结果的正确概率,数值越高表示该结果有越大的概率是正确的;

2.神经网络在优化过程中,其计算参数会被微调,这带来了输出数值的波动性,影响了其准确率。

解决以上问题的思路是:

1.根据需求设定输出数值的目标值。本项目中需要分离正确、错误两种指令,所以需要选取两个目标值。所选数值一方面需要位于0到1之间神经网络的数据敏感区间是-1到1,因为仅需要两个目标值,所以选择两个正数数值,降低计算复杂度,另一方面它们之间要有适当的间距以有效分离正确和错误两种指令,同时还要远离0和1这两个边界因为边界处会产生精度下降的问题,需要复杂的数值处理方法。最终选取0.7为正确指令的输出数值的目标值,选取0.3为错误指令的输出数值的目标值,详细的计算过程请参见图4。

2.神经网络输出数值和目标值之间的误差称为损失,某些损失会导致指令优选过程中的错误,它们被分类为关键性损失;另外一些损失则对指令优选过程影响较小,它们被分类为非关键性损失。在之后的总损失计算和神经网络优化时,赋予关键性损失较大的权重,在优化过程中重点降低关键性损失,提高准确率。

下面是“关键性损失算法”的计算流程示意图:

图 4. QRDQN算法和关键性损失算法示意图

详细解释如下:

1.设定神经网络输出7个数字数值位于0和1之间来表示一个指令的评估得分,7个评估得分的平均值越大则表示该指令越优取平均值可以降低神经网络输出数值的波动性对准确率的影响,神经网络将输出最优指令;

2.该最优指令将应用于计算机网络,并评估其效果,以效果为标准分离了正确指令和错误指令;

3.根据多次测试的数据,选取了4个数值用来计算并得到“关键性损失”,具体如下:

3.1设定正确指令的评估得分的目标值为0.7。因为较高的评估得分有助于该正确指令被优选,所以当单个得分大于或等于0.7时,该得分的相关损失属于“非关键性损失”;

3.2设定正确指令的7个评估得分的平均值的安全值为0.56。当它们的平均值大于或等于0.56时,它们的相关损失都属于“非关键性损失”;

3.3设定错误指令的评估得分的目标值为0.3。因为较低的评估得分不会让该错误指令被优选,所以当单个得分小于或等于0.3时,该得分的相关损失属于“非关键性损失”;

3.4设定错误指令的7个评估得分的平均值的安全值为0.44。当它们的平均值小于或等于0.44时,它们的相关损失都属于“非关键性损失”;

3.5其他的损失属于“关键性损失”;

4.根据“关键性损失”,使用Adam优化算法优化神经网络,损失平均值从2.62E-03下降到了1.17E-04,降低了95.5;

5.经过进一步的微调,输出指令的准确度达到了100。

图 5.优化以后损失平均值降低了95.5

第三个方面,在Python的开源项目stable-baselines3的基础上,完成了项目代码,实现了“智能操作员”的设计功能,并把完整的代码存储在GitHub上成为一个新的开源项目,希望更多的工程师能够参与,共同提升行业的智能化水平。

2.2传统的网络技术无法达到“智能操作员”的效果

以前的相关产品可以实现在某一个业务场景的自动化控制,比如我们有一个产品叫做RCU检察员CheckRCU,可以根据预定义的规则和方法去检测网络状态并处理故障,它的局限性在于它只能够应对已知的、预定义的一些情况。

随着网络技术的发展,现在的网络设施是多样化的,比如:安全设备、存储设备、无线设备、监控设备等等,设备和服务可以位于本地也可以位于云上,所以传统的技术难以实现对网络的全方位的智能化操作。

而人工智能模型在学习的过程中,可以建立起对网络各个节点及其状态的认知,并进一步关联其操作方法和指令,从而可以实现全面的智能化检测和故障修复。

在其他领域也会有类似的应用场景,比如无人机的AI控制系统。无人机可以通过自身的状态传感器、GPS、实时取景画面等信息感知飞行状态,适时做出飞行姿态调整并完成飞行计划。AI控制系统经过在仿真环境中的训练就能识别各种外部环境信息并学会正确的应对方法。

2.3智能化过程中的难点

主要难点有:高算力、高数据质量、大模型的结构及算法优化、数据的语义编码及其优化。以语义编码为例,在自然语言处理领域有许多成熟的语义编码技术,比如:Word2vec、BERT、GPT等技术,它们可以从统计学的角度给语义相近的词赋予相近的编码;但是在网络领域,目前还没有成熟的技术可以用来对网络的状态信息进行语义编码,所以仍需要大量的研究工作去解决此类问题。

2.4目前的一些较为成熟的应用场景

智能化的网络要求尽可能多的设备都具有智能化模块,这些智能模块可以独立处理一些较简单的需求,也可以和控制器联动。比如:网络流量的预测和优化、无线网络容量和性能的自动优化、根据网络负载动态优化设备耗电量等。

2.5智能化技术未来的应用前景广阔

智能化技术不仅仅体现在网络的智能控制器上,也将体现在所有的网络接入设备和终端上,智能化的方案最终将是分布式的。比如无线AP的智能天线,可以引导终端连接到信号最好的AP上;再比如我们经常提到的物联网,未来随着智能化技术和应用的进一步成熟,功能增强的同时成本降低,各式各样的联网设备都会智能化,功能和安全性都会提升。

第三部分关于学习智能化技术的入门之路

3.1学习智能化技术,在计算机网络领域的职业发展机会

现在是一个较好的契机。很多新的技术在网络领域还处于应用的早期,除了人工智能技术,还有网络资源云化的相关技术、设备全生命周期自动化的相关技术等等。

网络行业的技术和产品迭代很快,所以最重要的是能跟进新技术,过往的产品和技术的重要性较低。现在智能化的应用还在早期,面对未来的新机会、新产品、新方案,大家的差距不大,保持年轻的学习心态最为重要,年轻人有很大的优势。

3.2学好智能化技术的建议

很多人在学习的广度和深度上会有困惑,现在是技术飞速发展的时代,我们应该优先学习更广的知识,暂时不需要太过深入,掌握最基础的概念和用法就可以了。这样可以较为容易地扩展自身,持续取得小的成绩,后面就会逐渐地水到渠成了,找到属于自己的机会或项目时,再深入学习和发展就行了。

3.3未来会出现专业提供智能化服务的公司

未来会出现专业提供智能化服务的公司。技术其实是通用的,可以在许多行业得到普遍的应用,当然会做一些定制化和场景优化。因此未来专业提供智能化服务的公司一定会出现而且市场前景广阔。

AI技术的发展给各个行业都带来了新的空间和发展机会,希望更多的人能抓住智能化的时代机遇。谢谢大家。

本文作者:武斌斌