lstm网络一般训练多少轮_【论文推荐】黄伟等：针对设备端口链路的LSTM网络流量预测与链路拥塞方案...

针对设备端口链路的LSTM网络流量预测与链路拥塞方案

黄伟, 刘存才, 祁思博

中国电子科技集团公司第五十四研究所，河北 石家庄050081

摘要：针对设备端口链路流量，提出两种基于长短期记忆网络的预测模型。第一种针对在大时间粒度下平稳变化的流量；第二种则针对在小时间粒度下波动剧烈的非平稳流量。通过选用不同的数据划分方式与模型训练方法，构建两种具有不同网络结构的流量预测模型。实验结果表明，前者在处理平稳变化的流量时能够达到极高的预测精度，后者在处理非平稳流量时具有明显优于SVR模型、BP神经网络模型的预测效果。在第二种预测模型的基础上，提出了参数可调的链路拥塞预警方案，实验证明该方案具有一定的可行性。

关键词:  长短期记忆网络 ; 机器学习 ; 网络流量预测 ; 非平稳流量预测 ; 时间序列预测

中图分类号：TP393

文献标识码：A

doi: 10.11959/j.issn.2096−109x.2019066

1 引言

近年来，网络业务日益复杂多元化，网络流量更多地呈现出突发性与自相似性，流量的时间序列也愈加难以使用传统的线性方法进行建模描述。为此，研究者开始尝试将SVR、BP神经网络等机器学习方法应用于网络流量乃至交通流量预测，试图通过对历史流量的学习来预测未来时间流量。从以往的研究中来看，多数研究者需要利用流量的周期性特征，这主要适用于较大时间粒度的流量预测，需要长时间的训练数据且无法保证预测的时效性。另外一种为短时流量预测，由于小时间粒度下流量序列前后波动的不确定性，很难使用传统机器学习方法对其进行精确的描述。但经过大量的数据研究后发现，即使是短时间内前后差异明显的网络流量数据，在一段时间范围内确实可能呈现不同程度上升或下降的趋势，与此同时流量数据本身又不可避免地呈现波动性。 本文由上述观点出发，试图寻找一种能够有效描述流量变化趋势的方法，对大时间粒度下平稳变化的流量进行精确的预测，对小时间粒度下波动剧烈的流量进行可靠的预测。之后，本文在短时流量预测的基础上，综合考虑以往的流量波动情况，探讨判断未来链路拥塞的预警方法。

2 相关研究

根据训练数据划分方式的不同，利用机器学习方法建立的流量预测模型一般可以分为两类。一类通过寻找相邻数据的函数关系达到预测的目的；另一类通过寻找非相邻数据的变化规律进行预测。流量预测实际上是关于时间序列的预测。训练数据的划分方式通常为 ，其中，T为时间延迟，D为嵌入维度。训练时用来参照的真实数据为xt+T，训练的目的即寻找函数 f(x)使   。 在第一类预测模型中，T为1， 。模型的训练往往需要相邻时间的数据具有较为严格的依赖关系，并且数据本身需要呈现一定的周期特征。通常可以借助SVR、神经网络等方法，学习到相邻数据之间的函数关系。在获得新的数据时，可以输入训练好的模型中以获取接下来的数据预测。训练数据一般选取多个完整周期以保证训练的准确性。这种方法的局限在于，模型只能学习到同一周期之间相邻数据的函数关系，并不能体现相邻周期的数据变化。此外，一旦训练数据不具备周期性，这种学习的收效甚微。 在第二类预测模型中，T可以为1或大于1。此时，模型将使用更多时段的历史数据而不仅是相邻时间的数据进行训练。一般来说，这种方式划分的训练数据更能反映流量数据一段时间的变化。T 的取值越大则训练模型考虑的时间范围越广，相应地，模型的学习能力越容易饱和。循环神经网络对时序变化的数据具有很好的学习能力，文献提出了一种基于EMD的循环神经网络，它对具有周期性变化特性的非平稳流量有较好的预测效果。文献针对具有混沌特性的非线性时间序列提出了一种名为Elman-NARX的神经网络模型。文献将协同进化算法引入Elman神经网络，提高了对混沌时间序列的预测精度。文献提出一种基于循环小波神经网络的预测模型，相较传统神经网络模型有更好的预测效果。然而上述模型在处理较长的时间序列时，均存在发生梯度消失和梯度爆炸的风险。LSTM 网络不同于上述循环神经网络，可以很好地解决梯度消失问题。它具有长短期记忆能力，适用于较长时间序列的预测。目前，LSTM网络已经较多地在交通流量预测的相关研究中被发掘和使用。文献提出一种基于 k-means 聚类的 LSTM 模型，其只考虑了相邻时间点的数据变化。文献提出了一种三层混合的 LSTM 交通流量预测模型，文献提出了一种基于 LSTM 网络的网络流量预测模型，然而它们在时间延迟上的取值均为 1，不足以反映数据的长期变化，模型存在改进空间。本文以LSTM网络为基础，提出了一种改进的时段划分方法，将训练数据的时段区间与时间延迟参数相对应，对模型进行阶段性地训练和预测。不同于传统LSTM模型中训练过程与预测过程相分离的特性，本文的网络流量预测模型能够随实时数据不断地进行更新。模型的训练和预测依赖于最新获取的流量数据，同时能继承模型之前的参数，从而使预测结果保留历史数据的部分特性。 对于本文要处理的网络流量数据，预测难度更大一些，尤其是对于在小时间粒度下波动剧烈的非平稳流量。在时间刻度上突发的无规则特性，无疑会加大学习流量数据真实的变化趋势的难度。本文旨在不忽略极端数据的情况下，保证预测模型的稳定性。针对这一问题，本文在下文的中将再做探讨。

3 基于LSTM网络的平稳流量预测模型

本节详细阐述基于 LSTM 网络构建流量预测模型的方法。其中包括原始数据的处理、训练数据的划分、模型的训练以及未来流量的预测。 首先要对流量数据进行归一化处理，把原始数据处理成LSTM网络可以接收的范围。本文采取的方法如下。取较长一段时间的历史流量 ，计算这段流量序列的均值。

对之后获取的任意流量序列都做如下处理。

如无特殊说明，在下文中所有 均直接简化表示为{xi}。假设一段时间长度为T的未来流量与前D、T时间长度内的流量相关。这里的D与T与前文含义相同。本文的目的是预测下一段T时间长度内的流量均值。之所以做均值的预测，是因为流量数据的波动性导致无法做出T时间长度内每一时刻流量的精确预测。设已知的流量序列为 。对此序列做如下分割

可以把Sj的前 D 维数据当作循环神经网络的输入值，把第D+1维数据当作最小化均方误差的参照数值。这样的数据共有T对，共同构成训练的一个批次。通过LSTM网络的训练，可以获得输入维度是D、输出维度是1的近似函数关系。损失函数可写作

其中，oj表示对于第j对样本数据在模型中最后时间步的输出值，xj+DT则表示与该输出值相对应的真实值。此时取Sj的后 D 维数据当作输入，此时模型的输出oj即为未知流量

的预测，记为。把 T 预测点连起来，即流量序列。计算这一段序列的均值即可作为下一段T时间长度内流量均值的预测。

以T长度的时间为一个周期，每经过T时间长度就需要添加最新的数据来继续训练LSTM网络。这样，随着新数据的到来，LSTM 网络的一系列参数也能随之更新，从而可以满足预测的实时性要求。更新方法是去除最旧的T时间长度的数据，添加最新的T时间长度的数据，从而保证流量序列{x i}的长度为(D+1)T，S j的长度为D+1。 LSTM 网络的结构如 图1 所示，这里主要给出本文所采用的数据处理方式。 如需了解LSTMCell的内部结构和原理，请参见文献。 图1   LSTM网络结构 Cell表示神经网络中的LSTM内核，每一个对应特定的时间步。W1、B1、W2、B2为向量形式，具体维度和Cell的大小相关。Initial_state代表LSTM网络中首个时间步输入核的初始状态，训练开始时取为0即可。随着流量序列{xi}的更新，在进行新一轮的训练时，initial_state的取值为上一轮训练结束时Cell所对应的final_state。每一轮训练的次数应根据实际情况选定。本文将该模型命名为LSTM流量预测模型。训练次数过多有可能导致过拟合现象的发生，本文建议在不影响模型预测准确率的基础上适当减少每一轮的训练次数。关于模型预测准确率的计算，本文将在实验部分说明。

4 基于改进 LSTM 网络的非平稳流量预测模型

第3节阐述了构建LSTM流量预测模型的具体方法，然而该模型只适用于平稳变化的流量序列。考虑如下形式的非平稳流量序列。即若干 T时间长度以来的流量均在较高的数值范围内波动，而当前T时间长度内的流量却大幅度地降低了，事实上这种突发的情况仅仅持续了T时间长度。在前文构建的LSTM模型中，最新的T时间长度内的流量恰恰是训练所使用的参照数据，也可以称作标签。因此该模型的训练会在很大程度上受到当前T时间长度内的流量抖动的影响。对于上述形式的非平稳流量序列，当前T时间长度内突减的流量很可能造成模型对未来流量的预测值远低于真实值。 实际数据与以往经验表明，多数情况下的网络流量数据是非平稳的。而且为完成网络流量的实时预测，需要在小时间粒度下进行处理，此时网络流量的抖动更加明显。对于已经发生的流量抖动，一种处理方法是忽略大幅度偏离历史经验的数据，即不使用这部分数据对模型进行更新。但这必然会导致一部分数据信息的丢失，使模型对于数据的变化不再敏感。本文旨在保证数据信息完整性的同时弱化最新T时间长度内的流量数据的影响。因此本文将选用更多的数据关系信息进行模型的训练，而不仅仅以最新T时间长度内的数据作为参照。本文将在LSTM流量预测模型的基础上进行改进，使模型在处理非平稳流量时仍能够有效学习数据的变化趋势信息，从而保证预测的稳定性。 本文将新模型命名为LSTM-modified流量预测模型，所有真实产生的数据都将被纳入该模型的训练中，具体做法是把Sj的前D维数据当作循环神经网络的输入值，把Sj的后D维数据当作最小化均方误差的参照数值。损失函数修改为如下形式。

其中，ojk表示对于第j对样本数据在模型中第k时间步的输出值，xj+kT则表示与该输出值相对应的真实值。取Sj的后D维数据当作输入，模型在最后时间步的输出ojD即为未知流量 的预测，记为 。下一段T时间长度内流量均值的预测同样表示为

改进后的LSTM(LSTM-modified)网络结构如图2所示。观察虚线可以直观地发现，模型的训练使用了多个相邻T时间长度的流量数据作为参照。理论上该模型既可以学习到历史流量的变化趋势，又能够在一定程度上避免突发的流量抖动的影响，从而保证流量均值预测的稳定性。 图2   LSTM-modified网络结构

Prediction=1T∑jTx˜j+(D+1)T     (7)" role="presentation" style=" box-sizing: border-box; list-style: none; display: inline; line-height: normal; text-indent: 0px; text-align: left; letter-spacing: normal; word-spacing: normal; overflow-wrap: normal; float: none; direction: ltr; max-width: none; max-height: none; min-width: 0px; min-height: 0px; border-width: 0px; border-style: initial; border-color: initial; ">

5 实验与分析

本节的实验内容分为3部分：在第1部分中测试 LSTM 模型对于平稳变化的流量的预测精度，并与 SVR、BP 神经网络构建的模型进行对比；在第2 部分中，对比SVR、BP神经网络、LSTM 网络、LSTM-modified 网络所构建的模型对非平稳变化的流量的预测性能；在第3部分中，基于LSTM-modified模型预测的流量均值探讨并验证未来链路拥塞的预警方法。 本文基于Python3.5.2进行编程实验。SVR使用scikit-learn(0.19.1)实现，BP神经网络、LSTM网络、LSTM-modified网络均使用tensorflow(1.4.0)实现。SVR采用rbfkernel，其中C=1×103γ=0.1。BP神经网络采取三层结构，使用sigmoid激励函数，隐藏层节点数目设置为 36。LSTM 与LSTM-modified网络，包括Cell在内也可看成三层结构，Cell的大小设置为36。学习率的取值需要根据处理的数据适当调整，本文推荐的取值范围是0.01~0.25。 为了方便衡量各个模型的预测效果，本文做如下定义。流量均值的真实值为ActualValue，流量均值的预测值为 Prediction，绝对偏差 Deviation=|ActualValue-Prediction|，偏差率  。本文通过统计准确预测和不可信预测的比例来衡量各个模型的预测效果。

5.1 平稳流量预测实验

实验数据为某运营商时长一天的DNS流量。实验中D取值为12，T取值为1 200。以秒为最小时间单位，则实验目的是通过4 h的历史流量来预测未来20 min的流量均值。对于平稳流量，本文定义DeviationRate<0.1的情况为准确预测， DeviationRate>0.2 的情况为不可信预测。实验结果统计在表1中。

表1 表明，对于运营商 DNS 流量的预测， LSTM模型具有最高的预测准确率，比SVR模型高5.17%，比BP模型高3.45%。虽然其不可信预测的概率稍高于其他模型，但仍然保持在很低的水平。实验中LSTM模型的预测过程如 图3 所示。 图3   运营商DNS流量均值预测(以20 min为时间单位) 观察 图3 可以发现，预测值基本与真实值重合，这表明 LSTM 模型对平稳流量有极强的预测能力。

5.2 非平稳流量预测实验

实验数据为两种具有不同突发程度的非平稳流量数据，这里称作MMPP流量与SelfLike流量。MMPP流量一般由若干个相关的流叠加产生，是网络中较为常见流量类型。相较于MMPP流量， SelfLike 流量具有更明显的自相似特征，表现出更强的突发性。实验中D取值为12，T取值为300。以秒为最小时间单位，则实验目的是通过1h的历史流量来预测未来5 min的流量均值。对于非平稳流量，本文定义 DeviationRate<0.25 的情况为准确预测，DeviationRate>0.50的情况为不可信预测。 对以上两种流量数据进行4种模型的预测验证，实验结果统计在表2和表3中。

Prediction=1T∑jTx˜j+(D+1)T     (7)" role="presentation" style=" box-sizing: border-box; list-style: none; display: inline; line-height: normal; text-indent: 0px; text-align: left; letter-spacing: normal; word-spacing: normal; overflow-wrap: normal; float: none; direction: ltr; max-width: none; max-height: none; min-width: 0px; min-height: 0px; border-width: 0px; border-style: initial; border-color: initial; ">

表2 表明，对于 MMPP 流量的预测， LSTM-modified模型具有最高的准确率和最低的不可信率，其中LSTM-modified模型的预测准确率相较于其他模型优势明显，比SVR模型高12.05%，比BP模型高8.43%，比LSTM模型高7.23%。这说明本文对LSTM网络的改进方法切实有效，能够有效地提高模型对MMPP流量的预测能力。 表3表明，对于SelfLike流量的预测，LSTM模型具有最高的预测准确率和最低的不可信率，其中 LSTM 模型的预测准确率比 SVR 模型高27.71%，比BP模型高1.21%，比LSTM-modified模型高 4.82%。可见神经网络模型在预测自相似流量时比SVR模型更具优势。不过由于自相似流量的特点，即在任何时间尺度上都具有相当大的突发性，各神经网络模型对SelfLike流量的预测效果没有过多的差距。综合来说，LSTM-modified模型相比于其他模型的适应性更强。因此，在不知道流量类型与特点的情况下，使用LSTM-modified 模型进行流量预测是一个不错的选择。实验中LSTM-modified模型的预测过程如图4、图5所示。 Prediction=1T∑jTx˜j+(D+1)T     (7)" role="presentation" style=" box-sizing: border-box; list-style: none; display: inline; line-height: normal; text-indent: 0px; text-align: left; letter-spacing: normal; word-spacing: normal; overflow-wrap: normal; float: none; direction: ltr; max-width: none; max-height: none; min-width: 0px; min-height: 0px; border-width: 0px; border-style: initial; border-color: initial; "> 图4   MMPP流量均值预测(以5 min为时间单位) 图5   SelfLike流量均值预测(以5 min为时间单位) 从图中不难发现，模型的预测值会随着真实值的出现而不断改变。直观上看，预测值基本保持在真实值波动的中间区域。这说明 LSTMmodified模型确实能够学习到流量的变化趋势，并且具备一定程度的流量预测能力。仔细观察即可发现，图中确实存在一些极端的真实值，不过它们并没有对模型接下来的预测造成很大的干扰。这符合本文在第 3 节中的假设，并且印证了LSTM-modified模型的稳定性。

5.3 链路拥塞预警实验

本文的链路拥塞预警实验以 LSTM-modified流量预测模型为基础，预警方法综合考虑了预测的流量均值、历史流量的波动情况以及链路带宽等多个因素。在缓存并不充足的情况下，一旦瞬时流量超过链路带宽，就会面临分组丢失的风险。本文假设缓存为 0，能容忍的发生分组丢失的时间比例上限为1%。考虑5 min的流量，时间单位为秒。若总计发生分组丢失的时间超过3 s，则认为链路达到拥塞的临界状态。 根据 5.2 节的实验，本文已经具备通过 1 h的历史流量预测接下来5 min流量均值的能力，这里仍命名为Prediction。取前30(5×6) min的流量，计算最大18(3×6) s的流量均值，减去30 min的流量均值，得到近期流量的振幅 Amplitude。Prediction、Amplitude、Correction 相加可看作未来可能达到的流量上界，记为UpperBound。链路带宽表示为 Bandwidth，若满足如下公式，则认为未来链路存在拥塞的风险

其中 Correction 为一个修正值，一般取值为正。 原因是Prediction加上Amplitude并不是精确的流量上界，而且拥塞的预警一般需要一个提前量，以保证在链路拥塞之前做出应对措施。 Correction的取值需要根据实际情况而定，本文实验中所使用的取值为 0.16 × Bandwidth。 链路带宽设为5.8× scale(byte/s)，以一段SelfLike 流量为实验材料，实验过程如图6所示。 点A为满足拥塞预警式(8)的第一个点，此时发生分组丢失的时间比例为0.33%，点B处发生分组丢失的时间比例为1.33%，点C处发生分组丢失的时间比例为0.67%，点D处发生分组丢失的时间比例为1.0%，点E处发生分组丢失的时间比例为0.33%，点F处发生分组丢失的时间比例为0.33%。 可见，实验中在点A处给出了链路拥塞的预警，而在其后点B与点D所对应的时段，链路确实达到了本文所定义的拥塞的条件，因此在点A给出链路拥塞的预警是适宜的。 实验结果表明，本文提出的预警方法切实有效，能够帮助提前对未来链路的拥塞与否做出判断。

图6   流量上界预测与拥塞判断

6 结束语

本文分类总结了关于网络流量预测的历史研究情况，针对在大时间粒度下平稳变化的流量，提出了 LSTM 流量预测模型，并验证了该模型具有优于 SVR 模型、BP 神经网络模型的极高的预测精度。 针对在小时间粒度下波动剧烈的非平稳流量，提出了具有改进的长短期记忆网络结构的 LSTM-modified 流量预测模型。 本文通过实验验证了该模型在处理非平稳的MMPP 流量时具有明显优于其他模型的预测效果。 在处理自相似特征明显的SelfLike流量时，基于LSTM及其改进网络的模型具有大幅度优于SVR模型的预测能力。 本文的主要研究目标是实现网络流量的实时预测，这对于未来链路拥塞的判断具有很高参考价值。 本文在 LSTM-modified模型的基础上探讨了一种链路拥塞预警方法，并通过实验证明了该方法能够及时有效地预测链路拥塞的发生。 作者简介 黄伟(1978-)，男，河北保定人，中国电子科技集团公司第五十四研究所高级工程师，主要研究方向为通信系统总体技术、通信系统与网络仿真 。 刘存才(1965-)，男，河北石家庄人，中国电子科技集团公司第五十四研究所高级工程师，主要研究方向为通信网仿真和通信网可靠性研究 。 祁思博(1991-)，男，河北石家庄人，中国电子科技集团公司第五十四研究所工程师，主要研究方向为通信网仿真和软件定义网络 E-mail：773624104@qq.com。 网络与信息安全学报

　　《网络与信息安全学报》是由工业和信息化部主管，人民邮电出版社有限公司主办的信息安全领域的学术刊物，现为中国网络空间安全协会会刊，中国科技核心期刊、CCF推荐中文科技期刊。办刊宗旨：汇聚安全创新思想，传播学术研究成果，提升科学研发实力，服务国家信息安全。

中国网络空间安全协会会刊

中国科技核心期刊

CCF推荐中文科技期刊

关注我们，查看更多内容

点击阅读原文，查看完整内容