目录

前言

项目背景

数据集

设计思路

流量攻击方式

生成对抗网络

异常流量监测

实验环境

实验结果分析

更多帮助

---

前言

    📅大四是整个大学期间最忙碌的时光,一边要忙着备考或实习为毕业后面临的就业升学做准备,一边要为毕业设计耗费大量精力。近几年各个学校要求的毕设项目越来越难,有不少课题是研究生级别难度的,对本科同学来说是充满挑战。为帮助大家顺利通过和节省时间与精力投入到更重要的就业和考试中去,学长分享优质的选题经验和毕设项目与技术思路。

        🚀对毕设有任何疑问都可以问学长哦!

       大家好,这里是海浪学长计算机毕设专题,本次分享的课题是

       🎯基于深度学习的异常流量监测系统

项目背景

       随着互联网的快速发展和广泛应用，网络安全问题日益凸显。其中，异常流量检测是网络安全领域的重要任务之一。异常流量可能由网络攻击、恶意软件、非法访问等引起，对网络安全构成严重威胁。异常流量监测系统对于保护网络安全具有重要意义。基于深度学习的异常流量监测系统利用深度学习算法对网络流量数据进行处理和分析，能够自动识别和检测异常流量，为网络安全提供有效保障。

数据集

       现有公开数据集在异常流量类型和场景覆盖上的局限性。因此，我们决定自制一个更贴近实际场景的数据集。首先，我们收集了大量网络流量数据，包括正常流量和异常流量，这些数据来源于不同的网络环境和应用场景。然后，我们对这些数据进行预处理，包括数据清洗、格式转换和特征提取等，以确保数据的质量和一致性。接下来，我们邀请了网络安全领域的专家对处理后的数据进行标注，将异常流量分为不同的类别，并标注出异常流量的特点和行为模式。

设计思路

流量攻击方式

       网络异常流量攻击对网络的安全性和稳定性产生重大影响。常见的攻击类型包括分布式拒绝服务攻击，通过大量无用数据包或畸形数据包淹没目标网络；恶意软件攻击，通过感染系统获取未授权访问或窃取敏感信息；以及网络钓鱼攻击，通过虚假的电子邮件或网站欺骗用户透露个人信息。这些攻击对网络造成严重威胁，损害了网络的安全性和稳定性。

       归一化流是一种在机器学习中使用的生成模型，它通过一系列可逆函数的组合，将简单的分布转化为复杂的分布，例如图像或音频波形的分布。关键思想是使用可逆变换来保留概率分布密度，将简单分布映射到复杂分布。这种转换必须是双射的，并且具有可计算的逆变换。通常采用多个阶段的可逆函数来逐步建立分布的复杂性，其中常见的选择是仿生变换，包括线性变换和非线性函数。其他可逆函数包括神经网络、花键函数和自回归模型。

       在半监督学习中，归一化流可以提高模型的泛化能力。半监督学习中，只有部分数据有标签，而大部分数据没有标签。传统的监督学习方法难以充分利用无标签数据。归一化流可以将无标签数据映射到高维特征空间，使得模型能够更好地区分不同的数据点。同时，归一化流还可以统一标签数据和无标签数据在同一个分布下，减小数据分布差异对模型性能的影响。

生成对抗网络

       生成对抗网络（GAN）是一种基于零和博弈原理的深度学习模型，通过生成器和对抗器相互博弈学习，以获得高质量的输出。生成对抗网络由生成器和对抗器两个部分组成。生成器通过生成与真实数据相似的样本来提高对抗器的错误率，而对抗器则用于区分真实数据和生成器生成的假数据。通过反复训练，生成器和对抗器不断提升生成和区分样本的能力，最终达到纳什均衡状态。生成器和对抗器可以被看作是一个黑盒，进行输入和输出的映射。

       半监督生成式对抗网络（SGAN）是一种结合了生成对抗网络（GAN）和半监督学习思想的深度学习模型，于2016年提出。SGAN由一个生成器和一个鉴别器组成。生成器负责生成与真实数据相似的合成数据，而鉴别器则被训练用于区分真实数据和虚假数据。在半监督设置下，鉴别器还会根据可用的标签将真实数据学习分为N+1个类别，其中N是训练数据集中的类别数量，而生成器生成的伪样本则被视为第N+1个类别。

       半监督生成式对抗网络（SGAN）是一种深度学习模型，结合了生成对抗网络（GAN）和半监督学习的思想。它使用对抗性损失和分类损失的组合进行训练，旨在通过生成器生成与真实数据相似的合成数据，并通过鉴别器对标记数据进行正确分类。SGAN的目标是最大限度地提高标记数据和生成数据的可能性，同时最小化未标记数据的可能性。它在有标签数据稀缺或昂贵的情况下特别有用，通过训练有素的鉴别器作为分类器，实现了准确率接近全监督分类器的半监督分类能力。

异常流量监测

       在异常流量检测的研究中，涉及监督学习算法、无监督学习算法和半监督学习算法。监督学习使用带有标签的数据进行训练和预测，通过学习已知标签的正常和异常流量的特征来进行预测。无监督学习则使用未标记的数据来学习数据中的模式和异常情况，而不需要先验的标签信息。半监督学习算法结合有标签和无标签的数据进行训练和预测，利用更丰富的数据信息来提高准确性。这些算法在异常流量检测中发挥着重要作用，帮助识别网络中的异常行为并提供有效的安全保护。

       网络异常流量检测问题可以被视为网络流量的分类问题，其中对高维向量特征提取的研究得到广泛关注。然而，面对大量网络数据和对抗性攻击，传统机器学习模型的异常流量检测能力可能受到限制。近年来，生成对抗网络（GAN）的对抗性样本生成技术被应用于异常流量检测，通过生成与原始数据集相似但不完全相同的数据，提高数据集的多样性和数量，增强模型的泛化能力和鲁棒性，并解决数据不平衡问题。此外，GAN还可以通过对生成数据的反馈学习不断改进模型的性能和准确性，适应新的网络安全威胁和攻击技术。然而，仍然存在处理高维数据和提高GAN鲁棒性的挑战。

       残差网络（ResNet）是一种用于解决深层模型中梯度消失或梯度爆炸问题的结构，可以训练上百甚至上千层的网络。在异常流量检测领域，ResNet结构得到了广泛的研究和应用。ResNet通过多层残差块提取网络流量数据的特征，并结合分类器进行分类，提高异常检测的准确性和效率。它可以适应各种网络环境和数据分布，并且可以随着数据复杂度增加而增加网络层数。然而，ResNet仍然面临数据不平衡问题和处理高维数据的训练和分类速度较慢的挑战。

实验环境

       实验设置如下：窗口大小为60，步幅大小为10。使用学习率为0.002的Adam优化器来更新所有参数。在实验中，使用一层LSTM来提取时间表示，并采用学习率为0.2的自注意层来学习图形结构。使用作为归一化流框架，并针对SWaT数据集使用一个流块和512批大小，其他数据集使用两个流块和256批大小。所有实体的阈值λ设置为0.8。实验的epoch数为40。硬件环境为Intel i9-10900K和NVIDIA RTX 3090 24GB GPU，操作系统为Ubuntu 20.04，Python版本为3.8。实验所使用的工具和库包括torch、scikit-learn 0.24、pandas 1.2和numpy 1.19。

实验结果分析

       分类任务中，常见的评价指标包括准确率（ACC）、精确率（P）、召回率（TPR）、假正例率（FPR）、F1值（F1）和ROC曲线下的面积（AUC）。准确率衡量分类器预测正确的样本数占总样本数的比例，适用于样本数量相对平衡的情况。精确率表示分类器预测为某类别的样本中，实际属于该类别的样本所占的比例，衡量分类器在预测某类别时的准确性。

相关代码示例：

import numpy as np
from sklearn.ensemble import IsolationForest
from sklearn.datasets import make_moons

# 生成模拟数据
X, y = make_moons(n_samples=1000, noise=0.05)

# 划分有标签数据和无标签数据
X_labeled = X[:500]  # 有标签数据
y_labeled = y[:500] 
X_unlabeled = X[500:]  # 无标签数据

# 构建隔离森林模型
model = IsolationForest(contamination=0.05)

# 在有标签数据上训练模型
model.fit(X_labeled)

# 使用训练好的模型对无标签数据进行异常检测
y_pred = model.predict(X_unlabeled)

# 标记异常流量
anomalies = np.where(y_pred == -1)[0]

# 打印异常流量的索引
print("Anomaly Indexes:", anomalies)

海浪学长项目示例：

更多帮助