第10章 利用物联网的深度学习奇迹

拉姆戈帕尔·卡希亚普，博士

关键词 & 定义

DM. 数据挖掘
数据挖掘是发现大规模教育列表中规律的途径，涵盖机器学习、知识片段和数据库框架交叉领域的各种方法。它是一种基本方法，通过细致的系统来关联并提取数据模式。它是计算机科学的一个跨学科分支。数据挖掘过程的总体目标是从教育集合中提取信息，并将其转换为便于使用的有效结构。除了粗略的分析步骤外，它还包括数据库和数据网络方面、数据预处理、模型和选择思路、独特性估算、灵活性考虑、已发现结构的后处理、描述以及在线更新。数据挖掘是“数据库中的知识发现”过程（即KDD）的分析阶段。

深度学习
深度学习是机器学习技术之一，而机器学习本身又是更广泛的人工智能领域的一个子集。深度学习是一类使用多层非线性处理单元进行特征提取和变换的机器学习算法。每一层后续的层都将前一层的输出作为输入。深度神经网络、深度置信网络和循环神经网络已被应用于计算机视觉、语音识别、自然语言处理、声音识别、社交网络分析、机器翻译和生物信息学等领域，其产生的结果实际上与人类专家所达到的水平相当，有时甚至更优。

Internet-of-Things
物联网（IoT）指的是一种包含能够进行社交互动并共享电子数据的物理部件的系统。物联网涵盖了各种“智能”设备，从可传输生产过程信息的现代机器，到可跟踪人体相关数据的传感器。这些设备通常使用网络协议（IP），即与互联网上识别计算机并使其相互通信所用的相同协议。物联网络的目标是让设备能够自动上报实时信息，从而提高效率，并比依赖人为干预的系统更快地将关键信息呈现出来。

10.1 引言

物联网是不可避免的，并已应用于我们生活的各个领域。全球各国政府都在利用物联网从不同领域收集数据，以提升繁荣、交通、安全和进步。各类组织也使用物联网，旨在为用户提供更优质的服务，或提高工作场所的繁荣与安全。人们也在利用物联网来了解和管理自己的生活，例如亚马逊就使用了能够通过语音与人员交互的智能物联网设备。Echo 可以被要求提供有关天气的紧急信息、发出提醒、播放音乐，或从网络上的各种资源获取新闻推送。这项技术进步使得数十亿个被称为“物”的智能设备或设备能够利用两三种类型的传感器，聚合自身收集的特定类型信息，并整合来自其他智能“物”的信息。随后，它们能够将这些信息提供给指定的

通过聚会来满足一些需求，例如控制和检查当前工作环境、加强商业合作或解决限制点问题。目前有30亿台设备连接到互联网。这一数字将在2020年增长到200亿。尽管这些设备使我们的生活更加安全和有意义，但它们也增加了程序员可能攻击的目标数量。因此，确保这些设备受到保护，防止敌人和未授权访问变得至关重要，这一需求是根本性的。本章旨在开发一种入侵检测系统，通过结合分类和决策树（DT）计算，用于感知针对物联网设备的应用层攻击。通常，物联网设备会收集识别数据，并通过网关将数据发送到中央系统进行进一步处理。物联网设备发送的数据异常可以在中央结构的应用层被识别出来。本研究的目标是：

1. 深入理解物联网及其工作原理；
2. 深入理解各种方法的异常情况；
3. 开发一种基于聚类和决策树的入侵检测模型，并将其应用于物联网；
4. 对该模型进行评估；
5. 提出改进该模型的候选框。

物联网是一项有前景的技术进步，但目前仍处于初期阶段，面临着各种挑战[4]。目前，物联网系统尚无统一的标准框架。由于物联网仍在不断发展，供应商急于推出产品以获取经济利益，并促使用户选择其设备的安全方案，从而与其他厂商的产品形成竞争。此外，物联网具有异构性，这使得合作伙伴之间的协作、管理以及实施物联网概念变得十分困难[1]。物联网设备通过不同的通信协议在不同架构上进行通信（例如，全球移动通信系统、广域网、无线传感器网络、蓝牙）。鉴于物联网设备数量庞大、类型多样，且硬件资源有限，在这些设备之间实现可靠的通信和所需的安全防护颇具难度。这推动了基于集中式与非集中式网络的身份认证、异常检测及保护工具的发展。

10.2 启示

决策支持系统是指基于数据的自动化建议帮助，以推动决策并支持管理者。在最基本层面上，来自多个源的数据流由计算机程序内的模型进行评估。喷涌而出的数据流通常始于数据库和结果，例如生成一份以直观方式呈现的报告。该研究可被描述为基于图形的模型、经验学习、模型检验和定量研究的结合，主要通过估算来加强有关持续研究编写计算机程序的决策，这被称为连续研究。此类研究通常经历两个标准阶段。第一阶段重点通常是整合内部数据并将其转换为有序形式。第二阶段则由海量数据的频繁出现所引发，其特征是新系统的进步、类型的增加以及来自外部源的数据流的整合。在参考部分，可以找到一个描述性编程的模型可视化布局。更新商业方法并因此改进各类决策的最佳途径是对待分析的数据进行处理。同样，这可以保留关键特征，节省宝贵的时间和成本。确定示例性程序的核心焦点应当

能够从不兼容的数据中感知重要数据。

研究是每个过程的一部分，本章还展示了计算可能如何运作。在基于物联网的有机网络内部，分析概览和调查持续产生数据，包括来自数据库的历史数据，以获得最佳结果[8]。由于信息系统需要处理不同种类的数据流，输入流被分批或集合进行检查。结果是一个包含重要信息的输出流。尽管研究看似是一种有用的工具，但也可能存在无法实施的领域。最明显的例子是技术进步，因为研究尚无法获取过去事件的数据，因此数据必须依赖于之前已执行的类似努力。此外，某些定量模型无法覆盖特定的创新领域。这使得基本决策处于一个模糊的框架中。为了应对这一问题并基于研究、直觉和个人经验建立基本决策的整体图景，需要情感数据[5]。

此外，解释限制通过支持语义匹配，为正当化系统行为提供了依据，从而增强了对系统响应的信任。如果无处不在的微型设备能够对隐式恢复的数据进行板载管理，它们便可以向外部设备以及应用程序展示自身及其所处环境的信息。这将提升互操作性和灵活性，推动实现传统物联网设施和系统尚未允许的高度自动化的不可避免的数据结构。机器学习[22], 物联网络和海量信息相互依赖，同时完成了一项卓越的工作，如图10.1所示。

无论如何，都会引发两个基本结果，此外，通过减少用户使用管理系统所需的用户操作负担，人机交互可以得到提升。在传统物联网检查中，当需要执行任务 [10] 时，用户直接与一个设备交互。然而，运行在移动计算设备上的用户专家应能够同时协调各种嵌入式小型组件，为用户提供基于情境动态调整的任务和决策支持。

此外，尽管机器学习框架、估算方法和工具已经带来了新型分析方法，这些方法对于大数据物联网视角而言极为重要。

基于开始和排斥性披露结构的滥用通过非变更策划如预期发生，补偿了在完成工作、设备不稳定性以及远程通信性质缺失方面可能出现的故障，使可适应的物联网系统在其应用中变得极为灵活，无论其外观如何[11].

海量数据分析是一个快速发展的研究领域，涵盖程序构建、信息关联等领域，并已成为理解与监督不同学科领域中复杂问题的不可或缺的术语，例如扩展、相关数值计算、冷静、计算科学、有益的组织、社会关联、后端、商业、政府、控制、交通和媒体通信。海量数据的应用价值主要体现在物联网领域。大规模数据被用于构建物联网架构，这些架构包括物驱动、数据驱动、优势驱动设计以及基于云的物联网。高级物联网接口支持传感器与无线电、持续监测验证、低功耗和中心聚类，传感器框架与物联网优势主要结合语义关联、安全与保障、确保传统以及智能组织的设计范例[9]。为了有效融合大规模数据并实现通过物联网连接的设备间通信，采用机器学习框架。机器参与利用显式结构从大规模数据中分离出关键信息，这些结构在整合时偏离了置信度研究、聚类、贝叶斯框架、决策树和随机森林、增强向量机、支持学习，汇总学习，以及改进基础学习。

10.3 深度学习与物联网领域的决策

本节将更详细地探讨数据驱动的关键管理。该过程中的核心人物仍然是人类，但决策的细节重要性以及决策间的确定性依赖于少量数据和信念，而非适应能力、长期经验或直觉。通信传媒组织和金融行业在20世纪90年代有效地整合了系统，以评估其累积的大量数据。这些系统支持交易、有序展示、强制领域和信用评分。随着组织间关系进展速度的加快，数据驱动的基本权限也因信息技术的持续进步而不断发展。过去几年中，人工智能（AI）技术与使用估算方法的机器发现迅速发展，旨在以更精确且更自动化的方式满足需求。考虑到这一点，推动关键主动性能力似乎无穷无尽。实施数据驱动基本权限的大型组织包括亚马逊和谷歌。亚马逊通过收集有关建立强大商品提案的数据来获取利润，而谷歌则致力于完全基于累积数据做出决策。数据被累积、保护，

分离并产生方差；最后的信息，即信息聚类策略的后续效应，可被描述为引入了有说服力的决策。在基于证明的网络方法范围内，该信息是决策过程中的一个重要部分。

10.3.1 物联网参考模型

目前尚无标准的物联网示例；思科提出的模型是其中最具合理性的样本之一，以一种引人入胜的方式明确了物联网的层级结构。思科的物联网参考模型基于信息流，可作为深入理解物联网连接层级及其潜力的基础。第一层包括配备特定传感器的设备，这些设备不受地域限制，也不受尺寸显著约束，能够产生数据并被控制。第二层涉及网络，通过编码、交易和协调实现设备之间、不同系统之间以及与第三层之间的通信。第三层通过对数据进行分离分析，将数据转化为可存储的信息，此处的分析包括评估、整理和压缩等。第四层是数据被安全保存、处于静止状态并为后续使用做好准备的层级。在第五层，数据被转移并整合到不同的配置中，以便应用程序能够使用和读取，此时的数据即为当前信息。第六层由特定应用程序对信息进行解释，应用形式从控制应用程序到商业智能和分析不等。第七层涉及流程和人员，根据所传递的信息采取行动并执行相应任务。借助此模型，可以更清晰地理解物联网有机网络内的范围与活动，这一理解可能至关重要，因为本节后续内容均基于这些考量。

图10.2展示了显著的机器学习计数如何产生不同的结果，这需要正确的理论。用于监督异常确认的可量化方法包括高斯分布，以及检查信息点距离真实信息均值的远近。Z分数是参数化分布中常用的一种度量方式，它依赖于信息的均值和标准差。

在个人数字助理上进行基础学习研究时，协调器是否必须根据资源受限更严格的安排进行调整？在资源受限的阶段进行图像研究可能会消耗基础处理和内存资源。

例如，Spot Garbage

应用程序使用卷积神经网络框架来识别图像中的垃圾。但它占用了83%的中央处理器，并预计控制响应将在五秒内完成。幸运的是，近年来在模型压缩、硬性选择和复兴管理者方面的进展，正在推动物联网设备上的深度学习。这些特性需要较强的筛选能力，而在许多物联网设备上，这种能力可能是受限资源。专家们已经提出了三种不同的方法来管理资源受限的设备，同时减少其对中央处理器、内存和功耗的需求[2]。

结构权重是将高度互联的神经网络框架转换为关联较少的组合器的一种途径。这种结构并非适用于所有学习框架，但经过适当配置后，可以降低最大值和估计堆栈。通过合理地剪枝冗余连接，计算负载可减少至原来的十分之一，而不会显著影响精度。一项研究发现小型框架模型的另一个显著优势：这些压缩模型能够在常用的物联网平台上运行，包括高通、英特尔和英伟达的平台。另一种直接缩减计算负载的方法则存在较大不确定性，而非确定性过程，其估计依赖于注意力中心对周围冗余影响的准确率。例如，在一项关于低功耗设计的研究中，专家通过将低影响神经元中每中心比特数减少33%到75%，取得了显著成果。这一调整并未降低精度。

尽管该方法适用于少数应用场景，但对于需要高精度的应用程序而言，估计管理并不可行。

第三种在物联网设备上直接进行基础学习的方法是传递特定的重建硬件。包括卷积和基础神经网络框架，

10.3.2 机器学习基础

机器学习是人工智能的一个分支，旨在构建从以往联系中获取信息的系统。特别是，与专家系统不同，机器学习算法和方法通常是数据驱动、归纳性且具有通用性的；它们的定义和应用侧重于在广泛的任务类别中进行数值分析或决策，例如垃圾邮件过滤、手写认证或活动区域识别。机器学习问题的三大基本分类包括：分类，以及相关的正向关系

测试到一组可能的描述之一，例如图10.3中所示的电子邮件是否为垃圾邮件 n。因此，该请求具有离散的[12]元输出。这是本部分讨论的主要问题，即估计因变量与多个自变量之间的关系，例如根据房屋的面积、年龄、区域和其他特征预测其购买价格。实际上，信息丰富和诱发犯罪倾向都可以在稳定范围内变化。聚类，即将感知系统限制于群体，能够增加每个聚类内部样本的相似性以及群组之间的差异性。多样案例认证问题取决于紧迫性的推动。

一个机器学习结构的性能通常包含两个基本阶段：训练和测试。在训练阶段，所采用的机器学习算法从有序数据中归纳得出特定问题的模型[13]。

每个要描述的公开数据集都被划分为用于模型构建的训练集和用于验证的测试集。存在一些用于认真选择训练和测试部分的方法。其中，在k‐折交叉验证中，数据集被划分为 k个大小相近的子集；其中一个子集用于测试，其余的 k − 1个用于训练。该方法重复执行 k次，每次使用不同的子集进行测试。而较为稳定的留出法结构则是随机划分数据集，通常将更大比例的样本分配给训练集，较小比例分配给测试集[17]。

10.3.3 高效训练算法

参数更多的大型模型似乎能实现更高的准确率。然而，使用更大模型的缺点是训练时间更长；通过批量标准化，可以调整内部层的均值和方差，使其更适合训练[14]。

这使我们能够使用更高的学习率，从而加快训练速度。

批量标准化还能够正则化模型，因此减少了对其他正则化方法（如丢弃法）的需求[16]。一种称为密集‐稀疏‐密集（DSD）的训练框架技术分为三个阶段：首先使用大量参数进行训练，然后减少参数数量（即剪枝），最后再次使用大量参数进行训练。作者表明，采用DSD训练的框架比标准训练方法具有更高的精度。这项工作的本质是先学习基本参数，再基于已学习的基本参数来学习其余参数。另一种可行的训练方法是使用低精度数学运算，相比浮点运算，定点计算的计算开销更小，有助于在训练过程中降低准确率需求。

10.3.4 安全深度学习

已采用多种硬件支持策略来促进准备过程，例如分布式处理和GPU加速计算。大型神经网络框架和其他机器学习分类器似乎对输入的微小扰动非常敏感。这些数据源对人眼而言可能难以察觉；因此，系统可能在未引起明显变化的情况下出现失误[20]。基于显著性学习的图像表示旨在全面理解并分离物体。对于高功耗边缘设备而言，在功耗与接收图像的质量之间进行权衡是一个尤为关注的问题。通过智能控制相机参数，可以有效管理传感器数据的生成，从而在给定功耗预算的前提下增强信息获取。例如，通过控制相机的空间目标，可在传感器端实现基于感兴趣区域（RoI）的编码，在受限的能耗条件下减少信息损失。此外，对于低端设备，必须考虑基本的图像传感器噪声，以实现高效的图像表示[21]。

已有大量前期研究探讨了低质量图像对图像表示的影响。

传统的去噪框架可用于预处理阶段以提升图像质量。超分辨率技术可应用于低目标图像。然而，由于对所有数据都进行预处理，导致对原本清晰的图像产生不必要的处理，进而造成理想图像的精度失真。数据增强方法也可同时用于噪声图像和低目标图像。该

完美图像与受损图像的程度以及在准备过程中面临的困难定义，决定了每种数据分配的执行方式。必须考虑无瑕疵图像与噪声图像准确率之间的权衡。此外，考虑到解决混淆问题的披露机制也至关重要，因为目前几乎没有关于噪声图像和低目标图像的异议领域相关研究。

10.3.5 鲁棒且分辨率不变的图像分类

使用深度学习进行图像排列旨在全面区分物体。对于高功耗边缘设备而言，管理所接收图像的重要性和质量之间的权衡至关重要。基于感兴趣区域的编码正成为在资源受限的边缘设备中控制重要性与质量权衡的标准方法。

此外，为实现低端设备的高效图像表示，不可避免的图像传感器噪声也必须被考虑。本研究的目标是提高分类器对此类扰动的鲁棒性[18]。已有多种前期工作研究了低质量图像对图像表示的影响。提升聚类精度有两种不同方法：一种是在执行聚类之前消除此类干扰；另一种是对部分耦合框架采用两阶段预处理流程，分析噪声和图像质量退化对系统精度的影响，并利用数据扩展重新设计/改变系统。

10.3.6 使用完美与噪声图像的训练

清洁、噪声/枢轴异常在仅使用清洁图像和使用杂乱及噪声图像进行准备之间表现出显著的权衡。无论是完美图像还是噪声图像，仅旋转困难增强精度均优于纯粹的数据扩展方法。这表明，在应对像素级干扰时，联合嵌入带来的最佳正则化比单纯依赖扩展数据更具挑战性。

低分辨率（LR）图像通过下采样因子为2或4的下采样组件生成。下采样后，这些图像采用“最近邻”或“双三次”技术进行上采样。在准备过程中，每张图像均随机提升子采样因子并采用上采样策略。生成的低分辨率图像与理想高分辨率（HR）图像在准备过程中伴随或不伴随枢轴异常进行混合。随后，框架分别使用清洁图像和低分辨率图像进行设置以开展研究，测试精度

使用低分辨率图像进行训练可提升LR图像的精度，相较于仅使用清晰图像在MNIST和CIFAR10上的训练效果更为突出。当仅使用LR图像进行训练时，对于MNIST而言，仅用LR图像训练即可在清晰图像和LR图像上均实现极高精度。这是因为LR图像具有足够的特征，能够很好地泛化到清晰的高分辨率图像。但对于CIFAR10这类复杂图像，仅使用LR图像训练会降低对清晰高分辨率图像的精度，因为LR图像丢失了部分特征。在所有情况下，由于LR图像的特征损失，其精度均不及清晰图像。当同时使用清晰图像和LR图像进行训练时，有趣的是，结合清晰图像与LR图像训练的神经网络框架相比仅使用清晰图像训练的框架，在清晰图像和LR图像上的精度均有更好提升。这表明使用LR图像进行数据增强同样有助于对理想图像进行正则化。然而，相较于仅用LR图像训练的框架，该框架在LR图像上的精度有所下降，原因是在训练过程中仅用LR图像训练的模型接触了更多的LR图像，因此在LR图像上表现更优。此外，引入枢轴困难仅提升了清晰图像和LR图像的准确率，而未引入枢轴困难的框架则无此提升。

一种传统的神经网络（CNN）包含三种类型的层：输入层、隐藏层和输出层。输入层和输出层为单层，而隐藏层可以具有多层结构。隐藏层的数量取决于数据集的规模。通常，CNN包含2到4个隐藏层，而复杂的系统可能超过10个隐藏层。每一层都包含一组节点，这些节点被视为神经网络的核心单元，称为神经元。它们的输入来自前一层的输出，除了输入层，其输入为原始信息。同样，一个神经元的输出将作为输入传递到下一层。

作为一个基本单元，神经元执行一系列简单且非线性计算，过程如下。在构建模型结构之后，下一步是训练神经网络参数[6]。原始信息将经过整个框架，并使输出单元产生最终结果，这些结果将通过损失函数与期望的输出结果进行比较。我们在此选择Softmax函数来确定信息测试的标签。Softmax损失的概念很直接。给定一个信息测试 x(i)及其真实标签 k，损失函数仅关注预测概率

第 k类的。对于不同类别的预期概率，由于容量I(•)的结果为0，其损失等效于0。基本上，神经网络的训练阶段是精细调整模型参数，以使其损失降至全局最小值。

10.3.7 智能快速数据处理

在本节中，我们将致力于结合上述两种分类的优点，特别是保留第一类信息的物理特征，同时在信息子集确定过程中使用线性变换。我们试图关注两个指标：大规模信息指数和总体信息指数。对于大规模信息指数，我们提出在信息子集确定中采用SVD‐QR方法，其中利用SVD对奇异值及对应的特征向量进行排序，并可根据奇异值确定信息子集的规模；而QR用于选择哪些信息样本应被选作深度学习的输入[3]。SVD是一种线性变换；然而，QR决定了待选信息子集的列表，从而使所选的信息子集保留了原始信息集合的相同特征。对于具有大量信息输入的深度学习，例如规模为数千乘数千的系统，如何将SVD‐QR方法扩展到大规模信息系统尚不明确。

大规模数据处理的一个重大挑战是扩展当前在单台机器上处理中等或大规模数据预处理的实践，尤其是在考虑实际系统和架构需求的情况下。许多大规模数据处理方法聚焦于降维，即执行降维映射。这类方法的一个典型例子是随机投影方法，其随机选择映射。另外一些方法通常针对给定的小规模信息集合定制映射，例如信息感知的降维策略。这种映射并非预先确定，而是依赖于信息本身。PCA算法利用信息来计算映射，由于信息是时变的，因此该映射也是时变的，使得PCA能够识别数据的潜在结构。PCA算法基于一个简化的神经元模型，即采用Hebb型学习方式更新连接权重的单个神经元。通常，PCA可通过信息协方差矩阵的SVD或特征值分解来实现。后续影响

PCA的各个主成分通常与分段得分相关，有观点认为每个标准化的独特变量都可能提高分段得分。基于PCA的边缘保护特征技术已应用于高光谱图像分类。针对核主成分分析的嵌套描述方法进行了研究，并与半监督学习相结合。

10.4 手写数字识别在物联网中的仿真结果和性能分析

手写数字在人类与物联网设备之间充当接口，这可以在以下样本中体现。

1. 智能手机是最突出的物联网设备，许多高级手机在其触摸屏上使用手写数字/字母进行输入。令人期待的是，手写数字/字母输入能够被连续地100%准确识别。
2. 在许多独立系统中，例如自主邮件扫描仪和零售商，手写数字识别对于识别邮政区域和收件人电话号码至关重要，以便确定邮政路线，并使收件人能够接收到关于发送件投递状态的即时消息。自主系统是物联网的关键组成部分。
3. 在监控系统中，手写/印刷数字识别对于识别特定对象（例如车辆）至关重要，而监控系统是任务关键型物联网应用。
4. 在教育物联网中，例如基于机器的评分系统，手写数字/字母识别将有助于快速批改本科生考试试卷，并减轻教师的繁重负担。这对于多项选择题尤其受限且对本科生来说耗时较长。
5. 在金融物联网中，例如自主投资者，银行支票上的手写数字必须实现100%精确识别，以确保可信交易，从而实现24小时账户管理。

本章中，我们使用手写数字识别进行仿真[15]。我们应用 SVD‐QR预处理和LMSVDQR预处理方法，用于深度学习神经网络的手写数字（0到9）识别。手写字母识别将在我们未来的工作中加以研究。SVD‐QR方法的仿真结果包含5000个手写数字训练样本。每个训练/测试样本包含一幅 20 × 20像素的灰度图像，表示0到9之间的数字，每个像素由一个浮点数（从

−0.1320到信息指数中我们所使用的1.1277，用以展示该区域的灰度强度。 20 × 20像素矩阵可以向量化为一个400维向量。因此可以构建一个网格，其中每个训练

样本变为单独的一列。这为我们提供了一个 5000 × 400

网格，每一列都是一个手写数字（0 到 9）图像的训练样本。训练集的第二部分是一个5000维向量，包含训练集的标签（来自0 到 9的真实数字）。总共我们在数据库中有5000个手写数字的样本，且每个数字（0 到 9）都有500个样本。

第10章 利用物联网的深度学习奇迹

拉姆戈帕尔·卡希亚普，博士

10.5 智能交通负载预测

真正的物联网网络通常属于异构软件定义网络（SDN）；这是一种在物联网中广泛使用的方法，用于管理异构资源和结构。在这种SDNIoT中，如描述的异构设备在感知层感知和收集信息后，通过信息平面中的交换机汇聚，并将信息发送到网关。随着设备数量的增加，交换机中的汇聚流量负载可能变得非常大，因此需要将不同信道均匀分配给每条链路以均衡负载。由于非对称信道之间存在高干扰，且对称信道数量有限，部分重叠信道（POC）可作为一种有效方案来降低干扰并提高网络吞吐量[7]。当前的POC算法主要关注信道分配后系统性能的优化，但未考虑因信道分配过程中频繁暂停传输而导致的吞吐量浪费。鉴于当前物联网的高度动态性，已分配信道需频繁变更以自适应调整剧烈变化的网络流量。

这种动态变化对信道分配过程的快速处理提出了关键要求[25]。为解决这一问题，基于反协调的POC分配（ACPOCA）能够有效减少信道分配过程的训练时间，并提高系统吞吐量。然而，在没有中央控制器的情况下，系统的信令开销和暂停时间受到分布式环境的限制。因此，我们在本章第一部分提出一种基于深度学习的智能POC分配算法，以应对上述挑战

通过统一SDN实现。基于深度学习方案的贡献可以从两个方面进行阐明。首先，借助SDN的集中控制架构，交换机不再需要交换信道状态，所有信道分配流程均可在本地控制器中完成，从而显著降低了系统的信令开销。

其次，由于深度学习方法能够通过对现有信道分配算法（如ACPOCA）收集的信息进行训练，从以往信道分配过程中学习，因此信道分配可以在一个简单的单周期内完成。

首先，我们利用突破性的深度学习来预测复杂的流量，该方法可实现超过90%的准确率，并具有快速响应时间（在三种不同的预测方法中均为5毫秒），以进一步比较这三种不同控制框架下的预测精度。结果表明，基于集中式SDN的预测其预测准确率始终优于另外两种框架[23]。最后，在集中式SDN控制下，我们将基于深度学习的流量预测与信道分配相结合，利用预测的流量负载作为规则执行智能信道分配。这种智能信道分配方法即我们所称的TP‐DLCA，能够有效提高信道分配的精度和处理速度。仿真结果显示，采用我们所提方案的SDN‐IoT在吞吐量和延迟方面均优于传统算法。

10.6 基于深度学习的信道分配性能

本节对比了POC与不同学习结构及不同学习参数下的学习性能。接着，我们分析了本文所提方法的POC精度。

最后，我们比较了基于深度学习的POCA（DLPOCA）与传统信道分配算法（即对称信道分配、POC、AC‐POCA）之间的吞吐量，以对比训练精度和不同的学习结构，即具有2层和3层隐藏层的深度置信网络（DBN）。每层的节点数量设置为20和100。然后，我们将DBN结构改为具有1层和2层卷积层以及2个全连接层的深度卷积神经网络。在卷积神经网络中，卷积层的大小设为 3 × 3，全连接层的节点数量为100，卷积层的通道数量为20，填充和步幅均设为1。接着，我们考虑

关于不同系统架构中的独特训练结构。随后，我们使用较小的批量大小（20 和 500 个样本）运行每种训练形式，以获得精度结果。从结果中可以看出，准确率与训练结构密切相关，在本例中，深度卷积神经网络明显优于深度置信网络。训练时间稳定可靠，整体上优于传统算法。在传统算法中，交换机选择其链路的信道依赖于其他交换机的决策，这意味着交换机必须等待先前的交换机完成其信道分配任务。循环次数越大，每次方差在信道分配上所需的时间就越长，从而导致重复装配时间增加。由于重复装配时间的存在，冗余信令也随之增加。

在交织时间内，由于信道重新分配，所有链路均中断，吞吐量也因此类重复组合而下降。

10.6.1 用于个人追逐的深度学习系统

与将问题分离为行人定位和个体识别两个独立任务的普通方法不同，我们在一个单一的卷积神经网络中同时处理这两个方面。该卷积神经网络包含两个部分：给定一张完整的输入图像，行人候选网络用于生成候选行人的边界框，这些边界框随后被送入识别网络以提取特征

对比目标个体。提议网络和识别网络在联合优化过程中相互适应。例如，提议网络可以更专注于召回率而不是准确率，因为误报可以通过最后的特征匹配方法消除。

同时，提议网络中的错位也是可接受的，因为它们可以通过识别网络进一步校正。为了提高整个框架的灵活性，受近期目标检测技术进步的启发，我们促使两个部分共享底层卷积特征图，这从根本上加快了推理过程。传统的重识别特征适应主要使用成对或三元组距离损失函数。

然而，当每次仅有一些信息样本时，这些方法效率不高，并且存在 O(N²)潜在的信息组合，其中 N为图像数量。不同的测试方法可能显著影响收敛速度和质量，但随着 N的增加，寻找高效的采样方法变得愈发困难。

另一种方法是使用Softmax损失函数学习分类人物，该方法能够同时有效比较所有样本。随着类别数量增加，训练大规模Softmax分类器系统变得越来越慢，甚至无法完成。在本节中，我们提出一种新颖的在线实例匹配（OIM）损失函数以应对上述问题，如图10.5所示。我们维护一个包含所有已标注人物特征的查询表，并进行查找

在缩小规模的集群测试与所有列入的部分之间进行分离。

然而，场景图像中可能会出现大量未标记字符，这些字符可作为命名人物的负样本，从而在边界附近被错误分类，以便进一步存储其特征并进行比较。这是个体搜索问题设置带来的另一个优势。在我们的研究中，无参数的OIM损失比Softmax损失表现得更快且更优。

10.6.2 网络架构

一种在单一卷积神经网络（CNN）中同时处理行人识别和个体重识别的深度学习结构如图10.5所示。给定整幅场景图像作为输入信息，我们首先利用骨干CNN将原始像素转换为卷积特征图。基于这些特征图构建一个行人候选框网络，用于预测潜在人员的边界框，然后将这些边界框输入到带有RoI池化的识别网络中，以提取每个候选框的 L2‐标准化256维特征。在推理阶段，我们根据各个候选人员特征与目标个体特征之间的距离进行排序。在训练阶段，我们在特征向量上提出一种OIM损失函数[24]来指导识别网络的训练，同时结合多个其他损失函数以多任务方式训练候选框网络。接下来，我们首先详细介绍基于CNN的模型结构，然后阐述OIM损失函数。我们采用ResNet‐50作为CNN模型。它前面包含一个 7× 7卷积层（称为conv1），随后是四个模块（分别称为conv2_x到conv5_x），各包含3、4、6和3个残差单元。给定输入图像后，骨干网络将生成 1024个通道的特征图，其分辨率为原始图像的1/16。首先添加尺寸为 512 × 3 × 3的卷积层，专门用于调整行人相关的特征。接着我们关联每个特征所代表的9个邻域，并使用Softmax分类器预测每个实例是否为行人，同时使用线性回归调整其区域。我们将在非极大值抑制后保留置信度最高的128个边界框作为最终候选框。为了从所有这些候选框中找出目标个体，我们构建一个识别网络来提取每个候选框的特征，并与目标特征进行比对。我们首先采用RoI池化层从

每个命题的茎部高亮图随后通过 ResNet‐50 的其余卷积层 conv4_4 到 conv5_3，接着经过全局平均池化层压缩为一个 2048 维的特征向量。一方面，由于步幅推荐不可避免地包含一些错误提醒和错位，我们再次使用 Softmax 分类器和线性回归来剔除非人员目标并优化区域。另一方面，我们将特征投影到一个 L2归一化的 256 维子空间（id‐成就），并在推理时利用该子空间计算与目标个体的余弦相似度。在训练阶段，我们使用 OIM 损失函数对 id‐成就进行约束。结合用于检测的其他损失函数，整个网络通过联合学习共同训练以完成多种任务，而非采用交替优化的方式。

10.6.3 数据集

我们大规模收集并注释CUHK‐SYSU 人物搜索数据集，以评估我们的技术在误用两个信息源来区分场景方面的能力。一方面，利用手持摄像机拍摄城市社区周围的路面快照；另一方面，我们收集包含步行人员的视频片段描述，因为它们能够增加视角、光照和背景的多样性。

本领域的关键测量指标还进一步表征了评估标准和度量方法。

10.6.4 统计学

在收集完全部 18,184 张图像后，我们首先对这些场景中的 96,143 名行人的边界框进行粗略标注，然后关联出现在不同图像中的同一人物，最终得到 8432 个已标记的人物。记录了两个数据源的方差，用于明确那些以半身或异常姿势（例如坐着或弯腰）出现的人物。此外，在不同视频帧中更换服装和装饰的人物未在我们的数据集中进行关联，因为个体查询问题主要需要根据人物的服装和身体形状而非面部来识别。

为了确保步行的基础人员不包含已标记的个体，从而可以安全地将其填充为ID的负样本。请注意，我们还会忽略身高小于50像素的基础步行动作，因为即使对于人工标注者来说也难以辨认。标记的身高分布

andunlabeled personalitiesare exhibitedin Fig. 10.6。可以很清楚地看到，我们的数据集具有丰富多样的行人尺度。

10.6.5 在线实例匹配的有效性

通过将OIM与无需重新训练分类器网络的Softmax基线进行对比，可以检验OIM的充分性。首先，我们可以看到，在不重新训练分类器的情况下使用Softmax损失在整个过程中保持较低的精度。这一现象验证了我们的研究，即学习一个大型分类器系统是困难的。即使进行了适当的重新训练，训练精度仍然提升缓慢，且测试映射保持在约60%左右。相反，OIM损失虽然开始时训练准确率较低，但收敛速度明显更快，并且持续提升了测试性能。这种无参数的OIM损失直接进行学习，而无需学习一个大型的分类器网格。此外，训练和测试标准之间的差异不再存在，因为两者都依赖于 L2标准化分量向量的内积，这对应于余弦相似度。我们还评估了OIM损失在标准行人重识别任务上的影响，通过在三个大规模数据集上分别使用Softmax或OIM损失训练两种不同的基础CNN，即Inception和ResNet5。

10.7 讨论

深度学习在处理计算机视觉和商标识别中的明显棘手问题方面表现出令人惊讶的能力。

方言化语音，但它通常通过利用庞大的中央处理器和 GPU资源来完成所有任务。然而，标准的深度学习技术并不适合应对物联网应用的挑战，因为它们无法在相对有限的计算资源下产生任何影响。在使用翻译计算和网络权重时，可能会出现严重的灾难性问题。减少网络或核心点规模可能导致准确性和精度不可接受的下降。深度学习是解决各种研究和识别证据问题的最佳方案。当特别关注存储、内存和功耗资源时，深度学习可以向物联网设备提供信息。这些系统包含大量分布式设备，持续产生海量数据。不同类型的设备生成特定类型的数据，导致异构的数据集，但这些数据通常包含时间戳和位置信息。最后，物联网应用程序必须能够实时处理由于传输和安全错误引起的数据异常。人工智能在物联网应用和组织中正发挥着越来越重要的作用。投资于利用人工智能的新兴物联网企业的资金持续上升。过去两年中，企业已收购了多家专注于人工智能与物联网交叉领域的公司。此外，主要的物联网软件供应商现在开始提供集成的人工智能功能，例如基于机器学习的分析。人工智能在物联网中日益重要，原因在于其能快速从数据中提取洞察。作为人工智能的一项进展，机器学习具备自动识别模式并检测来自特殊传感器和设备（如测量温度、压力、柔软度、空气质量、振动和声音）的数据异常的能力。企业发现，相较于传统的商业信息设备，机器学习在分析物联网数据方面具有显著优势，能够在操作决策上提速高达20倍，并且比基于规则的监控系统（如语音识别和计算机视觉）具有更高的准确性，同时还能从以往需要人工审查的数据中自动提取理解。

对于大量信息输入，应用有限内存子空间优化 SVD（LMSVD）‐QR计算有利于提高信息处理速度。

在机器人转录数字识别中的重建结果表明，SVD‐QR和 LMSVD‐QR能够显著减少量化

在不损失性能的前提下，显著提升深度学习神经网络的贡献度，并大幅提高物联网中深度学习的信息处理速度。

因此，我们首先提出一种基于深度学习的活动栈期望计算方法，用于评估未来流量负载和登录系统。

DLPOCA用于深入地为SDN‐IoT架构中的每个连接分配通道，以实现基于深度学习的预测；而POCA能够有效避免潜在拥塞，并快速分配适当的直接链路到 SDN‐IoT中。仿真结果表明，我们的方案明显优于传统的信道分配算法。

10.8 结论

在信息预处理中存在两种基本情形：保留特定成分或补充缺失部分。均匀或非均匀采样能够保留数据的物理特征，但忽略了对数据之间更深层次关系（除均值和标准差之外）的分析；而基于变化的数据预处理虽然进一步利用历史统计信息探究了数据内部相关性，却可能丢失其物理特征。为了整合这两类方法的优势，本文建议在多层神经网络的深度学习预处理中采用SVD‐QR和有限内存子空间优化SVD‐QR算法。SVD‐QR适用于大规模数据池，LMSVD‐QR则适用于大量数据输入。SVD和基于最小均方的奇异值分解（LMSVD）直接对原始数据进行变换，QR分解则确定需保留的数据子集的数据采样索引，从而保留原始数据的物理特征。结合这些方法可实现手写数字识别自动化。重建结果表明，这两种方法能在不损失性能的前提下显著减少深度学习所需的输入数量。特别是，SVD‐QR仅需103个数据源即可达到与原始信息指数400个数据源相当的性能（准确率为 99.7%）。

需要构建一系列基于深度学习的方法，以应对使人类识别适应真实信息和应用程序的需求。从信息的角度来看，一方面，目标是促进对足够缺乏标注数据的测试。

深度学习系统应使用半监督噪声标签数据，或有效进行收集。另一方面，

该任务旨在解决利用当前每个人在其自身数据偏差中拥有的大量小型数据集的问题。提出了一种联合的单任务学习算法和空间引导Dropout方法，以在单一模型中明确处理领域适配问题。从应用角度来看，为了应对更为敏感的场景设置，需要一种卓越的深度学习结构，用于同时进行个体定位与识别。一项突出的在线实例匹配挑战工作使得学习识别特征更加有效。近年来，检测数据的爆炸式增长以及物联网的快速响应需求，导致无线物联网中的高速传输成为关键问题。在无线物联网中合理且直接地分配资源是实现高速传输的基本保障。然而，由于高流量负载的存在，传统的固定信道分配算法并不适用于物联网环境。最近，SDN‐IoT正致力于提升传输质量。此外，深度学习策略已在高计算复杂度的软件定义网络中得到广泛研究。因此，一种基于深度学习的新型流量负载预测技术应运而生，用于预测未来的流量负载和网络拥塞情况。DLPOCA能够智能地为SDN‐IoT中的每个链路分配通道，从而智能规避流量阻塞，并快速为SDN‐IoT的无线链路指派合适的信道。广泛的仿真结果表明，本文提出的方法显著优于传统的信道分配算法。