应用科学

Article考虑无人机中继与绿色能源的边缘计算网络多级任务卸载与资源优化

陈志雄*，肖楠和韩东升
华北电力大学电子与通信工程系，中国保定071003；2182215005@ncepu.edu.cn（N.X.）； handongsheng@ncepu.edu.cn（D.H.）*通讯作者：zxchen@ncepu.edu.cn

收到日期：3月2日 2020；接受日期：2020年4月7日；发表日期：4月9日 2020

摘要：

无人机（UAV）辅助中继移动边缘计算（MEC）网络是一种突出的概念，其网络部署灵活且 网络覆盖范围广。在应急通信和低成本覆盖等场景中，由于终端和无人机的能量及硬件设备有限， 卸载方法和资源利用率的优化是提高系统有效性的关键途径。本文考虑无人机的初始能量状态、绿 色能源充电功能以及计算卸载的可靠性，建立了基于无人机融合并提供中继转发和卸载服务的多级 边缘计算网络资源优化模型。以归一化系统效用函数最大化为目标，采用马尔可夫决策过程算法满 足实际应用场景的需求，并提供一种灵活有效的卸载模式。该算法用于求解最优卸载模式和最优资 源利用方案。仿真验证了所提出的多级卸载模型的有效性和可靠性。所提出的模型能够优化系统资 源分配，并有效提升计算卸载系统的效用函数和用户体验。

关键词 :无人机（UAV）；移动边缘计算（MEC）网络；绿色能源资源；MDP算法

1.引言

近年来，随着物联网技术的发展，智能家居、智能驾驶、无人监控等终端与网络融合技术正在改 变我们的生活。人们希望终端能够实现的功能越来越复杂，这意味着有限容量和能力的终端将无法解 决计算密集型和时延敏感任务。

移动边缘计算（MEC）网络是一种新型的网络架构技术[1]。具有强大计算存储能力的MEC服务 器靠近网络边缘，可有效降低因数据传输距离和带宽限制带来的能耗和延迟[2,3]。在远离城市的环境 （如应急救援、作物状况监测和电力线路巡检）中[4],，存在快速组网、低成本网络覆盖以及短期业 务需求等实际问题。在应急救援中，当恶劣环境导致地面通信网络不可用或不可靠时，需要快速组网 以确保终端设备采集的检测与救援信息能够及时通信[5]。农业区域中监测点产生的数据量较大，且监 测点距离无线接入点和边缘云设施较远，监测点需要对作物信息进行一段时间的分析与处理，以获得 下一步

应用科学2020，10，2592；doi:10.3390/a pp 10072592 www.md p i.com/ j ournal/a pp lsci
本文档由funstory.ai的开源PDF翻译库BabelDOCv0.5.10(http://yadt.io)翻译，本仓库正在积极的建设当中，欢迎star和关注。
应用科学2020, 10, 2592 2共22 页

种植阶段的监测方向。监测点的存储和计算能力有限，需要与边缘云建立临时通信[6]。电力线路的巡 检环境与农业类似，电力线路位置偏远，巡检线路不固定，因此也需要灵活通信网络。显然，建设固 定的多接入边缘计算服务站点需要一定的建设周期，且投资成本较高。作为一种日益成熟的新型设备， 无人机（UAV）具有部署便捷和灵活性的特点[7,8]。将多接入边缘计算网络与在复杂环境中承担 MEC服务器功能的无人机相结合，可实现多接入边缘计算的快速部署以及计算任务的灵活卸载——具 有广阔的应用前景。

在MEC网络融合过程中，无人机主要承担两种功能。一种功能是作为终端设备进行监测和测量。 当无人机自身的数据处理能力较弱时，有必要将其自身任务卸载到周围的MEC服务器进行计算[12,13]。 无人机的另一种功能是作为MEC服务器，利用无人机上的计算资源及时处理来自终端设备的计算任务。 当无人机在高移动性区域提供服务时，需要进行路径规划。无人机是一个动态多接入边缘计算节点， 而接入点（AP）是其静态对应节点，二者共同提供联合计算服务。阿舍拉利娃等人[14]提出了一种 二阶随机分层博弈地面多接入边缘计算（G‐MEC）运行模式，以协调无人机与接入点之间的资源，有 效服务用户。胡Q.等人[15]研究了无人机辅助边缘计算系统，其中无人机充当地面终端。通过以最大 延迟最小化为目标，联合优化无人机轨迹、任务卸载比例和用户调度变量。文献[16]中的无人机用于 协助节点执行计算密集型任务，通过空中和地面任务卸载实现终端与MEC服务器之间的资源调度。该 模型具有能量感知和延迟感知的特性。在[17],中，考虑配备微波功率传输（MPT）的无人机，开发 了一种机载深度Q网络，通过马尔可夫决策过程（MDP）优化设备充电、查询以进行数据采集以及无 人机的瞬时巡检速度，从而最小化传感设备的整体数据包丢失。MDP算法可视为李雅普诺夫优化算法 的扩展，在求解最优决策问题方面表现出色，也广泛应用于机器学习优化算法的求解中。

上述两种无人机功能均存在一定的局限性。第一种作为终端的无人机仅承担数据采集功能。受自 身硬件限制，该无人机既无法处理也无法（及时且长时间）存储大量的视频和传感器数据。此类无人 机成为网络的负担，只能灵活地采集数据，而无法实现灵活的网络连接性。另一种无人机在MEC网络 中充当服务器或辅助服务器，为终端提供计算和存储功能，但无人机自身的局限性不容忽视。有限的 能量、计算资源以及较大的悬停机械能耗，使得无人机难以处理大规模数据处理任务，或只能承担辅 助计算功能。因此，边缘网络仍然存在局限性，无法灵活、快速地部署网络。供电问题一直是解决无 人机作为MEC服务器时的关键问题。鉴于无人机自身能量不足，必须削弱其MEC功能，以使无人机 能够中继数据。

无人机作为中继协助无线网络中的信息传输，为无人机与移动边缘计算（MEC）网络的融合提供 了新思路。在考虑传播损耗、阴影和多径衰落的基础上，文献[18]建立了基于无人机的多跳中继信道 模型。此外，推导了中继链路信道衰落的级联传播损耗和级联概率密度函数。针对无人机的能量受限 特性，冀保等[19]研究了物联网系统中多无人机中继网络的能量收集问题，以克服源端与接收端之间 的大尺度衰落，从而实现绿色协同通信。在[20],中提出了一种支持移动边缘计算的认知无线电（ CR）网络框架，该框架融合了移动边缘计算、认知无线电和无线能量传输三项技术。

应用科学2020, 10, 2592 22中的 第3个

其中无人机在通信过程中执行协同中继。无线电力传输技术（WPTtechnology）可利用太阳能或风 能为无人机充电，提供可控且稳定的能量供应，显著提升接入多接入边缘计算网络（MECnetwork） 的性能。本研究考虑采用WPT技术实现无人机绿色能源充电。一方面，以无人机作为中继节点，可降 低无人机的能量消耗和任务负担，同时增强网络覆盖和远距离通信能力；另一方面，通过中继将任务 传输至远程MEC服务器，使任务在资源丰富的固定服务器上运行，从而降低任务处理延迟和能耗。然 而，由于增加了一跳转发，包含中继的边缘网络的网络可靠性可能下降。此外，误码率（BER）和中 断概率问题不容忽视，且中继通信的传输距离相对较大，这些因素将导致一定的传输延迟。如何平衡 可靠性和延迟的需求是一个重要的研究方向。同时，如何协调使用无人机中继功能与无人机的MEC服 务功能以提升整体系统性能也具有实际意义。

在当前策略中，考虑了无人机同时执行数据中继和边缘计算的情况，该方法增强了无人机在 MEC融合网络中的功能。这种灵活的网络布局能够最大化融合网络的优势，不仅可以承担大量的数据 处理任务，还能提高网络可靠性。Zhang,T.等人[21]以最小化能耗为目标，研究了基于拉格朗日对 偶法和逐次凸逼近(SCA)技术的迭代算法在无人机辅助中继与计算任务卸载中的应用。Hu,X.等人 [22]研究了无人机辅助MEC的架构。在多约束条件下，当无人机同时进行数据中继和计算任务时， 该研究采用交替迭代方法，以最小加权能耗为目标，优化计算资源调度、带宽分配以及无人机轨迹。

上述研究中，无人机在同一时隙内执行中继和计算任务，但并未针对不同规模的任务对这两种功能进 行明确区分。此外，两项功能同时施加于本就受限于能量的无人机上，其负载和能耗负担显著增加， 若无人机承担过于复杂的任务，将极大缩短其工作时间。并且，未考虑延迟限制问题。不同于[21]和 [22],本研究认为，在任务卸载时，无人机仅承担中继或MEC其中一种功能，该方法建立了多级边缘 网络资源优化模型(MENROM)，用于优化无人机在多接入边缘计算网络中的功能选择。上述资源分 配算法未考虑无人机当前的实际能量状态。

绿色能源（例如太阳能）将为网络中的无人机提供更长且更强的电池续航。无人机处理任务的成 本会受到其自身能量盈余因素的影响，进而影响整体网络效用。在异构网络中，低成本网络（例如 Wi‐Fi网络）可以降低传输成本，使任务卸载过程充分利用资源[23]。鉴于能量和网络状况，并考虑 无人机中继功能，本研究提出了一种基于MDP算法的MENROM模型。综上所述，本工作的主要贡献 如下：

• 构建了一种包含终端设备、无人机和远程G‐MEC服务器的多级卸载网络结构模型，适用于远距离、 低成本覆盖场景（如应急通信），其中具备绿色能源充电功能的无人机承担中继节点和MEC服务器两 种功能。
• 将无人机能量情况划分为四个能量等级以确定其能量状态。结合无人机当前的能量等级状态，本研究 提出了一种基于能量等级和综合性能评估的最优资源分配与任务卸载策略。该模型根据无人机能量等 级和系统资源选择最优资源分配并做出任务卸载决策。采用MDP求解模型的卸载问题。此外，采用迭代方法获得最优资源优化和卸载决策。
• 考虑到网络性能评估、网络中的误码率和中断概率，设定了可靠性指标。该可靠性指标表示计算任务 成功卸载到计算节点以完成计算并返回结果的概率。归一化延迟、能耗及其他参数的优化提高了系统 的可靠性。根据上述设定，本研究对网络进行了仿真分析，实现了多级边缘网络资源优化和智能卸载 决策。

2.多级边缘网络任务卸载模型

应用科学2020, 10, x FO R同行评审 4共22

用于解决该模型的卸载问题。此外，采用迭代方法获得最优资源优化和卸载决策。

• 在考虑网络性能评估、网络中的误码率和中断概率的情况下，设定了可靠性指标。该可靠性指标 表示计算任务成功卸载到计算节点以完成计算并返回结果的概率。归一化延迟、能耗及其他参数的优 化提升了系统的可靠性。根据上述设定，本研究对网络进行了仿真分析，实现了多级边缘网络资源优 化与智能卸载决策。

2.多级边缘网络任务卸载模式 l

本研究聚焦于灾区应急通信、偏远居民区农业数据采集、电力网络监控等场景，这些场景中终端 距离网络服务器较远，无法直接获取计算服务。本文提出了一种基于MDP算法的多级边缘网络任务 卸载策略。当终端存在实际计算需求时，承担MEC服务器计算或中继转发双重功能的无人机将按照固 定算法接近终端，并通过位置调整进行悬停飞行[16]。无人机将根据自身的能量状态和任务大小选择 具体功能，即判断任务是在无人机作为MEC服务器本地执行，还是通过无人机中继转发至远程地面固 定MEC服务器执行。图1展示了该任务

卸载模型

图1多级任务卸载网络环境。

如图1所示，本研究构建了一个三级网络卸载模型，包括终端设备、 无人机层和远端G‐MEC层。无人机可根据实际情况（如任务大小和无人机能耗）将任务卸载至终端、 无人机或G‐MEC。

gy级别.无人机作为卸载的中继节点 g任务的G‐ MEC并将终端设备连接到远程G‐MEC。本研究考虑了基于无人机中继的多级卸载模型，以实现快速 部署、降低部署成本、扩展网络服务范围，并提升边缘计算网络布局的灵活性。无人机可为多个区域 提供边缘云服务，实现网络资源的高效利用。在资源优化过程中，无人机

在模型中考虑了无线电力传输技术，以实现太阳能充电并解决其自身问题

G‐MEC
UAV
终端 设备
MEC服务器无人机无负载无人机 中继无人机中继无人机

图1多级任务卸载网络环境。

如图1所示，本研究构建了一个三级网络任务卸载模型，包括终端设备、无人机层和远端 G‐MEC层。无人机可根据实际情况（如任务大小和无人机能量等级）将任务卸载至终端、无人机或 G‐MEC。无人机作为G‐MEC任务卸载的中继节点，连接终端设备与远程G‐MEC。

本研究考虑了一种基于无人机中继的多级卸载模型，以实现快速部署、降低部署成本、扩展网络服务范围，并促进边缘计算网络布局的灵活性提升。无人机可为多个区域提供边缘云服务，实现网络资源的高效利用。在资源优化过程中，模型中考虑了无人机WPT技术，以实现太阳能充电并解决其自身能量供应问题。

应用科学2020, 10, 2592 22中的5

确保系统的可靠性和服务质量（QOS），并延长无人机的工作时长和系统稳定性。

2.1.多级网络结构

本研究考虑了一个包含异构网络的边缘云，该网络中部署了不同的无线接入技术（例如Wi‐Fi和蜂窝网络）。

所提出的系统包括用户、无人机和G‐MEC三级的任务卸载模型，如图2所示。用户层包括监控设备、移动用户和其他终端设备。无人机层包含具备MEC服务器和中继功能的无人机。该无人机具有一定的计算资源和中继能力，可将计算任务转移至G‐MEC层。G‐MEC层包含一个靠近用户的地面固定MEC服务器。此外，G‐MEC拥有充足的计算资源和能量，能够提供强大的计算任务卸载服务。

无人机具备一定的计算资源和中继能力，可将计算任务转发至 G‐MEC层级。G‐MEC层级包含一个靠近用户的地面固定MEC服务器。此外，该层级还包含 G‐MEC拥有充足的计算资源和能量，能够提供强大的计算能力 卸载服务。

零级卸载（第0级） ：如果用户的可用资源能够处理计算任务 在所需的服务质量等待时间内，用户执行本地处理。零 - 层级卸载适用于需要简单低计算和能源资源的任务。

一级卸载（第1级） ：终端设备将任务卸载 到附近无人机，该无人机 充当移动边缘计算的MEC服务器以进行计算任务处理。一级卸载适用于 本地资源无法承受 承担计算 p任务处理com p删除,用户卸载的

将问题任务卸载到具有MEC服务器功能的合适附近无人机。

二级卸载（第2级） ：终端设备将任务卸载到无人机后，无人机作为中继，将任务重新转发至资源充足的G‐MEC服务器。当问题任务过于复杂，以至于移动 终端和无人机均无法承担计算任务的处理时，适用二级卸载。或者，当无人机能量不足时，无人机作 为中继节点将问题任务卸载至G‐MEC。G‐MEC处理任务并返回结果。如果任务无法卸载到任何边缘 服务器，也无法在本地计算，则该任务将被延迟。

图2.多级卸载结构。

在不同卸载级别处理计算任务会产生不同的传输和能量消耗。由于G‐MEC通常距离移动设备较 远且需要中继传输，因此计算的高传输延迟和传输能耗

卸载到G‐MEC可能导致更高的传输成本。由于中继和距离的影响，误码率和中断概率增加，可能降 低系统的可靠性。然而，卸载到G‐MEC的任务具有较低的计算成本、充足的计算和能源资源、低计 算延迟，以及执行复杂任务的能力。当

终端 设备
UA V
D‐MEC
卸载
| ||
| —|—|
| ||
| 一级 卸载|一级 卸载|
| ||
| 零级|零级|
二级 卸载

图2.多级卸载结构。

零级卸载（第0级） ：如果用户的可用资源能够在规定的QOS等待时间内处理计算任务，则用户 执行本地处理。零级卸载适用于需要简单低计算和能源资源的任务。

一级卸载（第1级） ：终端设备将任务卸载到附近作为MEC服务器进行计算任务处理的无人机。一级卸载适用于本地资源无法承担计算任务完成的情况，用户将问题任务卸载至具备MEC服务器功能的合适附近无人机。

二级卸载（第2级） ：终端设备将任务卸载至无人机后，无人机作为中继将任务重新转发至资源 充足的G‐MEC服务器。当问题任务过于复杂，以至于移动终端和无人机均无法承担计算任务的处理时， 适用二级卸载。或者，当无人机能量不足时，无人机作为中继节点将问题任务卸载至G‐MEC。 G‐MEC处理任务并返回结果。

如果任务无法卸载到任何边缘服务器，也无法在本地计算，则该任务将被延迟。

在不同卸载级别处理计算任务会产生不同的传输和能量消耗。由于G‐MEC通常距离移动设备较远 且需要中继传输，卸载到G‐MEC的计算任务可能因较高的传输延迟和传输能耗而导致更高的传输成本。 同时，由于中继和距离的影响，误码率（BER）和中断概率增加，可能导致系统可靠性降低。然而， 该任务

应用科学2020, 10, 2592 22中的 6

卸载到G‐MEC的任务具有较低的计算成本、充足的计算和能源资源、较低的计算延迟，并且能够承担 复杂任务。当计算任务在无人机上进行卸载时，由于传输距离较近，延迟和传输成本较小，可靠性高。 然而，由于无人机能量有限，运行和计算带来的能耗成本较高，其自身的能源状况也会影响任务完成 的可靠性。在移动设备上处理任务无需传输成本，但由于硬件限制，本地计算延迟和能量消耗无法得 到有效支持。

每个终端的设备部署了一个决策引擎，以实现本研究提出的卸载选择算法。该决策引擎确定当前 任务是否可以在本地执行，或者是否需要卸载到适当的卸载级别。考虑到异构网络、无人机移动性和 能量有限性问题，本研究选择采用MDP进行优化，以获得最佳的资源优化方案。

2.2.卸载节点资源

在本研究构建的多级边缘网络中，计算了终端、无人机以及通过无人机中继的G‐MEC侧的效用 函数。无人机可通过太阳能板充电，因此其能量存储情况可分为充电完成后的高能量级别和未充满电时 的低能量级别。此外，无人机的效用函数与其能量水平相关。综合效用函数利用MDP算法确定最优资 源优化策略，从而保证系统可靠性和服务质量。

效用函数分为三种卸载模式：本地、无人机和G‐MEC卸载。即任务在终端设备侧进行计算，任务 卸载至作为MEC服务器的无人机侧进行计算，以及任务通过无人机中继卸载至远端G‐MEC侧进行计 算。任务具有随机大小Z比特，运行1比特需要kCPU（中央处理器）周期。处理Z比特任务所需的 CPU周期总数为Nz。f(a)是任务在最大任务处理时间内完成计算且设备电量不低于设备最低剩余电量 时的奖励函数。决策动作集为A，包括Ou、OA和OM，其中OA和OM表示终端设备将任务卸载至无人 机和G‐MEC。同时，Ou表示任务在移动设备上处理的动作。A可用A={Ou,OA,OM}表示。Rou、R ouav和RoGMEC分别为对应终端计算、无人机卸载和G‐MEC卸载的奖励值。

2.2.1.终端计算

当任务数据量较小且终端的计算和能量资源能够承担任务处理时，任务将在本地进行计算，消耗 本地的能量和计算资源，并产生操作延迟。本地能量消耗（Eu）和运行延迟（Tu）如下所示：

$$ Eu= Nz · δu, \quad (1) $$
$$ Tu= \frac{Z}{Ru}, \quad (2) $$

其中 δu表示任务在本地终端设备上执行1个周期所消耗的能量，Ru表示终端设备的操作速率。当任 务的操作延迟小于延迟截止值（Tdeadline）且设备的剩余能量（Eu-r）大于能量截止值（Edeadline）时， 系统可以获得如下表达的奖励值：

$$ Eu−r= Eu−c −Eu, \quad (3) $$
$$ f(a= Ou)= \begin{cases} Rou & \text{Eu−r> Edeadline, Tu< Tdeadline} \ 0 & \text{otherwise} \end{cases}, \quad (4) $$

应用科学2020, 10, 2592 22中的 7

其中Eu-c表示终端设备在任务处理前的初始能量。当时延和能量截止时间未被满足时，系统将无法获 得奖励函数。

2.2.2.无人机卸载

当终端设备无法支持任务计算时，终端设备可将任务卸载至边缘计算服务器。该模型中的无人机 既可作为MEC服务器，也可作为中继节点，将任务数据中继至G‐MEC进行计算。本节讨论无人机作 为MEC服务器为终端设备提供计算卸载服务的情况。无人机卸载效用函数也分为延迟和能量两部分。

时延部分效用函数考虑了传输（Tuav-c）、传播（Tuav-b）和计算（Tuavx）延迟，如下所示：

$$ Tuav−c= \frac{Z}{Ruav−b}, \quad (5) $$
$$ Tuav−b= d/v, \quad (6) $$
$$ Ruav−b= B \log_2\left(1+ \frac{P_u h_0^2 d_u^{-q}}{\sigma^2}\right), \quad (7) $$
$$ Tuav−x= \frac{Nz}{Ruav}, \quad (8) $$

其中，Ruav-b为传输速率，B为信道带宽，h0为信道增益， σ为噪声功率。q为路径衰减指数。同时， du表示终端到无人机的传输距离，Pu表示终端发射功率，Ruav表示无人机上的任务运行速率。此外， v为传播速率（约等于光速）。总延迟函数（Tuav-z）通过结合传输、传播和计算延迟得到，如下所示：

$$ Tuav−z= Tuav−x+ Tuav−c+ Tuav−b. \quad (9) $$

返回结果数据量较小，此处忽略数据回传时间。能量效用函数考虑了无人机计算消耗的能量（Euav）、 无人机运行消耗的能量（Euav-w）以及终端发射信号消耗的能量（Euav-u）。因此，Euav、Euav-w和Euav-u如下 所示：

$$ Euav−u= P_u T_{uav−c}, \quad (10) $$
$$ Euav= Nz · δ_{uav}, \quad (11) $$
$$ Euav−w= P_{uav−w} T_{uav−c}, \quad (12) $$

其中 δuav是无人机执行一个周期任务所消耗的能量，Puav-w是无人机的运行机械功率。

绿色能源充电（如太阳能板）可以增加无人机工作时间，提高无人机处理任务的可靠性，为终端 设备提供更多卸载服务，并使卸载系统更加灵活且易于实现。该模型考虑使用无线电力传输技术，利 用太阳能或风能为无人机充电。假设各任务相互独立，能量处于动态过程。该模型将无人机存储的能 量由高到低划分为四个等级，分别为Elevel={1,2,3,4}。能量等级4是电量在100%至75%之间的充足 状态。能量等级3是无人机运行一段时间后的电量状态，电量在75%至50%之间。能量等级2是无人机 长时间运行后的电量状态，电量在50%至25%之间。最后，能量等级1是无人机能量即将耗尽的状态， 电量在25%至0%之间。图3展示了无人机能量等级关系。

应用科学2020, 10, 2592 22中的8

应用科学2020, 10,xR同行评审 22中的8

能量将耗尽 t，电量在25%至0%之间。图3显示了无人机能量 y级别 关系

图3.无人机能量等级关系。

通常情况下，无人机能量等级随着任务处理从高能量级别向低能量级别呈下降趋势。然而，考虑到无人机具备绿色能源供应功能，在完成下一个任务时，无人机能量等级呈现出一定的概率分布，该分布取决于任务的大小和接入率。在本研究中，我们假设各任务相互独立。即当当前任务到达时，无人机的能量水平为某一随机的概率分布；其中能量等级2和3的概率较高，且 thepro babilityo f能量 level系统1an d 4 is l 能量。无人机的不同能量级别会影响其运行和处理任务的能力，即能量效用函数中无人机能耗部分的性能系数。此外，不同的能量级别对应不同的性能系数。初始能量级别系数为ω1。通过结合终端 和无人机的能量消耗，Euav-z是终端将任务卸载到无人机进行计算所消耗的系统能量的总效用函数 .

$$ E_{uav-z} = E_{uav-u} + E_{uav} + \omega_1 E_{uav-w}, \quad (13) $$

当任务的操作延迟小于延迟截止时间且无人机的剩余能量（Euav-r）大于能量截止值时，系统可以 获得奖励值，如下所示：

$$ E_{uav-r} = E_{uav-c} - (E_{uav} + E_{uav-w}), \quad (14) $$

$$ f(a= OA)= \begin{cases} R_{ouav} & \text{Euav-r > Edeadline, Tuav-z < Tdeadline} \ 0 & \text{otherwise} \end{cases}, \quad (15) $$

其中Euav -c 是无人机i初始能量。当延迟和能量持续时间不满足时， 系统将无法访问 奖励函数

2.2.3G‐MEC卸载

上述卸载模型部分使用无人机作为移动边缘计算服务器，为终端提供卸载服务。然而，无人机的计算和能量资源有限，且资源成本较高。在面对大规模数据任务时，无人机将难以胜任任务处理。以无人机作为中继，可将计算任务卸载至更远的 G-MEC服务器是一个满意的 y解决方案.该模型考虑了Ra yleigh 信道并采用AF（放大转发）中继模式进行中继卸载。卸载效用函数还包含延迟和能量部分。部分效用 函数中的延迟首先 已分析。

延迟函数被划分为G‐MEC上的计算（T g mec-x）、任务传输（T g mec-c）和任务传播（Tg mec-b）延迟。公式如下：

$$ T_{GMEC-X} = \frac{N_z}{R_{GMEC}}, \quad (16) $$

应用科学2020, 10, 2592 22中的 9

$$ T_{GMEC-C} = \frac{Z}{R_{GMEC-b}}, \quad (17) $$

$$ R_{MEC-b} = \frac{1}{2}B \log_2 \left(1+ \frac{1}{\sigma^2} \left( \frac{h_1^2 P_u d_u^{-q}}{} + \frac{h_1^2 P_{uav} d_{uav}^{-q}}{} \right) \right), \quad (18) $$

$$ T_{GMEC-b} = (d_u + d_{uav}) / v, \quad (19) $$

其中，$ R_{GMEC} $表示任务在G‐MEC上的运行速率，$ R_{GMEC-b} $表示传输速率。$ P_u $和$ P_{uav} $分别为终端设备 和无人机的发射功率。同时，$ d_u $和$ d_{uav} $分别为终端设备到无人机以及无人机到G‐MEC的距离。最后， $ h_1 $为信道增益。通过综合上述延迟函数，可得到无人机中继的G‐MEC卸载总延迟函数$ T_{GMEC-Z} $。

$$ T_{GMEC-Z} = T_{GMEC-X} + T_{GMEC-C} + T_{GMEC-b}. \quad (20) $$

能量效用函数考虑了任务在G‐MEC上计算所消耗的能量（$ E_{GMEC} $）、无人机运行所消耗的能量（$ E_{uav-w} $）、终端传输信号所消耗的能量（$ E_{GMEC-u} $）以及无人机中继信号所消耗的能量（$ E_{GMEC-uav} $）。$ E_{GMEC} $、 $ E_{uav-w} $、$ E_{GMEC-u} $和$ E_{GMEC-uav} $如下所示：

$$ E_{GMEC} = N_z \delta_{GMEC}, \quad (21) $$

$$ E_{GMEC-u} = P_u \cdot T_{GMEC-C}, \quad (22) $$

其中 $ \delta_{GMEC} $是G‐MEC上执行一个周期任务所消耗的能量。无人机作为中继所消耗的能量如下所示：

$$ E_{GMEC-uav} = P_{uav} \cdot T_{GMEC-C}, \quad (23) $$

$$ E_{uav-w} = P_{uav-w} T_{GMEC-C}. \quad (24) $$

以无人机作为中继节点，其能量水平将影响系统可靠性与持久性。也就是说，此类无人机将影响 系统效用函数。结合上述能量函数，卸载到G‐MEC的任务的总能耗函数如下。

$$ E_{GMEC-Z} = E_{GMEC} + E_{GMEC-u} + \omega_2(E_{GMEC-uav} + E_{uav-w}), \quad (25) $$

其中 $ \omega_2 $是G‐MEC卸载的初始能量级别系数。当任务的操作延迟小于延迟截止时间时，系统可以获得 奖励值，如下所示：

$$ f(a= OM)= \begin{cases} R_{oGMEC} & \text{TGMEC < Tdeadline} \ 0 & \text{otherwise} \end{cases}. \quad (26) $$

2.2.4.综合卸载函数

如上所述，该模型主要关注时间和能耗成本。时间延迟T和能量E的综合成本函数定义如下：

$$ E = {E_u, E_{UAV-Z}, E_{GMEC-Z}}, \quad (27) $$

$$ T = {T_U, T_{UAV-Z}, T_{GMEC-Z}}. \quad (28) $$

应用科学2020, 10, 2592 22中的 10

该模型旨在综合考虑能量和时间延迟问题。然而，能量和时间的单位和数量级不同，无法直接比 较。在本研究中，对能量和时间函数进行归一化[24]。归一化函数如下：

$$ H(x_{min}, x_{mid}, x_{max}, \alpha, x)= \begin{cases}
0 & x < x_{min} \
\frac{(x - x_{mid})^\alpha}{1 + (x - x_{mid})^\alpha} & x_{min} < x < x_{mid} \
1 - \frac{(x_{max} - x)^\alpha}{1 + (x_{max} - x)^\alpha} & x_{mid} < x < x_{max} \
1 & x > x_{max}
\end{cases}, \quad (29) $$

其中x是变量值，$ x_{min} $、$ x_{max} $和$ x_{mid} $分别是变量的最小值、最大值和中位数。 α决定形状参数的效用 函数的斜率。随着 α的值增加，斜率变得更陡。

$$ x_{mid} = \frac{x_{min} + x_{max}}{2}. \quad (30) $$

利用上述函数，(25)和(26)分别被归一化如下：

$$ H(t_{min}, t_{mid}, t_{max}, \alpha_t, t) = T_0, \quad (31) $$

$$ H(e_{min}, e_{mid}, e_{max}, \alpha_e, e) = E_0, \quad (32) $$

其中，$ E_0 $和$ T_0 $分别表示归一化能量和延迟的效用函数。e和t分别表示归一化前的能量和延迟函数值。 同时，$ e_{min} $和$ t_{min} $分别为能量和延迟的最小值，$ e_{max} $和$ t_{max} $分别为能量和延迟的最大值。 $ \alpha_e $和 $ \alpha_t $分别 为能量和延迟的形状参数。最后，确定综合成本函数：

$$ E_0 = {E_{u,0}, E_{UAV-Z,0}, E_{GMEC-Z,0}}, \quad T_0 = {T_{U,0}, T_{UAV-Z,0}, T_{GMEC-Z,0}}, \quad (33) $$

其中$ E_{u,0} $、$ E_{uav-z,0} $和$ E_{GMEC-Z,0} $分别被归一化为$ E_u $、$ E_{uav-z} $和$ E_{GMEC-Z} $。$ T_{u,0} $、$ T_{uav,0} $和$ T_{GMEC,0} $分别被归 一化为$ T_u $、$ T_{uav} $和$ T_{GMEC} $。

3.系统资源优化算法

本研究中，采用MDP算法对上述模型的资源进行优化。该算法通过状态空间、决策动作、转移概 率、效用函数和最优方程进行分析。

3.1.状态空间

我们将状态空间S定义为S= M × L × C，其中M表示任务阶段，L表示无人机位置，C表示连 接到无人机的终端网络。

任务阶段M定义如下：

$$ M = {0, 1, 2, 3, 4, 5, 6, 7, 8}, \quad (34) $$

其中，m(M)表示任务的阶段。如果没有任务存在，则m= 0。m= 1 和m= 2 分别表示任务 发生后立即进入缓冲区（即尚未开始任务处理）的情况。同时，m= 3、m= 4和m= 5 分别表示任务 在终端设备、无人机和G‐MEC中进行任务处理的情况。此外，

应用科学2020, 10, 2592 22中的11

m= 6、m= 7和m= 8 分别表示任务在中心云、无人机和G‐MEC上完成任务处理后立即所处的情 况。

L可以使用地图分割技术构建[25]。无人机在分割位置的区域内随机移动。L描述如下：

$$ L = {L_1, L_2, L_3, \cdots, L_{NL}}, \quad (35) $$

其中，$ N_L $表示无人机可以定位的位置总数。$ L_i $表示相邻情况的向量，其定义如下：

$$ L_i = [l_{1i}, l_{2i}, l_{3i}, \cdots l_{NL i}]. \quad (36) $$

如果位置i与位置j相邻，则$ l_j i $为1；否则，$ l_j i $为0。

同时，网络连接向量C描述如下：

$$ C = {C_1, C_2, C_3, \cdots, C_{NC}}, \quad (37) $$

其中$ N_C $表示k种异构网络连接的总数和$ N_C = 2^k $。$ C_\chi $表示由$ C_\chi = [c_1, c_2, c_3,\cdots, c_k] $给出的第 χ种可能 的网络连接。$ c_\zeta = 1 $表示存在连接，而$ c_\zeta = 0 $表示无连接。

3.2.决策动作

当任务状态为缓冲期（m= 2）时，算法确定任务的处理模式或决策动作。该算法判定任务为本 地计算、无人机计算卸载、G‐MEC计算卸载或任务延迟处理。动作集A定义如下：

$$ A = {O_M, O_A, O_u, D}, \quad (38) $$

其中，$ O_M $是G‐MEC计算卸载，$ O_A $是无人机计算卸载，$ O_u $是本地计算，D是任务延迟处理。

3.3.转移概率

所选的决策动作可以改变任务阶段，即T受决策动作A的影响。同时，当给定移动设备位置时，该 位置的可用网络也随之确定。因此，T和C状态相互依赖。因此，对于选定的动作a，从当前状态s=[ m,Li,Cχ]转移到下一状态s′=[m’,Lj,Cχ’]的转移概率可描述如下：

$$ P[s’ | s, a] = P[m’ | m, a] \times P[L_j, C_{\chi’} | L_i, C_\chi]. \quad (39) $$

接下来，分析不同任务阶段M的转移概率， τ表示每个决策周期的持续时间。假设任务的到达间 隔率服从均值为$ 1/\lambda_M $的指数分布。同时，当m= 1时，m′始终为2，因此从m= 1到m= 2的转移概率 为1。

当m= 2时，决定性动作将影响转移概率和下一状态。当任务决定进行延迟处理（a= D）时，任 务状态保持不变。当任务决定进行G‐MEC卸载（a= O_M）时，任务状态将转换为m= 3。当任务决定 进行无人机卸载（a= O_A）时，任务状态将转换为m= 4。当任务决定进行终端处理（a= O_u）时， 任务状态将转换为m= 5。当任务处理策略确定后，转移到下一状态的转移概率为1。

在计算任务卸载过程中，由于中继转发和远距离通信导致的误码率和中断问题会降低计算任务成 功传输的概率。计算任务卸载后无人机的状态以及G‐MEC的资源状况也会影响任务计算完成概率。任务卸载后

应用科学2020, 10, 2592 22中的 12

无人机的状态和G‐MEC的资源状况也会影响任务计算完成概率。 任务成功完成卸载计算的概率受通信传输和计算资源的影响，并不总是为1。换句话说，选择卸 载节点状态转移到成功完成任务计算状态的转移概率不为1。在本研究中，选择卸载节点状态到下一 状态的转移概率，即状态m= 3、4和5转移到状态m= 6、7和8的转移概率，被定义为系统完成任务 的可靠性指数。可靠性指数μ表示为μ={μM,μA,μu}，其中μM、μA和μu分别为G‐MEC卸载、无人机 卸载和终端处理的指数。可靠性指数表示任务决策卸载后成功计算的可能性。任务完成的转移概率如 下所示：

$$ P[m’|m= 3, a]= \begin{cases}
\mu_M \tau, & \text{if } m’= 6 \
1-\mu_M \tau, & \text{if } m’= 3 \
0 & \text{otherwise}
\end{cases}, \quad (40) $$

$$ P[m’ |m= 4, a]= \begin{cases}
\mu_A \tau, & \text{if } m’= 7 \
1-\mu_A \tau, & \text{if } m’= 4 \
0 & \text{otherwise}
\end{cases}, \quad (41) $$

$$ P[m’ |m= 5, a]= \begin{cases}
\mu_u \tau, & \text{if } m’= 8 \
1-\mu_u \tau, & \text{if } m’= 5 \
0 & \text{otherwise}
\end{cases}. \quad (42) $$

可靠性指数的定义赋予了模型中转移概率的物理意义。该定义意味着成本函数和奖励函数的大小 会影响卸载节点的终端决策，而可靠性指数将影响卸载节点的选择。因此，MDP算法在该模型中的应 用是切实可行的。在任务完成阶段结束后，m′将始终为0，且转移概率为1。图4描绘了转移概率分布。

应用科学2020，10，xR同行评审13of22

图4.转移概率图。

当给定网络拓扑和在每个位置的停留时间时，$ P[L_j,C_{\chi’} | L_i,C_\chi] $ 可以得到。我们假设$ L_i $ 中的停留时间 服从均值为$ 1/\eta_i $ [23]的指数分布。转移概率可按如下方式获得：

$$ P[L_j, C_{\chi’} | L_i, C_\chi] = \begin{cases}
P_{ij} \eta_i \tau, & \text{if } L_{ji}= 1, L_j \ne L_i \
1-\eta_i \tau, & \text{if } L_j= L_i \
0, & \text{otherwise}
\end{cases}, \quad (43) $$

其中$ P_{ij} $ 表示无人机从位置i移动到另一个位置 j [26]的概率。

3.4.效用函数

在确定转移概率后，将考虑模型中能耗和延迟的综合成本函数引入MDP算法。首先，总效用函 数定义如下：

$$ q(s, a) = \phi_1 f(s, a) - (1 - \phi_1) g(s, a), \quad (44) $$

其中，$ f(s,a) $ 和 $ g(s,a) $ 分别表示在截止期限内完成任务的奖励函数和任务的综合成本函数。 $ \phi_1 $ 表示 效用函数中奖励函数与成本函数的权重因子。成本函数由能耗成本和延迟成本组成，其表达式如下：

$$ g(s, a) = \phi_2 T_0(s, a) + (1 - \phi_2) E_0(s, a), \quad (45) $$

其中 $ \phi_2 $是成本函数中延迟和能耗成本的权重因子。传输延迟和能耗成本函数由卸载决策决定。总效 用函数与成本函数和奖励函数相关，且可通过算法1获得总效用函数。

算法1 奖励函数算法

1: 设置 信道带宽, 信道增益, σ, 传播速率, Tdeadline, Edeadline, δu, Pu, δuav, Puav, δGMEC
2: 初始化 Z, d, Eu-c, Elevel
3: 步骤 1：计算 Nz, Eu, Tu, Tuav, Euav-z, TGMEC, EGMEC-Z, Eu-r, Euav-z
4: 步骤 2：计算奖励函数
5: 如果 (Eu-r < Edeadline & Tu < Tdeadline)
6: 那么，f (s, Ou) = Rou
7: 否则
8: f(s, Ou) = 0
9: 结束 if
10: 如果 (Euav-z,< Edeadline & Tuav-z < Tdeadline)
11: 那么，f (s, OA) = Rouav
12: 否则
13: f(s, OA) = 0
14: 结束 if
15: 如果 (TGMEC-Z < Tdeadline)
16: 那么，f (s, OM) = RoG-MEC
17: 否则
18: f(s, OM) = 0
19: 结束 if
20: 步骤 3：归一化效用函数
21: E0 = {Eu, 0, Euav-z,0, EGMEC-Z,0}, T0 = {Tu,0, Tuav-z,0, TGMEC-Z,0}
22: 步骤 4： 总效用函数
23: q(s,a) = ϕ1 f (s,a) − (1 − ϕ1)[ϕ2 T0(s,a) + (1 − ϕ2) E0(s,a)]

应用科学2020, 10, 2592 14共22

3.5.最优方程

我们选择期望总折扣奖励最优性准则作为目标函数，以最大化期望总奖励并获得最优策略。然后， v(s)可表示如下：

$$ v(s) = \max_{\pi \in \Pi} v_\pi(s), \quad (46) $$

其中$ v_\pi(s) $表示在给定初始状态s时策略 π的期望总奖励 .

值得注意的是，当终端设备采取最有利的动作a时，期望总奖励可以最大化，并且通过求解目标 函数可在每个状态下获得这种最优动作a。最优性方程如下所示：

$$ v(s) = \max_{a \in A} \left{ q(s, a) + \sum_{s’ \in S} \lambda P[s’|s, a] v(s’) \right}, \quad (47) $$

其中 λ是MDP模型中的折扣因子， λ越接近1表示对未来奖励赋予的权重越大。该算法旨在所提出的 多级卸载模型（即无人机中继）中识别最佳的资源优化策略。为求解该优化问题并确定上述最佳决策， 本研究应用了算法2。

算法2 资源优化算法

1: 设置 $ v_0(s) = 0 $ 对于每个状态s。指定 ε> 0。 χ= 0
2: 输入: q(s,a), P[s’|s, a]
3: 步骤1: 对于每个状态s，计算 $ v_{\chi+1}(s) $
4: $ v_{\chi+1}(s) = \max_{a \in A} \left{ r(s,a) + \sum_{s’ \in S} \lambda P[s’ | s,a] v_{\chi}(s’) \right} $
5: 步骤2: 如果 $ |v_{\chi+1}(S) - v_{\chi}(S)| < \varepsilon (1 - \lambda)/(2\lambda) $
6: then，转到步骤3
7: else
8: χ = χ + 1
9: 转到步骤1
10: 结束如果
11: 步骤3：对于每个状态s，计算稳态最优策略
12: $ \delta(s) = \arg\max_{a \in A} \left{ r(s,a) + \sum_{s’ \in S} \lambda P[s’ | s,a] v_{\chi}(s’) \right} $
13: 停止。

鉴于算法的复杂性，决策时间不可忽略。假设信道为准静态，终端设备可使用表格存储由MDP算法计算出的最佳任务卸载策略。该表包含针对每个计算任务状态的最佳决策，可通过预计算获得。因此，该算法的决策时间较短，不会影响任务计算[27]。

4.讨论

本节基于MDP算法对所提出的MENROM模型的性能进行评估。展示了仿真结果，并对关键参数 进行了分析。在网络环境中，将作为MEC服务器或中继节点的无人机部署在终端设备与G‐MEC之间， 距地面高度为H。在终端设备中，选取不同大小的计算任务进行仿真分析，以验证系统的任务卸载模 式和性能。仿真设置基于[16],[21],和[22]的研究工作。表1列出了详细的仿真参数，除非另有说明。

应用科学2020, 10, 2592 22中的 15

表1.仿真参数。

参数	符号与取值
系统总带宽	信道带宽 = 20 MHz
信号传播速率	传播速率 = 3 × 10⁸ m/s
数据大小	Z = (30, 1500) 兆比特
每比特所需CPU周期	k = 1000 周期/比特
无人机高度	H = 50 m
终端与无人机之间的距离	du = 1公里
无人机与G‐MEC之间的距离	duav = 1.2 公里
终端卸载功率	Pu = 35dBm
无人机卸载功率	Puav = 37 dBm
噪声功率	σ = −70 dBm
终端设备工作负载执行的每CPU周期能耗	δu = 3 J/GHz
无人机工作负载执行的每CPU周期能耗	δuav = 2 J/GHz
G‐MEC工作负载执行的每CPU周期能耗	δG-MEC = 1 J/GHz
无人机运行机械功率	Puav-w = 158 w

关于模型中的网络环境，异构网络包括Wi‐Fi网络和蜂窝网络（4G/5G），其中蜂窝网络的服务 覆盖范围大于Wi‐Fi网络[28]。即模型中的$ C_\chi = [c_1,c_2] $和$ P_{ij} = 1 $，其中$ c_1 $和$ c_2 $分别表示Wi‐Fi网络和 蜂窝网络。Wi‐Fi网络和蜂窝网络的平均驻留时间可根据网络性能评估[29]得到，且$ 1/\eta_1 $和$ 1/\eta_2 $分别 设置为10/6和10/4。时隙长度 τ设为1。能量等级1、2、3、4（即Elevel= 1、Elevel= 2、Elevel=3和E level= 4）随机出现的概率分别为0.15、0.35、0.3和0.2，对应的能量等级权重$ \omega_1 = \omega_2 $分别为0.8、 0.7、0.6和0.5。路径衰减指数q为4。

综合考虑多种情况，分析了关键参数的影响，包括系统效用函数、可靠性指数（μ）、无人机初 始能量等级状态（Elevel）、时延与能量权重因子（ϕ2）以及无人机中继发射功率（Puav）。

4.1.不同场景下的性能比较

为了说明该模型设计的有效性，将本模型与以下几个场景进行对比：（1）终端计算任务本地执行， 即终端仅在本地计算任务；（2）无人机计算任务卸载至UAV，即终端仅将任务卸载到无人机进行计 算；（3）G‐MEC计算任务卸载至G‐MEC，即终端仅将任务卸载到G‐MEC进行计算；（4）随机卸载， 即终端随机选择任意卸载节点执行计算任务；（5）基于MDP的多级卸载，即MENROM模型中的卸 载策略。图5显示了仿真结果。

如图5所示，当模型考虑能量水平和延迟参数时，效用函数随着任务大小的增加而减小。 off‐MENROM的效用始终最大。当任务较小时，终端本地计算的效用接近off‐MENROM的效用；相反，当任务较大时，off‐MEC的效用接近off‐MENROM的效用。随着任务增大，由于计算成本增加， 系统效用函数逐渐降低。与其他任务卸载方法相比，多级卸载模型可以获得更高的效用值，这表明多 级卸载模型能够节约系统成本、保障用户服务质量，并优化系统资源分配。当任务较小时，终端本地 计算的效用值更接近最佳卸载模式的效用值；而当计算任务较大时，经无人机中继后卸载至G‐MEC的 任务的效用值更接近最佳卸载模式的效用值，即较大任务适合采用off‐GMEC卸载。

图5.多场景效用比较。

4.2.终端卸载选择

任务大小ff影响网络效用、终端决策和资源优化结果。任务卸载可靠性指数表示任务成功卸载的概率，并计算其完成情况。该指数将影响终端设备的卸载决策。为仿真分析设计了三种类型的可靠性指标，如表2所示。

表2.可靠性指标。

任务	任务(1)	任务(2)	任务(3)
μM	0.4	0.5	0.5
µA	0.52	0.5	0.52
µu	0.6	0.5	0.5

从高到低排列，上述指标在任务1中的顺序依次为终端计算可靠性指标、无人机卸载可靠性指数 和G‐MEC卸载可靠性指数。对于任务2，三种卸载方式的可靠性相同。对于任务3，无人机卸载的可 靠性指数略高。图6显示了仿真结果。

在图6中，随着任务量的增加，终端对卸载节点的决策有所不同。“0”表示零级卸载（第0级）， 即终端执行任务的计算处理。“1”表示一级卸载（一级），即由无人机执行任务卸载。最后，“2” 表示二级卸载（二级），即由G‐MEC执行任务卸载。随着任务量的增长，任务1和任务2开始选择第0 级卸载，然后是一级卸载，最后是二级卸载。任务3的任务卸载顺序依次为：一级、零级、一级和二级 卸载。根据上述现象，当任务量较小时，终端的计算资源成本最低，模型将选择在终端进行本地计算。 当任务量增加时，通过在无人机上进行任务卸载可以获得更好的系统效用和资源分配。当任务量特别 大时，无人机和终端都无法承担任务计算，此时将任务卸载至G‐MEC更为合理，系统收益也更高。

图6.优化的卸载决策。

由于无人机卸载的可靠性指数略高于终端，任务3是一种特殊情况。当任务量较小时，计算的可 靠性指数比成本因素更重要；随后任务量增加，成本资源因素的影响大于可靠性指数。因此，将生成 如图6所示的卸载级别选择。

随着任务的增加，任务2首先卸载到G‐MEC，然后任务3卸载到G‐MEC，最后任务1卸载到G‐MEC。当可靠性指数较高时，可靠性指数会影响综合卸载决策，任务将选择提前卸载（即在选择卸载模式时系统效用较小）。

4.3.无人机的能量等级分析

根据该模型，作为边缘计算服务器和中继节点的无人机承担着重要功能。由于绿色能源充电和固 定电池储能，无人机处于四个能量等级。本节分析了这四个能量级别对系统效用和卸载决策的影响。 可靠性指数与任务2参数相同，能级权重如上所述进行初始化。图7展示了仿真分析结果。

图7.四个能量等级的分析。（a）能量水平对系统效用函数的影响（b）能量水平对卸载级别的影响。

在图7a中，当任务较小时，即计算任务在终端处理且无无人机干预时，系统效用函数几乎没有差 异。随着计算任务的增加，若能量水平高效，则函数也高效。因此，高能量级别的无人机能量消耗较 低，可提供更好的资源优化。当无人机作为中继节点时，能量水平对效用函数的影响小于其作为边缘 服务器时的影响。无人机作为中继节点可减轻能量负担并优化系统资源分配。

在图7b中，当无人机处于高能量级别时，会有更多任务被卸载到无人机上。当无人机处于低能量 级别时，任务在较小时将放弃卸载到无人机，并选择二级卸载。无人机能量等级会影响终端的决策。 任务更倾向于在高能量级别时卸载到无人机上。相反，在低能量级别时将任务卸载到无人机上将导致 收益较小。

4.4.φ2的影响

权重因子 $ \phi_2 $ 决定了延迟和能量消耗与总效用函数之间的关系，从而影响系统资源优化决策。无 人机处于能量等级3，且可靠性指数固定。

在图8中，权重因子 $ \phi_2 $分别为0.2、0.4、0.6和0.8。系统效用函数随任务量增加的变化趋势如图8所示。

当任务规模为中等时，较小的权重因子对应更高的系统效用；而当任务量较大时，较大的权重因子对应更高的系 统效用。出现这种情况的原因是，当无人机处于能量等级3时，其可用能量较多，延迟成本的权重较高会导致总 成本增大，从而降低效用函数。与一级卸载相比，二级卸载增加了系统的多重能耗，而较高的延迟成本权重会降 低因高能耗引起的系统成本。在切换卸载方式时，由于权重因子对系统效用的影响不同，切换斜率也会发生变化。

图8. $ \phi_2 $对系统效用函数的影响。

图9展示了任务大小和权重对任务卸载策略选择的影响。如图8所示，系统在不同权重值下对延 迟和能耗的关注程度不同，因此系统的效用也随之变化，从而导致根据MDP计算得出的选择策略也有 所不同。当 $ \phi_2 $取0.4和0.6这两个中间值时，系统更倾向于选择一级卸载。

图9. $ \phi_2 $对卸载级别的影响。

图 10 显示了在固定任务大小和随机无人机级别的情况下，权重因子 $ \phi_2 $ 对五种场景中平均效用函数的影响。在无人机卸载场景中，随着权重因子 $ \phi_2 $ 的增加，效用函数下降。在非无人机场景中，效用函数随权重因子 $ \phi_2 $ 的增加而上升。off‐MENROM的效用函数优于其他场景的效用函数，且受$ \phi_2 $的影响较小。off‐MENROM受权重因子$ \phi_2 $的影响较小，效用函数更加稳定。无论系统倾向于延迟还是 能量，off‐MENROM均能识别出合适的卸载策略，并确保系统性能和可靠性。

![