一、ShadowSense: Unsupervised Domain Adaptation and Feature Fusion for Shadow-Agnostic Tree Crown Detection from RGB-Thermal Drone Imagery

由于森林树冠的密度和各种环境变化（例如，重叠的树冠、遮挡和不同的照明条件），从遥感数据中准确检测单个树冠是一项重大挑战。此外，缺乏用于训练稳健模型的数据增加了有效研究复杂森林条件的另一个限制。本文提出了一种检测阴影树冠的新方法，并提供了一个具有挑战性的数据集，其中包含大约 50k 对 RGB 热图像，以促进未来照明不变检测的研究。所提出的方法 （ShadowSense） 是完全自我监督的，利用没有源域注释的域对抗训练进行特征提取，并利用特征金字塔网络的前景特征对齐来适应域不变表示，分别通过关注可见的前景区域来适应域不变表示。然后，它融合两种模式的互补信息，以有效地改进 RGB 训练检测器的预测并提高整体准确性。广泛的实验表明，所提出的方法优于基线 RGB 训练的检测器和依赖于无监督域适应或早期图像融合的最先进的技术。

https://arxiv.org/abs/2310.16212v1

二、Implicit neural representation for change detection

由于空间覆盖范围的差异和采集系统中存在噪声，识别在同一地理区域的两个不同时间段内获得的一对 3D 航空 LiDAR 点云的变化是一项重大挑战。检测点云变化的最常用方法基于监督方法，这需要大量标记数据，而这些数据在实际应用中通常不可用。为了解决这些问题，我们提出了一种无监督方法，它由两个部分组成：用于连续形状重建的隐式神经表示 （INR） 和用于对变化进行分类的高斯混合模型。INR 为编码双时相点云提供与网格无关的表示，具有无与伦比的空间支持，可以对其进行正则化以增强高频细节并减少噪声。在任意空间尺度上比较每个时间戳的重建，从而显著提高检测能力。我们将我们的方法应用于包含城市扩张的模拟 LiDAR 点云的基准数据集。该数据集包含各种具有挑战性的场景，分辨率、输入模式和噪声水平各不相同。这使得全面的多场景评估成为可能，将我们的方法与当前最先进的方法进行比较。我们在 intersection over union 指标上比以前的方法高出 10%。此外，我们将我们的技术应用于实际场景，以识别考古遗址非法挖掘的实例，并通过将它们与现场专家的发现进行比较来验证我们的结果。

https://arxiv.org/abs/2307.15428

三、Effective Restoration of Source Knowledge in Continual Test Time Adaptation

传统的测试时适应 （TTA） 方法在适应以不断变化的长期目标分布为特征的动态环境方面面临重大挑战。这些挑战主要源于两个因素：灾难性地忘记以前学到的宝贵来源知识，以及由错误校准的伪标签引起的逐渐错误积累。为了解决这些问题，本文介绍了一种无监督的域变化检测方法，该方法能够识别动态环境中的域偏移，并将模型参数重置为原始源预训练值。通过从源头恢复知识，它有效地纠正了由于领域持续变化而导致的模型参数逐渐恶化所产生的负面后果。我们的方法涉及对特定于每个领域的全局batch-norm统计数据进行渐进式估计，同时跟踪由领域转移触发的统计数据变化。重要的是，我们的方法与所采用的特定适应技术无关，因此可以整合到现有的 TTA 方法中，以提高它们在动态环境中的性能。我们在基准数据集上进行了广泛的实验，以证明与最先进的适应方法相比，我们的方法具有卓越的性能。

https://arxiv.org/abs/2311.04991v1

四、SeaDSC: A video-based unsupervised method for dynamic scene change detection in unmanned surface vehicles

近年来，海洋视觉研究掀起了一股热潮，其中许多工作都受到计算机视觉在无人水面航行器 （USV） 中的应用的影响。相机、雷达和激光雷达等各种传感器模式已被用于执行对象检测、分割、对象跟踪和运动规划等任务。这项研究的很大一部分集中在视频分析上，因为目前的大多数船队都包含用于各种监控任务的摄像头。由于视频数据非常丰富，视频场景变化检测是 USV 场景理解的初始和关键阶段。本文概述了我们检测 USV 中动态场景变化的方法。据我们所知，这项工作代表了海事视觉应用中场景变化检测的首次研究。我们的目标是识别海事视频数据动态场景的重大变化，尤其是那些表现出高度相似性的场景。在我们的动态场景变化检测系统中，我们提出了完全无监督的学习方法。与早期研究相比，我们利用一种名为 VQ-VAE-2 的改进的尖端生成图片模型在多个海洋数据集上进行训练，旨在增强特征提取。接下来，我们介绍了我们创新的相似性评分技术，该技术通过对检索到的特征进行网格计算来直接计算一系列连续帧中的相似性水平。这些实验是使用名为 RoboWhaler 的航海视频数据集进行的，以展示我们技术的有效性能。

https://arxiv.org/abs/2311.11580

五、Multi-Class Segmentation from Aerial Views using Recursive Noise Diffusion

鸟瞰图的语义分割是自主无人机的一项关键任务，因为它们依靠精确和准确的分割来安全有效地导航。然而，航空影像带来了独特的挑战，例如不同的视点、极端的比例变化和高场景复杂性。在本文中，我们提出了一种端到端的多类语义分割扩散模型来应对这些挑战。我们引入了递归降噪，以允许信息通过降噪过程传播，以及一种分层多尺度方法来补充扩散过程。我们的方法在 UAVid 数据集上取得了有希望的结果，并在 Vaihingen Building 分割基准上取得了最先进的性能。作为这种方法的第一次迭代，它显示出未来改进的巨大前景。

https://arxiv.org/abs/2212.00787

六、Vision Transformer for Multispectral Satellite Imagery: Advancing Landcover Classification

气候变化是一个全球性问题，对生态系统和人类人口具有重大影响。从多光谱卫星图像中准确分类土地覆盖对于了解地球不断变化的景观及其对环境进程的影响起着至关重要的作用。然而，传统方法难以应对诸如数据可用性有限和捕获复杂的空间-光谱关系等挑战。Vision Transformers 已成为卷积神经网络（CNN 架构）的一种有前途的替代方案，它利用自我注意机制的力量来捕获全局和长期依赖关系。然而，它们在多光谱图像中的应用仍然受到限制。在本文中，我们提出了一种新颖的 Vision Transformer，专为有限大小的多光谱卫星 im age 数据集而设计，以执行 44 个类别的可靠土地覆盖识别。我们在精选数据集上进行了广泛的实验，模拟了数据可用性有限的场景，并将我们的方法与其他架构进行了比较。结果表明，我们基于 Vision Transformer 的方法在实现准确的土地覆盖分类方面具有重要意义，有助于改进气候变化建模和环境分析。

https://openaccess.thecvf.com/content/WACV2024/papers/Rad_Vision_Transformer_for_Multispectral_Satellite_Imagery_Advancing_Landcover_Classification_WACV_2024_paper.pdf

七、Active Learning for Single-Stage Object Detection in UAV Images

无人机 （UAV） 在各种应用中广泛用于图像采集，目标检测是无人机图像分析的一项关键任务。然而，训练准确的对象检测器需要大量带注释的数据，这可能既昂贵又耗时。为了解决这个问题，我们提出了一种用于无人机图像中单阶段目标检测器的主动学习框架。首先，我们介绍了多样化不确定性聚合 （DUA），这是一种新颖的不确定性聚合方法，旨在选择具有更多种类和高不确定性的对象类别的图像。其次，我们通过根据每个类的表现调整不确定性计算来解决类不平衡的问题。第三，我们说明了减少用于标记的图像数量并不一定会导致降低标记成本。在通用无人机数据集上对我们的方法的评估表明，我们可以执行与使用整个数据集类似的性能（在 0.02 0.5mAP 以内），同时仅使用 25% 的图像和 32% 的标记对象。它还优于 Random Selection 和其他一些聚合方法。对 VOC2012 的评估也显示出一致的结果，仅使用 25% 的标记成本即可达到使用整个数据集的 0.1 0.5mAP 以内的性能。我们的结果表明，我们提出的主动学习框架可以有效降低标注成本，同时提高无人机图像设置中单阶段目标检测器的性能。该代码可在以下位置获得： https://github.com/asmayamani/DUA

https://openaccess.thecvf.com/content/WACV2024/html/Yamani_Active_Learning_for_Single-Stage_Object_Detection_in_UAV_Images_WACV_2024_paper.html

八、Defense against Adversarial Cloud Attack on Remote Sensing Salient Object Detection

检测遥感图像中的显著目标在跨学科研究中具有广泛的应用。目前已有许多深度学习方法被提出用于遥感图像中的显著目标检测 （SOD），并取得了显著的效果。然而，最近的对抗性攻击示例是通过更改原始遥感图像上的几个像素值生成的，可能会导致训练有素的基于深度学习的 SOD 模型崩溃。与现有方法对原始图像添加扰动不同，我们建议联合调整对抗性曝光和加性扰动以应对攻击，并将靠近云的图像约束为对抗云。云在遥感图像中是自然而然的常见现象，然而，对遥感图像进行基于云的对抗攻击和防御研究并不深入。此外，我们将 DefenseNet 设计为对对抗性云图像的可学习预处理，以保持基于深度学习的遥感 SOD 模型的性能，而无需调整已经部署的深度 SOD 模型。通过考虑常规和广义对抗示例，所提出的 DefenseNet 可以在白盒设置下保护所提出的对抗云，并在黑盒设置下保护其他攻击方法。来自公共遥感 SOD 数据集 （EORSSD） 的综合基准的实验结果表明，对对抗性云攻击的防御很有希望。

https://arxiv.org/abs/2306.17431