点击上方“小白学视觉”,选择加"星标"或“置顶”
重磅干货,第一时间送达

你是否遇到过这样的困扰:一张照片可能同时被噪声、雨雾、模糊等多种问题缠身,而普通的修复工具要么只能处理单一问题,要么修复后画面变得模糊不清?

最近,来自顶尖研究团队的新成果——DA-RCOT框架(退化感知残差条件最优传输),彻底改变了这一现状。这项发表在TPAMI 2025的研究,用数学中的"最优传输"思想解决图像复原难题,让一个模型就能搞定多种退化问题,还能完美保留图像细节!

论文信息

题目:Degradation-Aware Residual-Conditioned Optimal Transport for Unified Image Restoration
面向统一图像复原的退化感知残差条件最优传输
作者:Xiaole Tang, Xiang Gu, Xiaoyi He, Xin Hu, Jian Sun
源码:https://github.com/xl-tang3/DA-RCOT

为什么传统方法总是"力不从心"?

现实世界的图像退化往往很复杂:一张户外照片可能同时有雨丝、雾气和运动模糊;老照片修复时可能既有噪声又有褪色。但过去的图像复原方法存在明显短板:

  • 专一性太强:去噪模型不会去雾,去雾模型处理不了模糊

  • 细节丢失严重:修复后画面变得"磨皮过度",纹理和边缘全没了

  • 依赖配对数据:需要大量"退化图-干净图"配对数据,现实中很难获取

看看下面的对比,传统方法修复后要么残留退化,要么细节模糊,总是不尽如人意:

DA-RCOT框架:用"最优传输"思维做图像修复

研究团队提出了一个全新思路:把图像复原看作两个图像分布之间的最优传输问题。简单说,就是找到一种"最优运输方案",把退化图像的像素"搬运"到干净图像的对应位置,同时保证"运输成本"最低。

总体框架长这样

DA-RCOT的核心是一个两阶段的智能修复系统,先快速生成初步结果,再用残差信息优化细节:

整个过程就像:

  1. 先用粗修工具快速处理(第一阶段)

  2. 分析修复前后的差异(残差),找到退化特征

  3. 用这些特征指导精细修复(第二阶段)

三大创新点让修复效果"跃升"

1. 傅里叶残差成本:给"图像运输"定个聪明的价

传统方法计算修复误差时只看像素差异,就像按重量算运费却不管货物易碎程度。DA-RCOT则引入了傅里叶残差

  • 把残差(退化图-干净图)转换到频率域

  • 不同退化在频率域有独特"指纹"(比如噪声是高频信号,模糊是低频损失)

  • 按这些特征计算"运输成本",让修复更有针对性

2. 两阶段修复:先试修再精修

就像装修房子先出草图再细化,DA-RCOT分两步走:

  • 第一阶段:快速生成初步修复图,计算残差(退化特征)

  • 第二阶段:把残差编码成多尺度特征,指导模型针对性修复

这种机制让模型能"记住"自己哪里修得不好,然后重点优化。

3. 多尺度残差嵌入:给模型装上"退化识别器"

研究团队设计了专门的残差嵌入生成模块(REGM),能从残差中提取出:

  • 低级特征(颜色、纹理)

  • 高级特征(退化类型、程度)

通过对比学习,让模型能精准区分不同退化(比如雨和雾的特征差异):

上图中不同颜色代表不同退化类型,可见DA-RCOT的残差嵌入能把它们清晰分开,连噪声强度的差异都能准确捕捉!

实验结果:横扫五大退化问题

研究团队在去噪、去雨、去雾、去模糊、低光照增强五大任务上做了测试,DA-RCOT的表现惊艳全场:

一体化修复能力碾压对手

用一个模型同时处理三种退化时,DA-RCOT在各项指标上全面领先,尤其是感知质量提升明显:

扩展到五种退化时,优势更加明显,修复后的图像细节丰富,没有伪影:

对陌生退化也有超强适应力

当遇到训练时没见过的退化程度(比如训练了小雨修复,测试大雨场景),DA-RCOT的泛化能力秒杀其他方法:

真实世界场景修复效果惊艳

在真实世界的雨雾、低光照图像上,DA-RCOT修复的图像更清晰,色彩更自然:

连复合退化都能轻松搞定

面对同时存在多种退化的图像(比如既模糊又有噪声),DA-RCOT依然能精准修复:

为什么DA-RCOT能这么强?

关键在于它抓住了图像退化的本质:

  1. 用残差当线索:退化图像和干净图像的差异里藏着最关键的修复信息

  2. 多尺度分析:从细节纹理到整体结构全面捕捉退化特征

  3. 最优传输理论:数学保证了修复过程的最优性,避免过度修复或修复不足

这项研究不仅让图像复原的效果提升了一个档次,更重要的是提供了一种通用框架,未来可能扩展到视频修复、医学影像增强等更多领域。

下载1:OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复:扩展模块中文教程即可下载全网第一份OpenCV扩展模块教程中文版,涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2:Python视觉实战项目52讲

在「小白学视觉」公众号后台回复:Python视觉实战项目即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目,助力快速学校计算机视觉。

下载3:人工智能0基础学习攻略手册

在「小白学视觉」公众号后台回复:攻略手册即可获取《从 0 入门人工智能学习攻略手册》文档,包含视频课件、习题、电子书、代码、数据等人工智能学习相关资源,可以下载离线学习。

交流群

欢迎加入公众号读者群一起和同行交流,目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群(以后会逐渐细分),请扫描下面微信号加群,备注:”昵称+学校/公司+研究方向“,例如:”张三 + 上海交大 + 视觉SLAM“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告,否则会请出群,谢谢理解~

图片

图片

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐