🔍本文贡献主要体现在三点：

 1）提出跨模态数据增强框架：利用CycleGAN实现无需配对数据的可见光至红外图像转换，生成保留缺陷结构与热特征的伪红外样本，有效缓解红外数据稀缺问题。

 2）设计异构混合训练策略：将生成的伪红外数据与有限真实红外样本融合训练YOLOv8，提升了模型在低数据条件下的特征学习能力与泛化性。

 3）验证数据增强的有效性：实验表明，所提方法显著提升了小样本下的检测性能，检测结果接近全监督基准，为工业质检提供了实用且高效的解决方案。

博主简介

​

AI小怪兽 | 计算机视觉布道者 | 视觉检测领域创新者

深耕计算机视觉与深度学习领域，专注于视觉检测前沿技术的探索与突破。长期致力于YOLO系列算法的结构性创新、性能极限优化与工业级落地实践，旨在打通从学术研究到产业应用的最后一公里。

🚀 核心专长与技术创新

• YOLO算法结构性创新：于CSDN平台原创发布《YOLOv13魔术师》、《YOLOv12魔术师》等全系列深度专栏。系统性提出并开源了多项原创自研模块，在模型轻量化设计、多维度注意力机制融合、特征金字塔重构等关键方向完成了一系列突破性实践，为行业提供了具备高参考价值的技术路径与完整解决方案。

• 技术生态建设与知识传播：独立运营 “计算机视觉大作战” 公众号（粉丝1.6万），成功构建高质量的技术交流社群。致力于将复杂算法转化为通俗易懂的解读与可复现的工程代码，显著降低了计算机视觉的技术入门门槛。

🏆 行业影响力与商业实践

• 荣获腾讯云年度影响力作者与创作之星奖项，内容质量与专业性获行业权威平台认证。

• 全网累计拥有 7万+ 垂直领域技术受众，专栏文章总阅读量突破百万，在目标检测领域形成了广泛的学术与工业影响力。

• 具备丰富的企业级项目交付经验，曾为工业视觉检测、智慧城市安防等多个关键领域提供定制化的算法模型与解决方案，驱动业务智能化升级。

💡 未来方向与使命

秉持 “让每一行代码都有温度” 的技术理念，未来将持续聚焦于实时检测、语义分割及工业缺陷检测的商业化闭环等核心方向。愿与业界同仁协同创新，共同推动技术边界，以坚实的技术能力赋能实体经济与行业变革。

 原创自研系列， 25年计算机视觉顶会创新点

《YOLOv13魔术师》

《YOLOv12魔术师》

《YOLO11魔术师》

《YOLOv8原创自研》

《YOLOv5原创自研》

《YOLOv7原创自研》

《YOLOv9魔术师》

​《YOLOv10魔术师》 ​

应用系列篇：

《YOLO小目标检测》

《深度学习工业缺陷检测》

《YOLOv8-Pose关键点检测》

23、24年最火系列，加入24年改进点内涵100+优化改进篇，涨点小能手，助力科研，好评率极高

《YOLOv8魔术师》

 《YOLOv7魔术师》

《YOLOv5/YOLOv7魔术师》

《RT-DETR魔术师》

原理介绍

论文：https://arxiv.org/pdf/2601.00237

摘要：本文针对印刷电路板（PCB）缺陷检测中红外数据稀缺的关键瓶颈，提出了一种融合CycleGAN与YOLOv8的跨模态数据增强框架。与传统依赖配对监督的方法不同，本研究运用CycleGAN实现无配对图像翻译，将大量可见光PCB图像映射至红外域。该生成过程合成的伪红外样本具有高保真度，既保留了缺陷的结构语义，又准确模拟了热分布模式。随后，我们构建了一种异构训练策略，将生成的伪红外数据与有限的实际红外样本融合，用于训练轻量级YOLOv8检测器。实验结果表明，该方法在低数据条件下有效提升了特征学习能力。经增强的检测器性能显著优于仅使用有限真实数据训练的模型，并逼近全监督训练的性能基准，证明了伪红外合成作为工业检测中一种鲁棒增强策略的有效性。

关键词：生成对抗网络（GAN）；目标检测算法；红外图像生成；缺陷检测；印刷电路板（PCB）

一、引言

印刷电路板（PCB）作为现代电子系统的基础支撑，广泛应用于消费电子、通信、汽车、医疗和工业等诸多领域。其整体制造质量，特别是在焊膏印刷、元器件贴装和回流焊曲线控制等关键工艺环节，直接影响焊点可靠性。开路/短路、漏孔、不良焊点等缺陷会显著降低产品功能，有时甚至会引发严重的安全风险。因此，高效、精确的PCB缺陷检测对于严格的质量保证和生产效率至关重要。

目前，基于人工目检或规则图像处理的传统方法仍很普遍[1]。在可见光照明下运行的传统视觉检测系统，本质上对照明不均、投射阴影、镜面反射和表面材料差异等因素敏感。这些因素会显著降低识别细微裂纹或缺陷所需的对比度，并损害整体检测的鲁棒性。

相比之下，红外（IR）成像通过直接测量温度分布提供了宝贵的互补信息，且受环境光照变化的影响要小得多。在PCB检测的背景下，特定的电气或热异常（如元件过热、短路、异常焊点）通常表现为独特的温度分布图，这使得那些在标准可见光图像中可能不明显或不可见的缺陷得以可靠检测。

卢向宁[2]开发了一种微型焊球缺陷检测模型，为高密度封装提供了一种新颖的检测方案。王卓[3]创新了一种涡流热激励管道检测方法，并构建了缺陷深度预测模型。陈曦[4]验证了红外检测用于金属孔隙缺陷的可行性。

然而，高性能红外硬件的高昂成本以及在受控采集环境中的现实限制，普遍制约了高质量红外数据集的广泛可用性，这严重限制了数据驱动模型的训练，阻碍了潜在性能的提升。为有效缓解红外数据稀缺这一长期存在的问题，本文利用无配对图像翻译技术，基于现有的可见光PCB图像合成高保真的类红外样本。具体而言，采用CycleGAN架构来学习复杂的跨模态映射，而无需配对监督，从而显著扩大了有效训练集。随后，将转换后的图像纳入基于YOLO的检测流程中，以期以实际可行的计算效率实现精确的缺陷分类和定位。该框架显著降低了对大规模真实红外数据的依赖，为PCB红外缺陷检测提供了一条数据高效的路径，并有望扩展到相关的工业检测任务中。

二、基于CycleGAN的PCB缺陷检测算法

自2017年首次提出以来[5]，CycleGAN模型作为生成对抗网络（GAN）框架下的无监督图像域转换领域的一个重要研究方向，通过新颖的循环一致性约束有效实现了稳健的跨域图像映射，从而成功克服了传统方法严重依赖严格配对训练数据的固有局限。

何建华[6]随后引入了一种半监督学习机制，将分类标签信息注入训练过程，有效缓解了GAN训练的不稳定性，并增强了生成图像的语义保真度。杜振龙[7]在重构器中采用DenseNet架构，结合了相同映射损失与感知损失函数，显著优化了风格迁移任务的收敛速度和图像质量。同年，H. Dou等人[8]设计了一种非对称U-Net架构，并引入边缘保留损失来解决近红外与可见光人脸图像的非对称特性，实现了精确的跨模态人脸图像合成。

罗飞[9]提出了CycleGAN-Improve模型，通过Inception-Res模块增强生成器的表达能力，并在循环损失中引入协方差矩阵约束，在人脸素描到照片转换任务的面部结构保持和纹理生成方面取得了突破。近年来，研究者们进一步探索了域适应机制。例如，J. Yin团队[10]使用LSGAN损失来约束可见光到红外图像的转换，而郭瀚辉团队[11]则引入CBAM注意力机制来优化口罩人脸检测任务。L. He团队[12]提出了Fuzzy-Cycle模型，通过模糊循环损失和频域增强判别器，提升了船舶图像跨模态转换的鲁棒性。这些研究不仅极大地拓展了CycleGAN的多样化应用场景，也通过精妙的架构创新和严谨的损失函数优化，推动了图像域转换技术的持续进步。

红外热成像因其本质上是非接触式的，并能通过复杂的温度场变化有效揭示隐藏的次表面异常，在多种无损检测应用中得到了广泛认可和应用。在PCB检测这一特定领域，物理缺陷（如漏孔或不良焊接）会显著改变热传导路径，产生特征性的温度分布图，而这些特征在传统的可见光照明下可能难以准确区分。尽管具有这些明显优势，但实际广泛部署往往受到标记红外数据稀缺和固有图像质量差异性的严重制约。

本研究系统性地解决了这一关键的数据瓶颈问题，通过采用CycleGAN合成高保真的伪红外缺陷图像以进行鲁棒的数据集增强，从而有效支持在具有挑战性的低数据条件下的深度学习PCB缺陷检测。

三、方法

如图1所示，本研究提出了一种融合CycleGAN与YOLO的PCB红外缺陷检测框架。首先，利用CycleGAN通过无配对图像翻译技术，从可见光图像合成伪红外缺陷图像，在无需配对训练数据的情况下保留与缺陷相关的结构。随后，将生成的伪红外图像与真实红外样本相结合，构建增强数据集，用于训练基于YOLO的检测器以实现缺陷识别和定位，并在真实红外数据上进行性能验证。

A. CycleGAN网络模型

CycleGAN是一种基于GAN的无配对图像翻译框架，本工作中用于从可见光输入合成伪红外PCB缺陷图像。它使用两个生成器（G: X → Y, F: Y → X）和两个判别器（DY, DX）学习可见光域X与红外域Y之间的双向映射。训练过程优化对抗损失以提高生成图像的真实性，并采用循环一致性约束以保持语义，即强制满足 F(G(X)) ≈ X 和 G(F(Y)) ≈ Y。

对抗损失函数表示如下：
 

在公式中，P_data(x) 和 P_data(y) 分别表示源域 X 和目标域 Y 的真实图像分布。D_X(x) 是判别器 D_X 判定样本 x 来自真实分布 P_data(x) 的概率，D_Y(y) 是判别器 D_Y 判定样本 y 来自真实分布 P_data(y) 的概率。D_X(F(y)) 是生成器 F 生成的图像 F(y) 来自真实分布 P_data(x) 的概率，D_Y(G(x)) 是生成器 G 生成的图像 G(x) 来自真实分布 P_data(y) 的概率。

循环一致性损失公式如下：

其中符号 L1 表示曼哈顿距离（L1 范数）。通过联合优化对抗损失和循环一致性损失，CycleGAN在没有显式样本监督的情况下学习域之间稳健的映射关系，同时避免了模式坍塌。其核心优势在于突破了传统图像翻译模型对严格配对数据的依赖，并支持双向跨域翻译。CycleGAN网络模型的损失函数是两个对抗损失与循环一致性损失之和：

• 

其中 λ 是控制循环一致性损失权重的超参数。

四、实验设置与数据采集

红外图像使用MV-CI003-GLN6型热像仪采集，而相应的可见光图像则使用高分辨率智能手机摄像头获取。实验使用无元件的穿孔PCB板（四块）以隔离缺陷区域；有限的样本量通过后续的数据增强手段进行了弥补。数据采集在25°C室温下进行，在红外采集前使用灯源将PCB板加热至约50°C，以增强热对比度，并反映实际工作条件。由于焦距限制，仅获得了整板红外图像，额外的缺陷样本是通过图像裁剪和预处理生成的。

由于红外相机的焦距有限，无法实现局部放大。因此，每张拍摄的红外图像覆盖整个PCB板。这导致原始数据集相对较小，无法直接满足深度学习模型的需求。因此，需要对原始图像进行裁剪以构建更全面的训练数据集。为增强数据集多样性，每张采集的可见光和红外图像都进行了裁剪和角度调整。这确保了裁剪后的可见光图像与红外图像保持一一对应。最终，经处理后获得了111对位置匹配的可见光-红外数据对，为后续CycleGAN模型训练奠定了基础。

A. CycleGAN模型训练与伪红外数据生成

本研究使用前期收集并裁剪得到的111对位置对齐的可见光-红外图像对作为数据集，训练CycleGAN将可见光PCB图像（源域）转换为红外PCB图像（目标域），该数据集的配对性质保留了结构对应关系，有助于实现精确的跨模态映射。数据集按照8:1:1的比例划分为训练集、验证集和测试集，其中训练集用于模型参数学习，验证集用于超参数调优，测试集用于评估生成红外图像的质量。训练完成后，使用测试集评估CycleGAN的转换性能，结果如表3所示。由可见光PCB图像生成的红外图像在热分布模式上与真实红外图像表现出高度一致性，证明了该模型能够准确模拟真实PCB红外缺陷图像的热分布特征。

为更直观地展示转换效果，将测试集中的真实红外图像与CycleGAN生成的伪红外图像进行对比，可见温度分布整体相似。CycleGAN有效地学习了可见光与红外图像之间的映射关系。缺陷区域的热特征被准确呈现，表明CycleGAN保留了关键的缺陷信息。然而，存在一些细微细节的丢失，这可能是由于训练数据集规模有限，导致在复杂纹理区域出现了一定的转换误差。

在测试了CycleGAN的生成能力后，使用公开的可见光PCB缺陷数据集作为可见光数据，进行转换以生成伪红外数据，从而扩充数据集。从该公开数据集中选取了分类为“漏孔”的缺陷图像。由于该数据集原始图像分辨率较高，直接输入CycleGAN会导致转换效果不佳。因此，对原始图像进行了裁剪，使其尺寸与训练时使用的图像尺寸相匹配。这一裁剪过程确保了数据的一致性，并为CycleGAN的转换过程提供了更合适的输入。接着，应用训练好的CycleGAN模型对裁剪后的可见光图像进行转换，生成了相应的伪红外缺陷数据集。在转换过程中，CycleGAN成功地保留了缺陷区域的热分布模式。生成的伪红外图像呈现出与真实红外图像相似的热特征，同时有效地保持了原始缺陷的位置。为确保与原始数据集的标注一致性，直接采用了公开数据集的缺陷标注，并将其转换为YOLO格式的标注文件。此过程使得生成的伪红外缺陷数据集既具有真实红外图像的热分布特征，又拥有完整的标注信息，可直接用于后续YOLO模型的训练。

最终，CycleGAN生成的伪红外缺陷数据集规模显著超过了初期人工采集的红外数据。该扩充后的数据集为YOLO模型训练提供了更丰富的样本，从而增强了模型的泛化能力，提高了缺陷检测的准确性和鲁棒性。该方法有效应对了红外缺陷数据不足的问题，为后续的目标检测任务奠定了坚实基础。

YOLO训练语料融合了异构数据源，包括真实红外图像、CycleGAN生成的伪红外图像以及可见光缺陷图像；经过标注后，数据集按7:2:1的比例划分为训练/验证/测试子集。真实红外数据主要为自行采集并使用Real-ESRGAN进行增强，而伪红外数据则是通过CycleGAN将公开的可见光PCB缺陷数据集（来自北京大学智能机器人实验室）转换至红外域得到。在模型训练过程中，采用了Mosaic、随机裁剪和颜色抖动等数据增强手段，以增加数据多样性并提升对不同缺陷表现的鲁棒性。

五、结果与讨论

本研究采用预训练的YOLOv8n模型作为基线检测器，因其轻量化设计支持实时推理，且适合小规模训练数据。训练时输入分辨率为640×640，在GPU内存限制下批处理大小为6，初始学习率lr0=0.01，并通过余弦衰减调度（cos lr=True）以促进稳定收敛。数据增强包括使用Mosaic（mosaic=1.0）以增加样本多样性，以及结合复制粘贴（copy paste=0.4）和随机缩放（scale=0.8）以提升对目标位置和尺寸变化的鲁棒性。为确保在不同数据集间进行公平比较，采用了相同的训练设置并均衡了图像数量，从而控制了混淆因素，使得能够无偏地评估每个数据集对检测性能的贡献。

A. 训练结果分析

YOLO训练结果包含10张内容各异的图表，每张图展示了模型在不同任务上的学习过程与性能。训练集边界框损失（train/box loss）展示了边界框回归损失的变化情况。训练集分类损失（train/cls loss）显示了分类损失的变化。训练集分布焦点损失（train/dfl loss）反映了边界框方向损失的变化。指标/精确度（metrics/precision）和指标/召回率（metrics/recall）分别展示了精确度和召回率的变化。指标/mAP50（metrics/mAP50）和指标/mAP50-95（metrics/mAP50-95）则分别展示了模型在IoU=0.5和更严格的IoU阈值（0.5:0.95）下的性能表现。

训练损失（train/box loss, train/cls loss, train/dfl loss）在初始训练周期急剧下降，随后趋于收敛，表明边界框回归和类别预测的优化过程稳定，没有出现显著振荡。验证损失（val/box loss, val/cls loss, val/dfl loss）表现出与训练损失高度吻合的变化轨迹——先逐步降低后趋于稳定——相对于训练曲线的差异很小，这表明在当前数据划分下模型具有很强的泛化能力，没有明显的过拟合现象。

与损失变化一致，精确度和召回率均提升至接近饱和的水平，意味着检测器在保持较低误报率的同时，识别出了大部分目标实例。同样，mAP@0.5趋近于1，而mAP@0.5:0.95保持在高位（约0.8），这表明即使在更严格的IoU阈值下性能仍得以保持，尽管相对于mAP@0.5有所下降，这在预期之内。总体而言，收敛的损失曲线和持续强劲的各项指标表明，训练完成的模型在验证集上达到了可靠的检测性能，并展现出稳健的泛化能力。

在训练过程中，定位损失、分类损失和分布焦点损失（train/box loss, train/cls loss, train/dfl loss）单调下降并在后期周期收敛，表明边界框回归和类别判别的优化过程稳定。相应的验证损失（val/box loss, val/cls loss, val/dfl loss）遵循了一致的下降轨迹并趋于稳定，没有偏离训练曲线，这表明是有效的泛化而非过拟合。在检测指标方面，精确度和召回率均逐步提升并保持良好的平衡，反映了预测准确率和缺陷覆盖率的同时改善。mAP@0.5稳步上升，而mAP@0.5:0.95呈现出相同趋势但绝对值较低，这与后者更严格的IoU要求相一致。观察到的差距是可预期的，特别是对于小型或细粒度缺陷（如漏孔），轻微的定位误差在更高的IoU阈值下会不成比例地降低得分。综合来看，收敛的损失曲线以及不断提升的mAP、精确度、召回率表明，YOLOv8模型在生成的红外数据集上取得了可靠的检测性能，同时通过持续优化数据质量和训练策略，可能获得进一步的性能提升。

B. 检测效果评估

实验结果表明，生成的红外图像在目标检测任务中表现出较高的检测精度。然而，与在真实红外图像上训练的模型相比，其检测性能仍存在一定差距。因此，生成的红外缺陷数据不能直接替代真实红外缺陷数据。但是，当将生成的红外缺陷数据与真实红外数据混合使用时，检测性能相比仅使用生成红外数据时显示出显著提升，并接近使用真实红外缺陷数据所达到的检测结果。这证明生成的数据能够有效辅助红外缺陷检测。

在多个不同的数据集中，真实的红外缺陷数据仍然是能产生最佳检测性能的最优数据集。然而，当真实数据不足时，可以采用混合红外缺陷数据。其检测性能接近真实数据，同时能有效扩充数据量。需注意的是，生成数据比例过高会降低检测效果。

六、结论

本研究提出了一种结合基于CycleGAN的无配对可见光到红外转换与YOLOv8的PCB红外缺陷检测框架，以缓解红外数据稀缺问题。CycleGAN被用于生成伪红外缺陷图像，这些图像与真实红外样本混合形成一个丰富的训练集，其中合成数据保留了与真实红外图像一致的关键热分布和缺陷特征。实验表明，YOLOv8在混合数据集上获得了稳健的检测和定位性能，这表明伪红外样本有效地补充了有限的真实数据并改善了泛化能力，为在受限的红外采集条件下的智能PCB检测提供了一种实用的数据增强策略。