---
created: 2025-08-03 21:19:11
tags:
  - "Research"
  - "复现"
  - "MDMS"
  - "相关工作"
  - "低光增强"
---

# PyDiff

这篇论文提出了用于低光照图像增强的金字塔扩散模型（PyDiff），通过创新的方法解决了传统扩散模型在处理低光照图像时存在的问题，在实验中展现出优异的性能。

1. **研究背景**：低光照图像增强一直是研究热点，深度学习的发展催生了众多方法，但恢复的细节仍有提升空间。扩散模型在图像生成领域表现出色，能生成逼真细节，因此作者尝试将其引入低光照图像增强，不过面临分辨率固定和全局退化两大问题。
2. **相关工作**：回顾低光照图像增强的多种深度学习方法，如基于数据驱动的LLNet、基于Retinex理论的方法以及无监督学习方法等；介绍扩散模型的原理、应用及现有加速和改进策略。
3. **方法**：提出PyDiff模型，包括金字塔扩散和全局校正器。金字塔扩散通过定义下采样调度，在不同分辨率下进行采样，加快反向过程并扩大感受野；全局校正器用于缓解扩散模型反向过程中可能出现的全局退化，提高性能且计算消耗小。此外，还介绍了模型的训练和采样过程。
4. **实验**：在LOL和LOLV2数据集上进行实验，对比其他先进方法，PyDiff在PSNR、SSIM和LPIPS等指标上表现更优。消融实验表明，金字塔扩散的下采样调度和位置编码可提升性能，全局校正器能有效缓解全局退化，且PyDiff对批量大小更鲁棒，速度比LLFLOW快87%。
5. **结论**：PyDiff是一种基于扩散模型的低光照图像增强有效方法，具有快速采样、性能提升显著、泛化能力强等优点，有望成为低光照图像增强的强基线，并推动扩散模型在更多低级视觉任务中的应用。

# LLFlow

这篇论文《Low-Light Image Enhancement with Normalizing Flow》提出了一种基于归一化流的低光图像增强方法LLFlow，旨在解决传统方法在低光图像增强中存在的问题，通过实验证明了该方法在定量和定性方面的优势。

1. **研究背景与问题**：低光图像增强旨在提高低光图像的可见性，抑制噪声和伪影。传统基于深度学习的方法大多依赖像素级损失函数，存在无法有效正则化局部结构、不能准确描述视觉距离等问题，生成的图像容易出现亮度不合适、残留噪声和伪影等情况。
2. **相关工作**：介绍了低光图像增强的早期方法和深度学习方法，以及归一化流的基本概念、发展和应用。
3. **方法**：提出用归一化流对正常曝光图像的复杂分布进行建模，通过最大似然估计来训练模型。框架包含两个组件：一是用于提取光照不变颜色图的编码器，利用直方图均衡化图像、特定计算方式的颜色图和噪声图作为输入；二是旨在学习一对多关系的可逆网络，由三个级别组成，每个级别包含一个挤压层和12个流步。
4. **实验**：在LOL和VE-LOL数据集上进行实验，设置了实验参数。采用PSNR、SSIM和LPIPS等指标评估，结果表明LLFlow在定量和定性方面均优于其他方法。通过消融实验验证了条件归一化流、不同z值、模型组件和训练范式等的有效性。
5. **结论**：提出的基于归一化流模型的低光图像增强框架，能更好地表征结构上下文和测量视觉距离，在现有基准数据集上取得了比现有技术更好的定量和定性结果。

# LLFormer

“Ultra-High-Definition Low-Light Image Enhancement: A Benchmark and Transformer-Based Method”一文聚焦于超高清低光图像增强任务，构建了新数据集并提出LLFormer方法，推动了该领域的发展。

1. **研究背景与问题**：低光环境下拍摄的图像存在可见度差、对比度低和噪声高等问题。现有低光图像增强（LLIE）方法在处理超高清（UHD）图像时，难以兼顾推理效率和视觉增强效果。同时，大多数现有数据集分辨率较低，无法满足UHD图像算法的训练和评估需求。
2. **相关工作**：介绍了多种低光图像数据集，如LOL、SID等，以及LLIE方法，包括传统的基于直方图、Retinex、去雾的方法和基于深度学习的数据驱动方法，还提及基于Transformer的方法在图像恢复任务中的应用，但在低光图像增强方面潜力有待挖掘。
3. **基准数据集与方法**
   - **UHD-LOL数据集**：构建了UHD-LOL数据集，包含4K和8K分辨率的图像对，通过对公开数据中的正常光图像进行处理，合成相应的低光图像，划分了训练集和测试集。
   - **LLFormer架构**：采用分层编码器 - 解码器结构，包含基于轴的Transformer块和跨层注意力融合块。基于轴的Transformer块中，基于轴的多头自注意力（A-MSA）沿高度和宽度轴计算自注意力，降低计算复杂度，双门控前馈网络（DGFN）利用双门控机制聚焦有用特征；跨层注意力融合块自适应融合不同层的特征。
4. **实验与分析**
   - **实验设置**：LLFormer在128×128的图像块上训练，采用数据增强和Adam优化器，对比16种代表性LLIE方法，使用PSNR、SSIM等指标评估性能。
   - **基准测试结果**：在UHD-LOL4K和UHD-LOL8K子集上，LLFormer性能优于其他方法。在公共数据集LOL和MIT-Adobe FiveK上，LLFormer也取得优异成绩，且资源利用高效。
   - **消融实验**：验证了A-MSA、DGFN、加权跳连接和跨层注意力融合块等组件对模型性能的提升作用，表明LLFormer在性能和复杂度之间取得了良好平衡。
5. **研究结论**：构建了首个大规模低光UHD图像增强基准数据集，提出首个基于Transformer的UHD-LLIE方法LLFormer，其性能显著优于现有方法，UHD-LOL数据集和LLFormer将为相关研究提供基准和帮助。

# IAT

这篇论文提出了一种名为Illumination Adaptive Transformer（IAT）的轻量级快速框架，用于解决现实世界中具有挑战性的光照条件问题，在低级别和高级别视觉任务中均展现出优异性能。

1. **挑战与准备**：现实世界中光照条件复杂，影响视觉效果和计算机视觉任务。现有多种技术应对，但存在不足。Vision Transformers在计算机视觉领域取得进展，但现有模型计算成本高。论文旨在提出统一轻量级框架，处理不同光照问题并提升后续识别任务性能。
2. **IAT设计**：将ISP管道分解为局部和全局图像组件，设计两个分支的Transformer模型。局部分支用深度卷积替代自注意力机制，保持分辨率并估计局部组件；全局分支受DETR启发，用注意力查询控制ISP相关参数，生成目标图像。
3. **实验结果**：在多个数据集上对IAT进行评估，涵盖低级别（图像增强、曝光校正）和高级别（低光物体检测、低光语义分割、多光照物体检测）视觉任务。结果表明IAT在图像质量和模型效率上优于现有方法，且联合训练可进一步提升高级别视觉性能。
4. **研究结论**：IAT在处理复杂光照条件下的图像任务表现出色，且轻量快速，有潜力成为计算机视觉领域的常用工具。未来可考虑加入更详细的ISP相关部分，并应用于3D人类重光照任务。