LG-BPN: Local and Global Blind-Patch Network for Self-Supervised Real-World Denoising 论文阅读笔记

• 这是CVPR2023的一篇自监督去噪的文章
• related work里面的R2R、CVF-SID、AP-BSN还没看过，找时间看一下
• 文章提出了一个叫LG-BPN的网络结构，在现有self-supervised denoising的blind spot network的基础上提出了DSPMC和dilated transformer block两个模块
• 文章在related work里面把noise2noise类的方法定义为unsupervised的方法而把有监督的方法定义为自监督的方法，虽然有它的道理（因为只需要取干净图像作为数据集，早上可以在这上面合成，也可以算是一种子监督吧），但我不是很认可，我觉得从训练流程来看，无需clean image进行监督的才算无监督/自监督，而需要clean image的都算有监督，不过这是题外话了，也不需要纠结

motivation

• 文章前面的部分一直在强调噪声也是有空间上的 correlation 的，说现有的方法因为一直假设的是只有 sigal 有 spatial correlation 而假设noise 是 spatial independent 的，所以要提出一个考虑 noise 的 spatial correlation 的模型，文章也通过实验证明了noise确实是有spatial correlation的。从这一点出发提出了DSPMC模块
• 第二点是文章提出，现有的基于CNN的方法无法建立 long distance dependency，但我又觉得，denoise任务要什么long distance dependency，我只对patch做都可以，这一点也是值得怀疑。从这一点出发提出了在网络的后面加上dilated transformer block（DTB）模块。

网络结构

• 网络结构如下图所示：
  
• 网络是一个两分支的结构
• 文章做了下面这个实验，以探究noise到底有没有spatial correlation，有怎样的spatial correlation。作者首先在SIDD medium 这个数据集中通过用noise image - clean image得到噪声图，然后计算相邻噪声之间的相关系数，如下公式：
  
  当将相关系数和相对位置可视化后可以看到，中间一部分的相关度会比较高，越往外越低。因此可以证明，噪声确实是在空间上有相关性。但我怀疑这部分相关性来自于noise image-clean image 还有残余信号导致的，另一种可能是由于真实噪声中存在泊松分布的噪声，而泊松分布的噪声强度受信号强度影响，而信号具有空间相关性，从而使得噪声间接地具有空间相关性。
  
• 从而，基于上述观察，文章提出了一个DSPMC模块，其实就是孔洞更大更合理，kernel size也更大的central masked convolution。通过这样的mask，完全切断了noise之间的spatial correlation，使得网络无法再根据未mask的像素值预测出带噪声的中心点像素值：
  
• 但是这样做还不够好，文章又提出了两个改进，一个是在测试的时候把孔洞和kernel size 再变小一点，也就是说训练和测试采取不同的kernel size和孔洞大小；第二个是在测试的时候使用更稀疏的卷积核以降低运算复杂度。至于为什么测试的时候孔洞就可以小了，我的理解是，网络训练过程见不到相关的像素值才是重要的，这样可以训练出一个noise-robust的卷积核参数，然后测试的时候就没关系了：
  
• 第二个模块是DTB，想用transformer来建立长程依赖，但是基于D-BSN（Unpaired learning of deep image denoising, ECCV2020）这篇文章的理论，要保持blind spot，就不能在transformer中引进相邻像素之间的信息交换。所以就用了channel attention。。。。有点无语，这个和长程依赖好像没什么关系。。。

实验结果

• 从指标上看，PSNR不如有监督方法，不过比一些无监督方法好
  
• 从可视化结果来看可以说和AP-BSN相差不大吧
  

总结：

• 文章的两个创新点，虽然第二个DTB的我不怎么认同，但第一个还是有理有据的，虽然还我还是有点质疑噪声的空间相关性的理论依据（因为文章只通过实验说明而没有从原理上给出解释）。对这个进一步挖掘应该还能有更多发现。
• 高情商：第二个模块改进空间很大；低情商：第二个模块讲不清动机，难以自圆其说，这也能放上去？