FreMAE：傅里叶变换与掩蔽自编码器相遇，用于医学图像分割

​

FreMAE: Fourier Transform Meets Masked Autoencoders for Medical Image
Segmentation

解决问题：本篇论文旨在解决医学图像分割中的自监督学习问题，提出了一种基于傅里叶变换和掩蔽自编码器的自监督预训练框架FreMAE。该框架旨在融合全局结构信息和局部细节信息，提高密集预测任务的表现。

关键思路：FreMAE框架利用傅里叶变换将医学图像分割问题转化到频域，将高频分量中的细节信息和低频分量中的高层语义信息结合起来，通过多阶段的监督引导表示学习。相比于当前领域的研究，该框架具有更好的性能和更高的效率。

其他亮点：本文通过在三个基准数据集上的实验表明，FreMAE框架相比于其他自监督学习方法有着更好的表现。此外，该论文还提供了开源代码。该框架的成功应用为医学图像分割提供了新的思路。

关于作者：本篇论文的主要作者来自中国的南京大学和北京大学。他们之前的代表作包括《Unsupervised Domain Adaptation via Structured Prediction Based Selective Pseudo-Labeling》和《Deep Reinforcement Learning for Unsupervised Video Summarization with Diversity-Representativeness Reward》等。

相关研究：近期其他相关的研究包括《Self-Supervised Learning for Medical Image Analysis: A Survey》(作者：Zongwei Zhou等，机构：香港科技大学)和《Self-Supervised Learning for Medical Image Segmentation using Image Context Restoration》(作者：Bingbing Ni等，机构：南京大学)等。

论文摘要：本文介绍了一种新的基于自监督掩膜图像建模（MIM）的框架，名为FreMAE，用于医学图像分割的自监督预训练。为了在密集预测任务中结合关键的全局结构信息和局部细节，我们将视角转向频率域，并进一步引入多阶段监督来指导预训练阶段的表示学习。实验结果表明，与基于从头开始训练的各种基线相比，我们的FreMAE能够持续地提高模型性能。据我们所知，这是首次尝试在医学图像分割中使用傅里叶变换的MIM方法。

​Read More