2024 年 11 月 15 日，地学学院2024届本科生魏刊在遥感领域国际顶级期刊 International Journal of Applied Earth Observation and Geoinformation 发表题为“MGFNet: An MLP-dominated gated fusion network for semantic segmentation of high-resolution multi-modal remote sensing images”的学术论文。魏刊同学于 2022-2024年参与到西南交通大学大学生科研训练计划 (SRTP) 中，项目名称为“基于深度学习的光学和 SAR 图像融合分类”。该生积极参与到科研实训当中，实现了从理论到数据再到方法的成果积累，并在叶沅鑫教授细心地指导下，将 SRTP 项目成果转化为学术论文。该论文于2023年10月进行投稿，历经1年多的审稿周期，经过多次反复修改，最终于2024年11月在线发表。其中魏刊为第一作者，叶沅鑫教授为通讯作者，西南交通大学为第一单位。

图1 论文首页

该论文针对高分辨率遥感图像中多模态数据的异质性和复杂性，提出了一种多层感知器（MLP）主导的门控融合网络（MGFNet），以解决现有跨模态网络在融合高分辨率光学和合成孔径雷达（SAR）图像的互补信息时面临的挑战。MGFNet由三个模块组成：多路径特征提取网络、MLP门控融合（MGF）模块和解码器。首先，MGFNet独立提取高分辨率光学和SAR图像的特征，同时保留空间信息。然后，精心设计的MGF模块通过通道注意力和门控融合阶段结合多模态特征，利用MLP作为门控来利用互补信息并过滤冗余数据。此外，本研究还贡献了一个新的高分辨率多模态遥感数据集YESeg-OPT-SAR，空间分辨率为0.5米。为了评估MGFNet，我们将其与几个最先进的（SOTA）模型在YESeg-OPT-SAR和Pohang数据集上进行了比较，这两个数据集都是高分辨率多模态数据集。实验结果表明，MGFNet在评估指标上优于其他模型，表明其在多模态特征融合用于分割方面的有效性。源代码和数据可在https://www.sciencedirect.com/science/article/pii/S1569843224005971获取。

图2 论文方法

International Journal of Applied Earth Observation and Geoinformation为中科院一区TOP期刊，JCR分区为Q1区，其2023年影响因子 (IF) 为 7.6，CiteScore指数值为 12.0。这项研究受到西南交通大学 SRTP 项目和国家自然科学基金的资助。

论文详细信息：

Wei, K., Dai, J., Hong, D., Ye, Y.^*, 2024. MGFNet: An MLP-dominated gated fusion network for semantic segmentation of high-resolution multi-modal remote sensing images. International Journal of Applied Earth Observation and Geoinformation 135, 104241.

论文DOI:

https://doi.org/10.1016/j.jag.2024.104241