
2025年3月21日,国际多媒体顶级会议The 27th International Joint Conference on Artificial Intelligence(ICME2025)论文录用结果揭晓,MMRC实验室团队在联邦分布外泛化方法研究方向的成果论文被该会议录用。IEEE国际多媒体与博览会(ICME2025)计划于2025年6月30日-7月4日在法国南特召开,ICME是中国计算机学会CCF推荐的B类国际学术会议,在计算机多媒体领域享有较高的学术声誉。这次会议共收到破纪录的3,737篇有效投稿,录用率约27.3%。
论文名称:Global Intervention and Distillation for Federated Out-of-Distribution Generalization
论文作者:齐壮#(山东大学), 张润辉#(山东大学), 孟雷∗(山东大学), 吴畏(山东大学), 张尧臣(浪潮软件科技), 孟祥旭(山东大学)
论文概述:在联邦学习中,客户端数据中的无关信息常常会干扰模型对标签的识别,影响多个客户端模型的协同效果。针对这种由于数据分布不一致带来的问题,现有的方法主要有两类:一是通过数据增强,即利用训练数据生成器增加样本多样性,但这种方法的性能受限于生成样本与原始样本之间的差异;二是采用知识蒸馏引导客户端模型学习共享的特征,但对域信息的依赖也限制了模型在分布外域的迁移能力。为了解决这些问题,本文提出了基于全局干预和全局蒸馏的联邦学习算法(FedGID)。该算法由两个模块组成:一是全局干预模块,能够自适应解耦图像中的物体与背景信息,将背景注入到随机样本中,从而干预样本的分布,强化背景与所有类别的联系,避免模型将背景误判为因果关系;二是全局蒸馏模块,利用统一的知识库指导客户端模型的表征学习,防止模型过度拟合本地的特定属性。实验结果在三个数据集上均显示,FedGID显著提升了模型在未见数据中的主体关注能力,并在协作建模方面优于现有的多种方法。

图:FedGID框架图
arxiv链接:https://arxiv.org/abs/2504.00850
github链接:https://github.com/qizhuang-qz/FedGID