MMRC实验室博士毕业生马浩凯、本科生董欣欣视觉感知推荐领域方向的成果被中文CCF T1类期刊《软件学报》录用。

论文名称：基于跨模态语义推理的视觉感知推荐算法

论文作者：马浩凯（山东大学，新加坡国立大学）；董欣欣（山东大学）；李象贤（山东大学）；陈曦（道普云（山东）智能科技有限公司）；简萌（北京工业大学）；孟祥旭（山东大学）；孟雷*（山东大学，山东省工业技术研究院）

论文简介：视觉感知推荐算法旨在融合项目的内容信息进行表征增强，由于互联网图像内容多样、质量不一，现有算法的性能普遍受限于视觉特征学习过程。针对该问题，本文提出了一种基于跨模态语义表征学习的视觉感知推荐算法CSR-Net，引入图像标注作为先验特权信息，指导项目的内容特征从视觉空间向语义空间的映射，运用特征融合策略实现协同、视觉及语义等多角度特征的互补，从而提升推荐模型的性能。面对异构模态特征的映射困难问题，提出了基于双向门控的异构表征对齐方法，通过先验知识的指导和自学习门控的映射增强跨模态表征的判别力及模型训练的稳定性；针对语义信息推理的错误预测问题，提出多源知识融合的图卷积语义过滤方法，使用用户交互信息及项目语义元素相关性等先验知识进行语义加权，学习稳定的高阶语义表征。在三个真实数据集上的实验结果表明，CSR-Net学习的跨模态推理语义表征能够取得超越协同及视觉表征的性能，并实现了相对于现有视觉感知推荐方法的显著性能提升。此外，CSR-Net具有鲁棒性和普适性，能够作为通用框架嵌入VBPR、PiNet等视觉感知推荐模型并稳定提升其推荐性能。

图1：基于跨模态语义推理的视觉感知推荐算法框架

《软件学报》创刊于1990年，由中国科学院软件研究所和中国计算机学会联合主办。《软件学报》是一本刊登计算机软件各领域原创性研究成果的期刊，所刊登的论文均经过严格的同行专家评议。《软件学报》主要面向全球华人计算机软件学者，致力于创办与世界计算机科学和软件技术发展同步的以中文为主的"中文国际软件学术期刊"，为全球华人同行提供学术交流平台。已被EI等国际数据库收录。《软件学报》注重刊登反映计算机科学和计算机软件新理论、新方法和新技术以及学科发展趋势的文章，主要涉及理论计算机科学、算法设计与分析、系统软件与软件工程、模式识别与人工智能、数据库技术、计算机网络、信息安全、计算机图形学与计算机辅助设计、多媒体技术及其他相关的内容。