近日，第14届国际多媒体检索会议（ICMR）在泰国普吉岛举行。软件学院人机交互与虚拟现实中心硕士生于铭哲参加会议，并汇报展示论文成果。论文“Smart Fitting Room: A One-stop Framework for Matching-aware Virtual Try-on”第一作者为硕士生于铭哲，武蕾副教授为指导教师，合作者包括软件学院孟雷教授，新加坡国立大学马云山博士，Tat-Seng Chua教授，江南大学李雪博士。

该工作以时尚推荐领域中的服装搭配问题作为切入点，探究了生成式AI和检索相结合的方法，提出服装搭配与试穿一站式框架。

具体的，论文提出了混合匹配感知虚拟试穿框架（HMaVTON），结合了基于检索和生成的方法，以促进更个性化的虚拟试穿体验。其中混合搭配模块结合检索与生成方法，不仅可以检索平台上已有的时尚单品以促进销售，而且可以生成符合消费者多样化品味的衣服。

如下图所示，在基于检索的匹配模块（Retrieval-based Matching Module）中，文中使用结合图像特征和潜在特征的视觉贝叶斯个性化排序进行推荐。在生成匹配模块（Generative Matching Module）中，文中使用掩码和部分遮挡的查询图像作为控制条件来生成匹配的图像。并通过自适应融合模块（Adaptive Fusion Module）决定推荐生成服装或检索服装，使用阈值控制生成物品与检索物品之间的比例。基于推荐得到的服装，虚拟试穿模块（Virtual Try-on Module）可以生成可视化的试穿图像，提供高质量的试穿效果，实现一站式购物服务。

ACM ICMR是由国际计算机协会（ACM）举办的多媒体领域高水平国际会议，于2011年由国际会议CIVR和MIR合并而成，是中国计算机学会（CCF）推荐的B类刊物。ICMR旨在阐明多媒体（例如文本、图像、视频、音频、传感器数据、3D）检索的最新进展，为研究人员、工程师和从业者提供一个交流平台，以展示和讨论多媒体信息检索相关的新技术、方法和应用。

论文链接：https://dl.acm.org/doi/10.1145/3652583.3658064