近日,我校信息学院计算机科学与技术专业2020级本科生林峰以第一作者身份在期刊《CAAI Transactions on Intelligence Technology》发表了题为“Multi‐modal knowledge graph inference via media convergence and logic rule”的研究论文,该期刊为人工智能领域权威期刊,目前为JCR一区和中科院二区的SCI期刊,影响因子为7.985,论文的通讯作者为真人电子平台李冬梅教授。该成果源自国家级大学生创新创业训练计划项目——基于多模态中医知识图谱的辅助诊疗系统(指导教师:李冬梅),论文的其他作者包括真人电子平台硕士生焦元周和大创项目组的其他四名2020级本科生史东升、陈前中、林奕颖、朱文涛。
2021年9月大二刚刚开学,林峰便带领大创项目组其他4名本科生加入李冬梅教授与中医科学院合作的课题组,针对传统知识图谱无法充分体现现实世界知识的弊端,与研究生一起开展了多模态知识图谱(图1)推理的研究。
图1 多模态知识图谱示例
经过一年多的学习和深入研究,项目组创新性提出了一种基于规则和路径联合嵌入的多模态知识图谱推理模型MCRJI(图2)。在公共数据集上的大量实验结果表明,该方法在链路预测任务上表现出高效的性能。本研究充分利用了多头自注意力融合实体的不同媒体特征,解决了传统推理方法可解释性差的问题,为传统知识图谱利用多模态特征提供了有效的解决方案。后续项目组将继续深入研究,对模型进一步改进,针对已构建的多模态中医药知识图谱开展实验验证。
图2 MCRJI模型的框架结构
近年来,信息学院“以本为本”,高度重视本科教学,重视本科生科研训练,积极以“科研育人”、“竞赛育人”等多种形式,鼓励和支持本科生参与教师研究课题,培养学生的创新意识和科学思维。此次本科生一作发表高水平论文充分体现了真人电子平台在激发本科生科研热情、培养创新型人才上取得的显著成效。
论文链接:http://doi.org/10.1049/cit2.12217
作者:李冬梅 审稿人:崔晓晖