专利详情

专利名称	基于文本?图像匹配的多模态自动文摘方法
申请号	CN201710195587.X	专利类型	发明专利
公开（公告）号	CN106997387A	公开（授权）日	2017.08.01
申请（专利权）人	中国科学院自动化研究所	发明（设计）人	张家俊;李浩然;周玉;宗成庆
主分类号	G06F17/30(2006.01)I	IPC主分类号	G06F17/30(2006.01)I;G06K9/00(2006.01)I;G06K9/62(2006.01)I
专利有效期	基于文本?图像匹配的多模态自动文摘方法至基于文本?图像匹配的多模态自动文摘方法	法律状态	实质审查的生效
说明书摘要	本发明提供了一种基于文本?图像匹配的多模态自动文摘方法，包括：对多模态信息中的文本信息中的句子进行重要性打分；对多模态信息中的视频信息通过镜头边界切割，提取视频的关键帧；对多模态信息中的图像信息和/或视频信息通过文本?图像匹配模型为图像和/或关键帧找到语义对应的文本；以及根据每一个句子的重要性得分、图片和关键帧所占权重、与文本的语义相关度，以及惩罚冗余项，生成文本摘要。通过训练文本?图像匹配模型，将图像或视频中的信息利用文本?图像匹配模型找到对应语义的文本，实现了同时处理文本、图像和视频信息进行文本摘要，使得输出的自动文摘相较传统的纯文本自动文摘结果具有更好的全面性和准确度。