专利详情

专利名称	一种基于动态融合机制的多模态词汇表示方法
申请号	CN201710577334.9	专利类型	发明专利
公开（公告）号	CN107480196A	公开（授权）日	2017.12.15
申请（专利权）人	中国科学院自动化研究所	发明（设计）人	王少楠;张家俊;宗成庆
主分类号	G06F17/30(2006.01)I	IPC主分类号	G06F17/30(2006.01)I;G06F17/27(2006.01)I
专利有效期	一种基于动态融合机制的多模态词汇表示方法至一种基于动态融合机制的多模态词汇表示方法	法律状态	实质审查的生效
说明书摘要	本发明的多模态词汇表示方法包括分别计算待表示词汇在文本模态中的文本表示向量、以及待表示词汇在视觉模态中的图片表示向量；将文本表示向量输入预先建立的文本模态权重模型，得到文本表示向量在文本模态中的权重；将图片表示向量输入预先建立的视觉模态权重模型，得到图片表示向量在图片模态中的权重；根据文本表示向量、图片表示向量以及分别与文本表示向量和图片表示向量对应的权重，计算得到多模态词汇表示向量。其中，文本模态权重模型为输入为文本表示向量、输出为文本表示向量在对应文本模态中的权重的神经网络模型；视觉模态权重模型为输入为图片表示向量、输出为图片表示向量在对应视觉模态中的权重的神经网络模型。