专利详情

专利名称	一种生成描述图像内容的自然语言的方法与系统
申请号	CN201711265210.3	专利类型	发明专利
公开（公告）号	CN107918782A	公开（授权）日	2018.04.17
申请（专利权）人	中国科学院计算技术研究所	发明（设计）人	唐胜;李灵慧;张勇东;李锦涛
主分类号	G06K9/62(2006.01)I	IPC主分类号	G06K9/62(2006.01)I;G06F17/27(2006.01)I;G06N3/04(2006.01)I;G06N3/08(2006.01)I
专利有效期	一种生成描述图像内容的自然语言的方法与系统至一种生成描述图像内容的自然语言的方法与系统	法律状态	实质审查的生效
说明书摘要	本发明提供了一种训练用于生成描述图像内容的自然语言的模型的方法，以及采用所述模型生成描述图像内容的自然语言的方法。其中，所述训练方法，包括：A1)将图像训练集中图像的全局特征以及局部特征作为注意力机制的输入，以获得同时包含全局特征以及局部特征的融合的结果；A2)将所述融合的结果和单词训练集作为长短记忆网络的输入，利用损失函数对所述注意力机制以及所述长短记忆网络进行训练，获得所述注意力机制的权值以及所述长短记忆网络的权值；其中，所述损失函数是已知图像的内容、以及描述所述图像内容的自然语句中前一个或多个单词时第i个单词的条件概率的函数，i＝1,…i_max。