专利详情

专利名称	一种及时高效的互联网信息爬取方法
申请号	CN201110430997.0	专利类型	发明专利
公开（公告）号	CN103176985A	公开（授权）日	2013.06.26
申请（专利权）人	中国科学院计算机网络信息中心	发明（设计）人	杨风雷;黎建辉;杨俊峰;虞路清;周园春
主分类号	G06F17/30(2006.01)I	IPC主分类号	G06F17/30(2006.01)I
专利有效期	一种及时高效的互联网信息爬取方法至一种及时高效的互联网信息爬取方法	法律状态	实质审查的生效
说明书摘要	本发明公开了一种及时高效的互联网信息爬取方法，属于信息技术领域。本方法为：1)设定种子地址，爬取保存网页信息并确定导航页面；2)对每一导航页面进行多次爬取，并对爬取的网页进行分析标注；4)建立每一网站的主题判断模型和导航页面变更时间序列预测模型；5)预测每一网站导航页面下一次变更时间，确定下一爬取时间，爬取导航页面并提取未爬取过的子页面地址和锚文本；6)利用所建主题判断模型对上一步提取的子页面地址和锚文本进行判断，并据判断结果分别处理；7)基于新爬取的主题相关页面，形成或更新每一网站导航页面的当前变更时间序列，确定下一爬取时间进行网页爬取。本发明能在较小负载下，保证所采集信息的新颖性和主题性。