专利详情

专利名称	基于锚文本的聚焦网络爬虫搜索方法及其系统
申请号	CN201110230220.X	专利类型	发明专利
公开（公告）号	CN102298622A	公开（授权）日	2011.12.28
申请（专利权）人	中国科学院自动化研究所	发明（设计）人	郝红卫;台宪青;王艳军;殷绪成
主分类号	G06F17/30(2006.01)I	IPC主分类号	G06F17/30(2006.01)I
专利有效期	基于锚文本的聚焦网络爬虫搜索方法及其系统至基于锚文本的聚焦网络爬虫搜索方法及其系统	法律状态	实质审查的生效
说明书摘要	本发明公开了一种基于锚文本的聚焦网络爬虫搜索方法及其系统，所述方法主要包括：从URL优先级队列中获取URL，并依据URL从Internet下载得到Web页面；对下载的Web页面进行解析，提取URL及其锚文本；对提取出的URL及其锚文本进行筛选；采用TF-IDF与LSI相结合的算法来计算URL的主题相关度，并将符合条件的URL放入优先级队列中；所述系统包括：URL优先级队列、网络爬虫下载器、Web页面库、URL解析器、URL筛选器以及主题相关性判断器。通过采用所述基于锚文本的聚焦网络爬虫搜索方法及其系统，本发明提高了聚焦网络爬虫爬行结果的主题相关度及爬行效率。