专利详情

专利名称	一种并行的垂直交叉网络数据采集方法及系统
申请号	CN201310146080.7	专利类型	发明专利
公开（公告）号	CN103258017A	公开（授权）日	2013.08.21
申请（专利权）人	中国科学院计算技术研究所	发明（设计）人	敖翔;何清;庄福振
主分类号	G06F17/30(2006.01)I	IPC主分类号	G06F17/30(2006.01)I
专利有效期	一种并行的垂直交叉网络数据采集方法及系统至一种并行的垂直交叉网络数据采集方法及系统	法律状态	实质审查的生效
说明书摘要	本发明提供一种并行的垂直交叉网络数据采集方法及系统，方法包括：S1确定采集方式，若是普通URL列表采集方式根据URL列表直接下载待下载网页数据及其元数据，若是垂直交叉采集方式利用交叉关键字列表检索待下载页，并下载该网页数据及其元数据；S2定时更新任务，对已下载的网页中第一层到当前层的所有网页进行扫描检查，当新下载的页面最后修改时间大于已下载的页面最后修改时间时，对该新下载的页面重新进行数据采集，更新网页数据记录。本发明避掉了多线程技术的一些潜在风险和代价，降低了多线程并行采集的潜在风险与代价，可以实现海量数据更稳定、更高效的并行采集，提高了数据读取和查询的效率。