专利详情

专利名称	一种网页爬虫协作方法
申请号	CN201110375264.1	专利类型	发明专利
公开（公告）号	CN102480524A	公开（授权）日	2012.05.30
申请（专利权）人	中国科学院声学研究所	发明（设计）人	王劲林;王玲芳;邓峰;齐向东
主分类号	H04L29/08(2006.01)I	IPC主分类号	H04L29/08(2006.01)I;H04L29/06(2006.01)I;G06F17/30(2006.01)I
专利有效期	一种网页爬虫协作方法至一种网页爬虫协作方法	法律状态	实质审查的生效
说明书摘要	本发明公开了一种网页爬虫协作方法，所述的方法步骤如下：首先，爬虫节点依据在线时间段形成若干采集组，所有的各采集组能实现一个周期的连续在线；然后，采集组间通过消息交换的方法采集网页；最后，所有的采集组协作存储被采集的网页。所述每个采集组采用自动生成或配置的方式得到对应于该采集组的ID号。消息交换的方法可采用：各采集组形成一个路由网络，节点依据路由信息表将信令或消息发送到另一个采集组；其中，所述路由网络中的路由协议可采用IP网络路由中的路由协议，或对等网络中的各种DHT协议；或采用中心控制消息交换方法。本发明可解决采集设备中心化面临的带宽问题和网页的海量存储问题，解决P2P采集的时间可持续问题。