专利详情

专利名称	一种面向海量数据的并行处理方法及系统
申请号	CN201210135226.3	专利类型	发明专利
公开（公告）号	CN103384206A	公开（授权）日	2013.11.06
申请（专利权）人	中国科学院计算机网络信息中心	发明（设计）人	陆忠华;王珏;王彦棡;邓笋根;阚圣哲
主分类号	H04L12/24(2006.01)I	IPC主分类号	H04L12/24(2006.01)I
专利有效期	一种面向海量数据的并行处理方法及系统至一种面向海量数据的并行处理方法及系统	法律状态	实质审查的生效
说明书摘要	本发明涉及一种网络管理中面向海量数据的并行处理方法，尤其是一种提高带宽和资源利用率的任务调度方法，包括：定时从数据库中取出待采集任务，并将待采集任务插入任务采集队列，等待采集任务的执行；从任务采集队列中取出任务描述，根据带宽资源利用情况和/或计算资源使用情况将任务进行子任务划分，将子任务映射到采集任务处理单元等待子任务的执行；执行各个子任务以完成数据采集任务，将采集的数据加入数据缓存队列，并进行并行数据处理，将处理好的数据加入内存数据库；将内存数据库中的数据定期同步到物理数据库中。