欢迎来到喀斯玛汇智科技服务平台

服务热线: 010-82648522

首页 > 成果推荐 > 成果详情
一种基于MapReduce的增量计算方法

一种基于MapReduce的增量计算方法


  • 应用领域: 其他
  • 技术领域: 其他
  • 技术成熟度: 已有样品
  • 交易类型: 合作开发
  • 联系人: 汇智科技服务平台
  • 联系信息: 010-82648522
  • 成果详情
本发明公开了一种基于MapReduce的增量计算方法,该方法包括:创建用于缓存不同的历史处理结果的增量处理模型,包括:缓存combiner结果的模型、缓存中间结果的模型与结果直接重用的模型;当获得输入数据时,根据所述输入数据的数据特性选择对应的增量处理模型进行数据处理,并在增量数据到来时,调用所述对应的增量处理模型进行数据处理时缓存的历史处理结果进行增量数据的计算。本发明公开的方法,通过选择适用于数据特性的模型进行计算,可以节省大量不必要的重复计算,从而提高了数据处理的效率。
  • 我要咨询
官方客服(周一至周五:8:30-17:30) 010-82648522