专利详情

专利名称	基于Hadoop的数据传输方法及系统
申请号	CN201610243294.X	专利类型	发明专利
公开（公告）号	CN105955819A	公开（授权）日	2016.09.21
申请（专利权）人	中国科学院计算技术研究所	发明（设计）人	曹政;郭嘉梁;李强
主分类号	G06F9/50(2006.01)I	IPC主分类号	G06F9/50(2006.01)I
专利有效期	基于Hadoop的数据传输方法及系统至基于Hadoop的数据传输方法及系统	法律状态	实质审查的生效
说明书摘要	本发明公开了一种基于Hadoop的数据传输方法及系统，该方法包括：中间结果文件产生步骤，建立一个中间结果文件以随时存储所有Map任务所产生的中间结果；索引建立步骤，建立索引文件，根据该中间结果文件随时更新该索引文件；传送步骤，当根据该索引文件判断出该中间结果文件中存在未传输的中间结果且对应的Reduce任务已经启动时，主动向该Reduce任务发送该未传输的中间结果。本发明缩短了Hadoop任务的执行时间，使得Map任务与Reduce任务的并行程度更高。提高了系统资源利用率，降低了系统的存储开销。