专利详情

专利名称	一种基于Hadoop的海量流数据存储和查询方法及系统
申请号	CN201010546473.3	专利类型	发明专利
公开（公告）号	CN101996250A	公开（授权）日	2011.03.30
申请（专利权）人	中国科学院计算技术研究所	发明（设计）人	郭斯杰;熊劲
主分类号	G06F17/30(2006.01)I	IPC主分类号	G06F17/30(2006.01)I
专利有效期	一种基于Hadoop的海量流数据存储和查询方法及系统至一种基于Hadoop的海量流数据存储和查询方法及系统	法律状态	实质审查的生效
说明书摘要	本发明公开了一种基于Hadoop的海量流数据存储和查询方法及系统。所述方法，包括下列步骤：构建段级列簇式存储结构：将流数据依次存储为列簇记录，并对列簇记录从前往后进行压缩得到压缩数据页，将该压缩数据页写到一个列簇数据，同时将该压缩数据页的页面概要信息追加写入到列簇数据的尾端，得到完整的数据段；在查询语句执行的过程中，根据过滤条件，利用存储在数据段尾端的所述页面概要信息构建出一张扫描表对数据进行快速过滤。