专利详情

专利名称	一种面向流式数据的在线处理方法及系统
申请号	CN201210510056.2	专利类型	发明专利
公开（公告）号	CN103853766A	公开（授权）日	2014.06.11
申请（专利权）人	中国科学院计算技术研究所	发明（设计）人	张瑾;程学旗;林祥辉;黄康平
主分类号	G06F17/30(2006.01)I	IPC主分类号	G06F17/30(2006.01)I
专利有效期	一种面向流式数据的在线处理方法及系统至一种面向流式数据的在线处理方法及系统	法律状态	实质审查的生效
说明书摘要	本发明公开了一种面向流式数据的在线处理方法，包括：步骤1，建立在线内存缓存层，对所述流式数据按照键值结构进行属性抽取后存储在所述在线内存缓存层中；步骤2，在所述内存缓存层中对所述流式数据建立混合索引结构；步骤3，对建立好索引结构的每条流式数据增加一个访问标志位，此标志位用于标志不同分析程序对于该流式数据的注册情况，同时对每一个分析程序访问流式数据的状态进行记录。步骤4，数据清理，若某流式数据被所述内存缓存层中的所有指定的分析程序访问过，则将该流式数据进行清理操作。本发明大幅度减小了流式处理过程中的数据读写压力，能够有效缓解大规模流式数据处理系统中数据库的压力，且能够提升流式数据的实时处理速度。