专利详情

专利名称	一种基于Spark SQL的分布式全文检索系统及方法
申请号	CN201710269870.2	专利类型	发明专利
公开（公告）号	CN107122443A	公开（授权）日	2017.09.01
申请（专利权）人	中国科学院软件研究所	发明（设计）人	许利杰;崔光范;刘杰;马志柔;吴怀林;叶丹
主分类号	G06F17/30(2006.01)I	IPC主分类号	G06F17/30(2006.01)I
专利有效期	一种基于Spark SQL的分布式全文检索系统及方法至一种基于Spark SQL的分布式全文检索系统及方法	法律状态	实质审查的生效
说明书摘要	本发明涉及一种基于Spark?SQL的分布式全文检索系统及方法，包括SQL翻译层、数据源管理层、并行计算层、分布式存储层，在SQL翻译层中提出了基于SQL的全文检索文法以及全文检索SQL语句在SQL翻译层各模块间的翻译过程；在数据源管理模块设计了全文检索过程的并行化方法；检索优化模块中，设计了两种索引存储模型和相应的查询时原表数据还原策略，其中基于索引指定列存储模型设计了一种用于在查询时还原原表数据、复杂度为O(n)的分区对齐连接算法。在两种存储模型下，索引构建时间缩短为传统数据库的0.6％/0.5％，查询时间缩短为传统数据库的1％/10％，索引存储量减少为传统数据库的55.0％。增强了Spark?SQL数据分析功能，能够满足传统业务迁移和现有业务对海量数据进行全文检索的需求。