专利详情

专利名称	一种面向大数据的分布式主题发现方法及系统
申请号	CN201310526790.2	专利类型	发明专利
公开（公告）号	CN103593418A	公开（授权）日	2014.02.19
申请（专利权）人	中国科学院计算技术研究所	发明（设计）人	吴新宇;何清;庄福振;敖翔
主分类号	G06F17/30(2006.01)I	IPC主分类号	G06F17/30(2006.01)I
专利有效期	一种面向大数据的分布式主题发现方法及系统至一种面向大数据的分布式主题发现方法及系统	法律状态	实质审查的生效
说明书摘要	本发明涉及一种面向大数据的分布式主题发现系统及方法，包含三个并行处理过程，每个过程均由映射、组合、化简三个功能模块中的一个或多个组合而成，对每个输入文档的特征向量进行正规化，并且对构成该文档的每个词在本文档中出现次数进行计数；在映射功能模块端将每个文档作为一个原始类并对文档频率计数，在组合模块端对映射模块端产生的原始类进行本地聚类，生成局部类，在化简模块端对来自多个远端物理节点组合产生的局部类进行聚类，生成全局类；对第二个映射/化简过程产生全局类的内部关键词进行打分和排序，输出用户所需的K个高分关键词表达主题。从而处理TB级数据，并且计算能力线性上升，真正实现分布式计算，提高性能和效率。