您的位置:网站首页 > 《中文科技期刊数据库》 > 工程技术 > 自动化计算机 > 计算机技术理论 > 摘要

IABS:一个基于Spark的Apriori改进算法

《计算机应用研究》2017年 第8期 | 闫梦洁 罗军 刘建英 侯传旺   国防科学技术大学计算机学院 长沙410073
  • 第1页
  • 第2页
  • 第3页
  • 第4页
论文服务:
摘 要:Apriori算法是关联规则挖掘中最经典的算法之一,其核心问题是频繁项集的获取。针对经典Apriori算法存在的需多次遍历事务数据库及需产生候选项集等问题,首先通过转换存储结构、消除候选集产生过程等方法对Apriori算法进行优化;同时,随着大数据时代的到来,数据量与日俱增,传统算法面临巨大挑战,将优化的Apriori与Spark相结合,充分利用Spark的内存计算、弹性分布式数据集等优势,提出了IABS(improved Apriori algorithm based on Spark)。通过与已有的同类算法进行比较,IABS的数据可扩展性和节点可扩展性得以验证,并且在多种数据集上平均获得了23.88%的性能提升,尤其随着数据量的增长,性能提升更加明显。
【分 类】【工业技术】 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 一般性问题 > 理论、方法 > 算法理论
【关键词】 APRIORI算法 频繁项集 存储结构转换 SPARK 内存计算
【出 处】 《计算机应用研究》2017年 第8期 2274-2277页 共4页
【收 录】 中文科技期刊数据库