您的位置:网站首页 > 《中文科技期刊数据库》 > 工程技术 > 自动化计算机 > 计算机软件 > 摘要

基于AHP的Reduce Task预设配比在Hadoop调度中的应用

《数据通信》2014年 第3期 | 周莲英 吴淑跃   江苏大学计算机科学与通信工程学院 江苏镇江212013
★ 收藏 | 分享
  • 第1页
  • 第2页
  • 第3页
  • 第4页
论文服务:
摘 要:针对Hadoop在进行具体MapReduce任务调度时,所存在的Reduce Task无法在一个合适的MapTask完成比例启动的问题,提出了一种基于AHP的Reduce Task预设配比启动方案.该方案基于层次分析法(AHP),选取在资源调度时影响性能息息相关的三个参考指标:文件上传时间、Reduce完成度(Map完成100%)以及系统的响应时间,经过实验得到三个参考值,最后经归一化后进行多属性决策分析得到最佳的Reduce Task启动方案.在本文实验环境下的最佳Reduce Task最佳启动配比为40%,即当Map Task完成比例为总数的40%时开始启动Reduce Task任务.
【分 类】【工业技术】 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 计算机软件 > 程序设计、软件工程
【关键词】 Hadoop调度 REDUCE Task预设配比 AHP
【出 处】 《数据通信》2014年 第3期 26-30页 共5页
【收 录】 中文科技期刊数据库