您的位置:网站首页 > 《中文科技期刊数据库》 > 工程技术 > 自动化计算机 > 计算机网络 > 摘要

面向多用户环境的MapReduce集群调度算法研究

《高技术通讯》2017年 第4期 | 陈重韬   中国科学院计算技术研究所计算机应用研究中心 北京100190 中国科学院大学 北京100049
购物车 | ★ 收藏 | 分享
论文服务:
摘 要:针对MapReduce集群现有调度策略在多用户环境下无法根据用户的实际资源需求实现动态资源分配的问题,提出了一种基于历史执行信息(HEI)的MapReduce集群调度算法——HEI Scheduler。该算法通过建立集群作业执行信息的收集和分析机制,得到各用户组资源需求随时间变化的规律,并以作业实际占用slot的时间作为作业占用资源量的衡量标准,进而动态地确定资源池的最小共享资源以及集群剩余资源分配的权值。实验结果表明,执行信息分析机制能够更准确地表征作业对资源的需求,采用集群调度算法HEI Scheduler能够有效地缩短作业的整体执行时间。
【分 类】【工业技术】 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 计算机的应用 > 计算机网络 > 一般性问题 > 网络互连技术
【关键词】 MapReduce集群 多用户环境 调度算法 作业执行信息收集
【出 处】 《高技术通讯》2017年 第4期 295-302页 共8页
【收 录】 中文科技期刊数据库