如何通过YARN设计分布式资源动态调度协同分配系统

资料大小: 1.55 MB

所需积分: 0

下载次数:

用户评论: 0条评论,查看

上传日期: 2021-03-09

上 传 者: 他上传的所有资料

资料介绍

标签:动态调度(4)协同(10)分布式(302)

Stormonyarn是目前主流的分布式资源调度框架,但其存在需要人工干预和无法根据资源可用性实时调整系统资源的不足。根据流数据处理的实时延迟计算系统负载情况,在Storm平台上基于YARN设计分布式资源调度和协同分配系统。建立包含系统层和任务层的双层调度模型,系统层通过对流数据处理负载的实时监测进行资源分配预测,任务层利用Zookeeper和YARN对集群资源的高效管理能力进行动态资源管理。实验结果表明,该系统可以实时调整集群资源分布,有效减小系统延迟。

如何通过YARN设计分布式资源动态调度协同分配系统

用户评论

查看全部 条评论

发表评论请先 , 还没有账号?免费注册

发表评论

用户评论
技术交流、我要发言! 发表评论可获取积分! 请遵守相关规定。
上传电子资料
久久爱在免费线看观看_久久 久久精品2020中文字幕_成年女人免费毛片视频