Hadoop副本放置策略

摘要

分布式文件系统(Hdfs)采用随机的副本放置策略使得系统在运行一段时间后会出现数据分布不均衡的情况,从而降低数据的可靠性和读取速率.为解决Hdfs默认副本放置策略存在的问题,对Hdfs副本放置策略进行改进:在副本放置选择时优先考虑存储使用率低的节点.模拟实验一测试了机架数目对于算法的影响,结果显示改进后的副本放置策略中,机架数目对集群的均衡性影响很小,显示出较好的均衡性.模拟实验二测试了随着写入数据的增加,比较了使用改进前后的副本放置策略集群中节点使用率的标准差,证实了改进后的副本放置策略在存储均衡方面较原放置策略有着更好的表现.

关键词