肿瘤康复网,内容丰富有趣,生活中的好帮手!
肿瘤康复网 > Hadoop集群HDFS各节点磁盘使用率不平衡 使用balancer做数据平衡

Hadoop集群HDFS各节点磁盘使用率不平衡 使用balancer做数据平衡

时间:2024-03-22 12:18:59

相关推荐

HDFS上各节点磁盘大小不一致,新增节点

数据平衡前,是非常不均衡的,某些节点已经接近90了

集群的数据平衡已经迫在眉睫,必须要搞一搞了。

1.设置传输速率

我这里是万兆网卡,就先设置100M了

两台master上分别执行:

hdfs dfsadmin -fs hdfs://nn1:8020 -setBalancerBandwidth 100M

2.找一台空闲集器,开始平衡数据

#设置数据之间差值5%nohup $HADOOP_HOME/sbin/start-balancer.sh -threshold 5 >#停止数据均衡$HADOOP_HOME/sbin/stop-balancer.sh

3.每天零点定时执行

crontab -e10 */24 * * * bash $HADOOP_HOME/sbin/start-balancer.sh -threshold 5

如果觉得《Hadoop集群HDFS各节点磁盘使用率不平衡 使用balancer做数据平衡》对你有帮助,请点赞、收藏,并留下你的观点哦!

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。