HDFS上各节点磁盘大小不一致,新增节点
数据平衡前,是非常不均衡的,某些节点已经接近90了
集群的数据平衡已经迫在眉睫,必须要搞一搞了。
1.设置传输速率
我这里是万兆网卡,就先设置100M了
在两台master上分别执行:
hdfs dfsadmin -fs hdfs://nn1:8020 -setBalancerBandwidth 100M
2.找一台空闲集器,开始平衡数据
#设置数据之间差值5%nohup $HADOOP_HOME/sbin/start-balancer.sh -threshold 5 >#停止数据均衡$HADOOP_HOME/sbin/stop-balancer.sh
3.每天零点定时执行
crontab -e10 */24 * * * bash $HADOOP_HOME/sbin/start-balancer.sh -threshold 5
如果觉得《Hadoop集群HDFS各节点磁盘使用率不平衡 使用balancer做数据平衡》对你有帮助,请点赞、收藏,并留下你的观点哦!