HDFS 밸런스 맞추기

새로운 노드가 추가되더라도 자동으로 균형이 맞지 않는다.

그러므로 수동으로 작업을 해야되는데 그때 사용되는 명령어가 bin/start-balancer.sh 이다.

$bin/start-balancer.sh -threshold 10

임계값을 10%로 주어 임계값 10%를 넘지 않는 선에서 HDFS 사용량 밸런스가 맞추어 진다.

hadoop@hadoop-VirtualBox:/usr/local/hadoop-1.2.1/bin$ ./start-balancer.sh -threshold 10

Warning: $HADOOP_HOME is deprecated.

starting balancer, logging to /usr/local/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-balancer-hadoop-VirtualBox.out

로그 기록을 보면 이러하다

Time Stamp               Iteration#  Bytes Already Moved  Bytes Left To Move  Bytes Being Moved

The cluster is balanced. Exiting...

Balancing took 489.0 milliseconds

         (blocks, -f) unlimited

pending signals                 (-i) 16004

max locked memory       (kbytes, -l) 64

max memory size         (kbytes, -m) unlimited

open files                      (-n) 1024

pipe size            (512 bytes, -p) 8

POSIX message queues     (bytes, -q) 819200

real-time priority              (-r) 0

stack size              (kbytes, -s) 8192

cpu time               (seconds, -t) unlimited

max user processes              (-u) 16004

virtual memory          (kbytes, -v) unlimited

file locks                      (-x) unlimited

모조분산환경이기 때문에 별다른 소득이 없다.