티스토리 뷰

Hadoop & Mapreduce

기타 HDFS 설정

윤's군 2013. 10. 21. 18:09

conf/hdfs-site.xml 를 조작하여 여러가지 설정을 할 수 있다.



블록 크기 설정

<property>

<name>dfs.block.size</name>

<value>134217728</value>

</property>


value는 byte단위로 설정한다




파일 복제 갯수 설정


<property>

<name>dfs.replication</name>

<value>2</value>

</property>




위와 같은 설정을 bin/hadoop 명령어를 이용하여 설정할 수 있다.


업로드하는 파일의 블락 크기 설정

$bin/hadoop fs -D dfs.block.size=134217728 -put data .



업로드 하는 파일 복제 갯수 설정

$bin/hadoop fs -D dfs.replication=3 =copyFromLocal file02 .



hadoop@hadoop-VirtualBox:/usr/local/hadoop-1.2.1$ bin/hadoop dfs -ls

Warning: $HADOOP_HOME is deprecated.


Found 11 items

-rw-r--r--   1 hadoop supergroup     121130 2013-10-07 15:09 /user/hadoop/build.xml

-rw-r--r--   1 hadoop supergroup         40 2013-10-21 18:05 /user/hadoop/file01

-rw-r--r--   3 hadoop supergroup         33 2013-10-21 18:07 /user/hadoop/file02




replica가 3개가 된것을 알 수 있다. (default 1)

댓글
공지사항
최근에 올라온 글
최근에 달린 댓글
Total
Today
Yesterday
링크
«   2024/05   »
1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31
글 보관함