티스토리 뷰
conf/hdfs-site.xml 를 조작하여 여러가지 설정을 할 수 있다.
블록 크기 설정
<property>
<name>dfs.block.size</name>
<value>134217728</value>
</property>
value는 byte단위로 설정한다
파일 복제 갯수 설정
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
위와 같은 설정을 bin/hadoop 명령어를 이용하여 설정할 수 있다.
업로드하는 파일의 블락 크기 설정
$bin/hadoop fs -D dfs.block.size=134217728 -put data .
업로드 하는 파일 복제 갯수 설정
$bin/hadoop fs -D dfs.replication=3 =copyFromLocal file02 .
hadoop@hadoop-VirtualBox:/usr/local/hadoop-1.2.1$ bin/hadoop dfs -ls
Warning: $HADOOP_HOME is deprecated.
Found 11 items
-rw-r--r-- 1 hadoop supergroup 121130 2013-10-07 15:09 /user/hadoop/build.xml
-rw-r--r-- 1 hadoop supergroup 40 2013-10-21 18:05 /user/hadoop/file01
-rw-r--r-- 3 hadoop supergroup 33 2013-10-21 18:07 /user/hadoop/file02
replica가 3개가 된것을 알 수 있다. (default 1)
'Hadoop & Mapreduce' 카테고리의 다른 글
단일 tasktracker가 실행할 map과 reduce 최대 갯수 설정하기 (0) | 2013.10.23 |
---|---|
hadoop 로그저장 폴더 변경하기 (0) | 2013.10.23 |
HDFS에서 하나 이상의 데이터 노드 해지하기 (0) | 2013.10.21 |
HDFS 밸런스 맞추기 (0) | 2013.10.21 |
HDFS 벤치마킹 하기 (0) | 2013.10.21 |
- Total
- Today
- Yesterday
- x1 carbon 2017
- x260
- x1 카본 2017
- t470s
- t450s
- socket
- L570
- x250
- Yoga 370
- c++
- t460s
- x1
- x1 카본 5세대
- 키보드
- x1c
- 레노버
- L470
- 소켓
- Thinkpad
- t570
- t470p
- Python
- lenovo
- x270
- thinkpad 13
- x1 carbon 5th
- x1 carbon
- 더헌트맨
- 파이썬
- t470
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |