데이터 사이언스

mapred-site.xml 파일에 다음과 같이 추가하여 단일 tasktracker가 실행할 map과 reduce의 tasktracker 최대 갯수를 지정할 수 있다. mapred.tasktracker.map.tasks.maximum2 mapred.tasktracker.reduce.tasks.maximum2

hadoop-env.sh 파일을 설정하여 로그 저장 폴더를 변경할 수 있다 $vi hadoop/conf/hadoop-env.sh HADOOP_LOG_DIR 이 적혀있는 줄의 주석을 제거하고 원하는 폴더명으로 변경시키면 된다 (default 값은 ${HADOOP_HOME}/logs 이다)

conf/hdfs-site.xml 를 조작하여 여러가지 설정을 할 수 있다. 블록 크기 설정dfs.block.size134217728 value는 byte단위로 설정한다 파일 복제 갯수 설정 dfs.replication2 위와 같은 설정을 bin/hadoop 명령어를 이용하여 설정할 수 있다. 업로드하는 파일의 블락 크기 설정$bin/hadoop fs -D dfs.block.size=134217728 -put data . 업로드 하는 파일 복제 갯수 설정$bin/hadoop fs -D dfs.replication=3 =copyFromLocal file02 . hadoop@hadoop-VirtualBox:/usr/local/hadoop-1.2.1$ bin/hadoop dfs -lsWarning: $HADO..