데이터 사이언스

hadoop 0.2x ~ 1.x 버전에서 hadoop/conf/hdfs-site.xml 파일에 다음과 같은 내용을 넣는다.(Hbase를 같이 사용하는 경우 hbase/conf/hbase-site.xml 에 똑같은 내용을 넣는다)\ dfs.support.append true 그리고 난 뒤 hdfs를 재실행 한다.

.bashrc 나 .profile에 HADOOP_HOME=/경로따로 지정하게 될 경우 $HADOOP_HOME is deprecated 경고문이 뜨게 된다. 이 문제를 해결하기 위해 다음과 같은 방법을 이용한다. .bashrc 혹은 .profile에 다음과 같은 문구를 집어 넣는다. HADOOP_HOME_WARN_SUPPRESS=TRUEexport HADOOP_HOME_WARN_SUPRESS

hadoop-example을 이용하여 랜덤 데이터를 생성한 후 이 데이터를 다시 정렬해 총 걸리는 시간을 측정하여 성능을 유추해 낼 수 있다. 다음의 명령을 사용해 random 데이터를 생성한다$bin/hadoop jar hadoop-example-1.2.1.jar randomwriter -D test.randomwrite.bytes_per_map=100 -D test.randomwriter.maps_per_host = 10 data/unsorted-data각 옵션은 맵에서 생성되는 데이터의 크기와 각 맵에서 생성되는 데이터의 크기를 지칭한다. 수행하면 다음과 같은 결과가 나온다. hadoop@hadoop-VirtualBox:/usr/local/hadoop-1.2.1$ bin/hadoop jar hado..

mapred-site.xml 파일에 다음과 같이 추가하여 단일 tasktracker가 실행할 map과 reduce의 tasktracker 최대 갯수를 지정할 수 있다. mapred.tasktracker.map.tasks.maximum2 mapred.tasktracker.reduce.tasks.maximum2

hadoop-env.sh 파일을 설정하여 로그 저장 폴더를 변경할 수 있다 $vi hadoop/conf/hadoop-env.sh HADOOP_LOG_DIR 이 적혀있는 줄의 주석을 제거하고 원하는 폴더명으로 변경시키면 된다 (default 값은 ${HADOOP_HOME}/logs 이다)

conf/hdfs-site.xml 를 조작하여 여러가지 설정을 할 수 있다. 블록 크기 설정dfs.block.size134217728 value는 byte단위로 설정한다 파일 복제 갯수 설정 dfs.replication2 위와 같은 설정을 bin/hadoop 명령어를 이용하여 설정할 수 있다. 업로드하는 파일의 블락 크기 설정$bin/hadoop fs -D dfs.block.size=134217728 -put data . 업로드 하는 파일 복제 갯수 설정$bin/hadoop fs -D dfs.replication=3 =copyFromLocal file02 . hadoop@hadoop-VirtualBox:/usr/local/hadoop-1.2.1$ bin/hadoop dfs -lsWarning: $HADO..

이 방법은 클러스터를 다시 시작하지 않고 데이터 손실 없이 데이터 노드를 해지하는 방법이다. 1. 먼저 클러스터 예외 목록 파일을 네임노드에 생성한다. ex) 여기서는 hadoop/conf/ 디렉토리에 noslaves라는 클러스터 예외 목록파일 을 생성하였다. vi conf/noslavesslave1slave2 // slave1과 slave2 데이터 노드 해지한다. 2. conf/hdfs-stie.xml 파일에 다음과 같이 작성한다. dfs.hosts.exclude/usr/local/hadoop/conf/noslaves여기서 사이에 들어가야할 값은 위에서 작성한 클러스터 예외 목록 파일의 풀 네임 경로이다. 3. 그리고 나서 다음의 명령어를 실행하여 데이터 노드를 해지한다. $bin/hadoop dfsa..

새로운 노드가 추가되더라도 자동으로 균형이 맞지 않는다. 그러므로 수동으로 작업을 해야되는데 그때 사용되는 명령어가 bin/start-balancer.sh 이다. $bin/start-balancer.sh -threshold 10 임계값을 10%로 주어 임계값 10%를 넘지 않는 선에서 HDFS 사용량 밸런스가 맞추어 진다. hadoop@hadoop-VirtualBox:/usr/local/hadoop-1.2.1/bin$ ./start-balancer.sh -threshold 10Warning: $HADOOP_HOME is deprecated. starting balancer, logging to /usr/local/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-balancer..

hadoop-test-*.jar 파일을 이용하여 테스트를 하게 된다 쓰기 테스트$bin/hadoop jar hadoop-test-1.2.1.jar TestDFSIO -write -nrFiles 5 -fileSize 100 -write 옵션은 쓰기 성능을 벤치마킹한다.-nrFiles 옵션은 몇개의 파일을 생성할 것인가 하는 옵션이다.-fileSize 옵션은 메가 바이트 단위로(MBytes)로 파일을 생성하겠다냐는 옵션이다. 우분투 13.04, 자바 1.7.40 hadoop 1.2.1버전, 가상분산환경에서 테스트 하였다. bin/hadoop jar hadoop-test-1.2.1.jar TestDFSIO -write -nrFiles 5 -fileSize 100Warning: $HADOOP_HOME is de..

하둡 맵리듀스 프로그래밍을 위해 이클립스 플러그 인을 컴파일하고 추가하는 작업 없이 이클립스에서 맵리듀스 프로그래밍과 jar file 생성을 위한 방법들을 소개하고자 합니다. 이 작업은 리눅스 우분투 13.04에서 진행되었습니다. 1. 새 프로젝트 생성 먼저 File -> New -> Java Project 클릭후 프로젝트를 생성합니다. hadoop 에서 제공하는 conf/ 파일이 필요하기 때문에 이를 복사할 수 있도록 conf/라는 디렉토리를 생성합니다. conf라는 디렉토리가 생성된 것을 확인할 수 있습니다. 2. 개발 환경 설정 생성한 프로젝트에 필요한 jar 파일들을 불러들여 lib에 추가시키는 작업을 합니다. 프로젝트 우클릭후 Properties를 클릭합니다. 좌측메뉴의 Java Build Pa..