데이터 사이언스

.bashrc 나 .profile에 HADOOP_HOME=/경로따로 지정하게 될 경우 $HADOOP_HOME is deprecated 경고문이 뜨게 된다. 이 문제를 해결하기 위해 다음과 같은 방법을 이용한다. .bashrc 혹은 .profile에 다음과 같은 문구를 집어 넣는다. HADOOP_HOME_WARN_SUPPRESS=TRUEexport HADOOP_HOME_WARN_SUPRESS

http://blog.daum.net/_blog/BlogTypeView.do?blogid=0ajER&articleno=3 1행 1열 row1 column1 1행 2열 row1 column2 1행 3열 row1 column3 2행 1열 row2 column1 2행 2열 row2 column2 2행 3열 row2 column3 3행 1열 row3 column1 3행 2열 row3 column2 3행 3열 row3 column3

hadoop-example을 이용하여 랜덤 데이터를 생성한 후 이 데이터를 다시 정렬해 총 걸리는 시간을 측정하여 성능을 유추해 낼 수 있다. 다음의 명령을 사용해 random 데이터를 생성한다$bin/hadoop jar hadoop-example-1.2.1.jar randomwriter -D test.randomwrite.bytes_per_map=100 -D test.randomwriter.maps_per_host = 10 data/unsorted-data각 옵션은 맵에서 생성되는 데이터의 크기와 각 맵에서 생성되는 데이터의 크기를 지칭한다. 수행하면 다음과 같은 결과가 나온다. hadoop@hadoop-VirtualBox:/usr/local/hadoop-1.2.1$ bin/hadoop jar hado..