티스토리 뷰

Hadoop을 가상 분산 처리가 아닌 분산형(cluster) 시스템으로 구축할때 발생할 수 있는 에러이다.


별에별걸 다 수정해봤었는데 마스터의 /etc/hosts 에 등록한 domain과 ip가


해당 ip를 갖고있는 시스템의 /etc/hostname이 같지 않을때 발생할 수 있다.


(사용 환경은 ubuntu 13.04이다)



$hadoop_home/conf/slaves 에는 slave1 slave2 slave3 항목이 올바르게 들어가 있다고 가정한다.



그림의 예를 들자면 이렇다





이럴경우 Shuffle 에러나 fetch-failures에 빠질 수 있다.




바람직한 구성도는 다음과 같다







만약 fetch-failures나 shuffle error 발생시에는 /etc/hosts와 /etc/hostname 일치여부를 먼저 확인해 보는것을 추천한다.





이거때문에 하루를 날렸..................................다.............ㅠㅠ



댓글
공지사항
최근에 올라온 글
최근에 달린 댓글
Total
Today
Yesterday
링크
«   2024/12   »
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 31
글 보관함