데이터 사이언스

회사에서 쓰는 멤브레인 키보드는 키감도 별로고 촉감도 별로라서 fc 900r 스탠다드 PBT 갈축을 장만하여 사용중이다. ABS 보다는 PBT가 낫겠거니 해서 샀다. 산 시기는 1월 중순즈음으로 사용한지는 약 1달이 다 되어간다. 소음은 흡입패드가 있어서 그런지 다른 갈축들에 비해 작은편 키감은 개인 취향마다 다르겠지만 딱딱한 pbt 키캡을 사용해서 그런지 뭔가 산뜻한 기분보다는 건조하고 아프다는 느낌이 든다. 보강판 + pbt라 그런지 키보드에 적응하기 전엔 타이핑 할때마다 손끝이 아팠다. 오죽했으면 산지 하루만에 이거 팔아버리고 보강판 없는 다른 키보드를 살까 라는 생각까지 했을정도 지금은 적응이 되었지만 여전히 다른 키보드를 물색해 보고 있는 실정이다 -_-;; (그래서 용산까지 다녀왔지만 결론은 ..

Python idle에러로 idle에서 4bytes 유니코드를 제대로 출력못하는 경우에 발생합니다. 12str = '\U0001F44D'print(str)cs idle에서 실행하면 아래와 같이 실패합니다. >>> str = '\U0001F44D';>>> str'\U0001f44d'>>> print(str)Traceback (most recent call last): File "", line 1, in print(str) File "C:\Python34\lib\idlelib\PyShell.py", line 1347, in write return self.shell.write(s, self.tags)UnicodeEncodeError: 'UCS-2' codec can't encode character '\U0..

#include using namespace std; int main { cout

많이 사용하지만 너무 길에서 명령어 치기 귀찮다면 alias 를 통해 간편한 명령어로 축약시킬 수 있다 예를 들어 hadoop dfs 라는 명령어를 많이 사용한다면 alias hdfs="hadoop dfs" 를 통해 hadoop dfs라는 명령어를 hdfs라는 명령어로 바꿀 수 있다

hadoop 0.2x ~ 1.x 버전에서 hadoop/conf/hdfs-site.xml 파일에 다음과 같은 내용을 넣는다.(Hbase를 같이 사용하는 경우 hbase/conf/hbase-site.xml 에 똑같은 내용을 넣는다)\ dfs.support.append true 그리고 난 뒤 hdfs를 재실행 한다.

기준 객체가 매개변수 객체보다 먼저라면 음수기준 객체가 매개변수 객체보다 뒤라면 양수기준 객체가 매개변수 객체와 같으면 0

직렬화는 객체를 저장매체(파일이나 메모리와 같은)에 저장하거나 바이너리(이진) 형태로 네트워크를 통해 전달하기 위해 저장하는 과정이다. 이(객체를 직렬화한) 연속된 바이트나 포맷은 다시 원래 객체가 가지고 있던 상태로 객체를 재생성하는데 사용할 수 있다. 이렇게 객체를 직렬화하는 과정은 디플레이팅(deflating) 또는 마샬링(marshalling)이라고도 부른다. 직렬화와는 반대로 연속된 바이트로부터 어떤 데이터 구조를 추출해내는 과정을 역직렬화(deserialization)라고 한다. 역직렬화는 인플레이팅(inflating) 또는 언마샬링(unmarshalling)이라 불리기도 한다 출처 : http://ralf79.tistory.com/172#recentTrackback Java Object Se..

.bashrc 나 .profile에 HADOOP_HOME=/경로따로 지정하게 될 경우 $HADOOP_HOME is deprecated 경고문이 뜨게 된다. 이 문제를 해결하기 위해 다음과 같은 방법을 이용한다. .bashrc 혹은 .profile에 다음과 같은 문구를 집어 넣는다. HADOOP_HOME_WARN_SUPPRESS=TRUEexport HADOOP_HOME_WARN_SUPRESS

http://blog.daum.net/_blog/BlogTypeView.do?blogid=0ajER&articleno=3 1행 1열 row1 column1 1행 2열 row1 column2 1행 3열 row1 column3 2행 1열 row2 column1 2행 2열 row2 column2 2행 3열 row2 column3 3행 1열 row3 column1 3행 2열 row3 column2 3행 3열 row3 column3

hadoop-example을 이용하여 랜덤 데이터를 생성한 후 이 데이터를 다시 정렬해 총 걸리는 시간을 측정하여 성능을 유추해 낼 수 있다. 다음의 명령을 사용해 random 데이터를 생성한다$bin/hadoop jar hadoop-example-1.2.1.jar randomwriter -D test.randomwrite.bytes_per_map=100 -D test.randomwriter.maps_per_host = 10 data/unsorted-data각 옵션은 맵에서 생성되는 데이터의 크기와 각 맵에서 생성되는 데이터의 크기를 지칭한다. 수행하면 다음과 같은 결과가 나온다. hadoop@hadoop-VirtualBox:/usr/local/hadoop-1.2.1$ bin/hadoop jar hado..