SSH 설정
$ apt-get install openssh-server
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
환경변수 설정
export HADOOP_HOME=/home/lks21c/hadoop/hadoop-2.6.0
export PATH=$PATH:/home/lks21c/hadoop/hadoop-2.6.0/bin
etc/hadoop/core-site.xml 수정
편의상 하둡 데이터 경로를 /tmp로 지정해준다.
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
http://localhost:50070/ 접속시 네임노드 포트 알 수 있음
hdfs-site.xml 수정
하둡 포맷
하둡을 처음 설치 후 포맷을 진행해야 한다.
포맷시 아래와 같은 메세지가 나오면 성공이다.
$ hadoop namenode -format
18/05/17 14:03:32 INFO common.Storage: Storage directory /tmp/dfs/name has been successfully formatted.
하둡 실행
검증하기
디렉토리 조회 및 생성
아래와 같이 디렉토리를 생성해보고 조회해보자.
$ hadoop fs -mkdir /input
$ hadoop fs -ls /
18/05/17 14:05:40 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 1 items
drwxr-xr-x - lks21c supergroup 0 2018-05-17 14:05 /input