SSH 설정

$ apt-get install openssh-server
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

환경변수 설정

export HADOOP_HOME=/home/lks21c/hadoop/hadoop-2.6.0
export PATH=$PATH:/home/lks21c/hadoop/hadoop-2.6.0/bin

etc/hadoop/core-site.xml 수정

편의상 하둡 데이터 경로를 /tmp로 지정해준다.

<configuration>

  <property>
    <name>hadoop.tmp.dir</name>
    <value>/tmp</value>
  </property>

  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

http://localhost:50070/ 접속시 네임노드 포트 알 수 있음

hdfs-site.xml 수정

<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>

하둡 포맷

하둡을 처음 설치 후 포맷을 진행해야 한다.
포맷시 아래와 같은 메세지가 나오면 성공이다.

$ hadoop namenode -format
18/05/17 14:03:32 INFO common.Storage: Storage directory /tmp/dfs/name has been successfully formatted.

하둡 실행

$ ./sbin/start-all.sh
$ jps

검증하기

디렉토리 조회 및 생성

아래와 같이 디렉토리를 생성해보고 조회해보자.

$ hadoop fs -mkdir /input
$ hadoop fs -ls /
18/05/17 14:05:40 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 1 items
drwxr-xr-x   - lks21c supergroup          0 2018-05-17 14:05 /input

하둡경로로 파일 업로드

$ hadoop fs -put /home/lks21c/Downloads/000000_0 /input