.Single Mode Hadoop 서버 설치 및 구성

Hadoop
분산 파일시스템(HDFS: Hadoop Distributed File System)을 사용해서 데이터를 빠르게 저장하고 사용하게 해주는 시스템으로 여러 부가적인 서비스들이 있는데 이들을 묶어서 Hadoop EcoSystem이라고 부른다. 여기에는
ZooKeeper, Avro, Chukwa, Flume, Pig. Hive, Hbase, Sqoop, Impala, Woozie 등이 있다.

 

분산 파일 시스템이란 하나의 데이터를 일정하게 분할해서 최대 세 곳에 replicated 해서 저장해두는 시스템으로 실제 데이터를 저장하는 datanodelclient)와 이들을 통제하는 namenode(server)로 구성된다. 클라우드 시스템에서 사용되는데 실제 사용자 근처에 대이터를 배치시킴으로써 사용자가 빠르게 데이터를 사용하게 해준다. 데이터는 키와 값으로 저장되는데 map 과정에서 키를 따로 묶고, reduce 과정에서 해당 키에 따른 적절한 값으로 묶는 과정으로 처리되는데 Java 프로그래밍 기반의 map 과정이 끝나면 reduce 과정이 실행된다.

 

 

참고로 data 를 key:value (키:값) format으로 저장하는 것을 json format 이라고 한다.

 

ubuntu 를 사용한다 가능한한 메모리는 올리는게 좋지만 컴퓨터 사양에 따라서 2GB로 해도 괜찮다.ubuntu 가 hadoop server 이다single 로 할수도 있다.

 

가상화는 반드시 체크 되어있어야한다

성공하기 쉽지 않다

 

 

유저 생성 adduser hduser ; echo 'hduser:hduser' | chpasswd

 

유저 생성 확인

 

/etc/hostname 변경

 

 

reboot

 

hduser로 접속

 

새로운 환경 설정해준다

 

lock

 

sudo 사용이 안 되니 /etc/sudoers 파일에 hduser 추가한다

 

root passwd 존재 여부 확인

네트워크 확인

 

hostname 확인

 

hduser 로 전환이제 sudo 명령어 사용 가능하다

 

hduser 에서 apt-get update

 

자바 설치sudo apt-get -y install default-jdk

 

어떤 java 가 설치됐는지 확인

 

여기까지만 복사한다

.bashrc 사용자가 login 한 뒤 적용들어간 뒤에는 설정은 bash_profile 파일이다

 

 

맨 밑에 추가한다

source 로 먹히게 하고 echo 명령어로 경로 확인

version 과 경로 확인

 

 

필요한 service 설치sudo apt-get -y install apache2

 

이런식으로 뜨면 reboot 한다

 

reboot 해도 계속 resolve host hadoop 식으로 hostname 오류가 뜬다면 /etc/hosts 파일을 변경해야한다

 

# sudp apt-get -y install php5 php5-cli php5-mcrypt php5-gd php5-curl

 

설치완료

 

중간쯤의 AH00558 는 무시해도 된다

 

mysql-server-5.6 설치

 

 

php5-mysql 까지 설치한다

 

버전 확인$ php -v

 

 

버전 다 확인

 

서비스 재시작

 

열린 port 확인 

 

방화벽 3개 연다 https 443까지

 

ssh 설치한다rsync 는 필요 없다

 

22/tcp 도 열어준다

 

이제 server 에서 key 생성후 client 에게 나눠준다password 가 아닌 key 로 접속 가능하다

 

$ ssh-keygen -t rsa -P ""

 

/home/hduser/.ssh 밑에 키가 생성된다-P "" 옵션은 별도의 passphrase 를 넣겠다는 뜻이다 

파일 생성 확인

 

 

key 를 authorized_keys 파일을 생성하고 집어넣는다$ cat /home/hduser/.ssh/id_rsa.pub >> /home/hduser/.ssh/authorized_keys

 

authorized_keys 파일 생성 확인

 

cat 로 확인한다

 

 

 

ssh 로 연결한다.

2번째 연결부터는 passwd 입력도 필요없다.

 

맨 밑에 추가한다# HADOOP_HOMEexport HADOOP_HOME=/usr/local/hadoop              
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source 명령어로 적용 후 확인

 

/usr/local/hadoop/hadoop-1.2.0/bin 으로 이동후./hadoop version 명령어로 버전 확인

 

conf 파일 설정

설정

 

hdfs-dite.xml 파일

 

conf 파일 설정끝

 

 

 

/etc/hosts 파일에 hadoop1 추가

 

여기서 기도하는 마음으로 한다

 

 

경로 바꾸어야한다경로 바꾸고 기도하는 마음으로

 

6개가 다 나오면 성공이다

 

14761 SecondaryNameNode
14934 TaskTracker
15255 NameNode
14836 JobTracker
14665 DataNode
15940 Jps