Hadoop 서버 구축후 wordcount 실습

이런식으로 에러가뜨면

 

Lancher의 firefox를 실행해서 주소창에 http://localhost:50070 을 입력한다

 

bin/hadoop dfs

여러 옵션들이 뜬다

$ bin/hadoop dfsadmin 으로 dfsadmin의 옵션 또한 볼수있다

 

dir 만들고 jps 결과를 저장후 확인

 

bin/hadoop dfs - 명령어 뒤 linux 명령어를 작성하면 모두 사용가능하다

 

예를 들어 mkdir 한다면

실제 local 에 생성되지 않고

Cloud 속에 있는 것이다

 

 

 

파일 하나를 put (올린다)

 

 

Cloud 에서 확인한다.

 

 

Cloud 에 생성됐음을 확인한다

 

 

get 명령어로 가져올수도 있다

 

 

 

이 파일을 사용해서 wordcount 단어수 세기를 할것이다

$ bin/hadoop jar /usr/local/hadoop/hadoop/hadoop*examples*.jar wordcount /HADOOP/JPS.lst /home/hduser/Desktop/data/output.txt

 

 

map 먼저 실행 

reduce 실행

 

후에 job complete 출력

 

 

Cloud 에서 확인한다

 

 

00000 으로 replication 이 하나밖에 안 된 것을 확인할 수있다

만약 큰 파일 이었다면 00000 과 00001 00002 등 하나의 block 뿐만아니라 여러 block 으로 replicate 됐을 것이다

 

part-r-00000 파일에 들어가면 wordcount 결과를 확인할수있다