SlideShare uma empresa Scribd logo
1 de 28
Baixar para ler offline
Hadoop Installation
                 Tutorial for KT ucloud biz
                              Chiwan Park
                        <chiwanpark91@gmail.com>




13년 2월 22일 금요일
튜토리얼
 목표
                 •   ucloud biz 서비스를 사용하여 가상 서버를 생성한다.

                 •   서버에 Hadoop을 distributed 환경으로 설정한다.

                     •   distributed 환경이지만 ucloud biz 서비스에서 제
                         공하는 DATA 디스크를 사용하지 않으므로 실제 동
                         작 환경으로는 부적합하다.

                     •   클러스터의 세팅 방법을 학습하는 정도에서 참고자
                         료로 활용하며 production의 세팅은 다른 문서를
                         참고하자.


13년 2월 22일 금요일
KT
 ucloud
 biz
 서비스
 가입하기
                  •        http://ucloudbiz.olleh.com 에 접속하여 가입한다.

                  •        가입후 상품 청약 메뉴를 선택하여, ucloud server 상
                           품을 청약한다.

                  •        가입 및 청약시 결제 정보를 입력하는데, 비용이 청구
                           되는 경우에 사용한다.

                         •        이번 실습을 1시간안에 끝낸다는 전제 아래 소요 비
                                  용은 37원 * 1시간 * 3대 = 약 111원



13년 2월 22일 금요일
putty
 다운로드

                 • putty?
                  • Windows에서 SSH 서버를 원격으로 접속
                     하기 위한 프로그램

                 • http://putty.nl/download.html 에서 다운로드
                   받을 수 있다.



13년 2월 22일 금요일
ucloud
 server
 생성
                 • ucloud server(클라우드 가상서버)를 생성하
                  고, 외부에서 접속 할 수 있도록 설정한다.

                  • 이 예제에서는 3대를 세팅하고 1대를
                    Namenode, Jobtracker로, 나머지 2대를
                    Datanode, Tasktracker로 세팅한다.

                 • 서버 생성 후, 10분 정도 경과하면 메일 주소
                  로 서버의 비밀번호를 받는다.


13년 2월 22일 금요일
10분
 후



13년 2월 22일 금요일
ucloud
 server
 SSH
 접속


                 • putty에 hadoop1의 IP 주소와 인코딩을 적당
                  히 세팅한 후, ucloud server에 접속한다.




13년 2월 22일 금요일
Hosts
 파일
 세팅

                 • 3대의 클러스터를 매번 IP 주소를 입력해 통신
                   하는 것은 번거로운 일이므로 Hadoop 클러스
                   터들의 IP를 미리 등록하여 이름을 정해준다.

                 • vi /etc/hosts


13년 2월 22일 금요일
vi
 사용법
                 • 삽입 모드 진입 단축키: i
                 • 삽입 모드에서 명령 모드로 빠져나오려면 ESC
                  키를 누른다.

                 • 파일 수정은 항상 삽입모드 진입 - 수정 - 명
                  령 모드로 나옴 - 저장 - 종료 순으로 한다.

                 • 저장은 :w이며, 종료는 :q이고, 저장과 종료를
                  동시에 하려면 :wq를 입력하면 된다.


13년 2월 22일 금요일
SSH
 Key
 Exchange

                 • Hadoop은 SSH라는 방법으로 서버간 통신을
                  진행한다.

                 • 이 때 서로를 인증하기 위한 Key를 미리 교환
                  하여 서로를 인증 할 수 있도록 만든다.




13년 2월 22일 금요일
SSH

Mais conteúdo relacionado

Mais procurados

하둡완벽가이드 Ch6. 맵리듀스 작동 방법
하둡완벽가이드 Ch6. 맵리듀스 작동 방법하둡완벽가이드 Ch6. 맵리듀스 작동 방법
하둡완벽가이드 Ch6. 맵리듀스 작동 방법HyeonSeok Choi
 
Gluster fs guide(v1.0)
Gluster fs guide(v1.0)Gluster fs guide(v1.0)
Gluster fs guide(v1.0)sprdd
 
Glusterfs 소개 v1.0_난공불락세미나
Glusterfs 소개 v1.0_난공불락세미나Glusterfs 소개 v1.0_난공불락세미나
Glusterfs 소개 v1.0_난공불락세미나sprdd
 
하둡 설치(의사분산모드)
하둡 설치(의사분산모드)하둡 설치(의사분산모드)
하둡 설치(의사분산모드)Kwangyoung Jeon
 
Hadoop과 SQL-on-Hadoop (A short intro to Hadoop and SQL-on-Hadoop)
Hadoop과 SQL-on-Hadoop (A short intro to Hadoop and SQL-on-Hadoop)Hadoop과 SQL-on-Hadoop (A short intro to Hadoop and SQL-on-Hadoop)
Hadoop과 SQL-on-Hadoop (A short intro to Hadoop and SQL-on-Hadoop)Matthew (정재화)
 
Glusterfs 구성제안 및_운영가이드_v2.0
Glusterfs 구성제안 및_운영가이드_v2.0Glusterfs 구성제안 및_운영가이드_v2.0
Glusterfs 구성제안 및_운영가이드_v2.0sprdd
 
Hadoop Introduction (1.0)
Hadoop Introduction (1.0)Hadoop Introduction (1.0)
Hadoop Introduction (1.0)Keeyong Han
 
RHive tutorial supplement 2: RHive 튜토리얼 부록 2 - Hive 설치
RHive tutorial supplement 2: RHive 튜토리얼 부록 2 - Hive 설치RHive tutorial supplement 2: RHive 튜토리얼 부록 2 - Hive 설치
RHive tutorial supplement 2: RHive 튜토리얼 부록 2 - Hive 설치Aiden Seonghak Hong
 
처음 접하는 Oozie Workflow, Coordinator
처음 접하는 Oozie Workflow, Coordinator처음 접하는 Oozie Workflow, Coordinator
처음 접하는 Oozie Workflow, CoordinatorKim Log
 
서울 하둡 사용자 모임 발표자료
서울 하둡 사용자 모임 발표자료서울 하둡 사용자 모임 발표자료
서울 하둡 사용자 모임 발표자료Teddy Choi
 
Hadoop Overview 1
Hadoop Overview 1Hadoop Overview 1
Hadoop Overview 1Kay Kim
 
하둡 알아보기(Learn about Hadoop basic), NetApp FAS NFS Connector for Hadoop
하둡 알아보기(Learn about Hadoop basic), NetApp FAS NFS Connector for Hadoop하둡 알아보기(Learn about Hadoop basic), NetApp FAS NFS Connector for Hadoop
하둡 알아보기(Learn about Hadoop basic), NetApp FAS NFS Connector for HadoopSeungYong Baek
 
Glusterfs 구성제안서 v1.0
Glusterfs 구성제안서 v1.0Glusterfs 구성제안서 v1.0
Glusterfs 구성제안서 v1.0sprdd
 
[오픈소스컨설팅] Ansible을 활용한 운영 자동화 교육
[오픈소스컨설팅] Ansible을 활용한 운영 자동화 교육[오픈소스컨설팅] Ansible을 활용한 운영 자동화 교육
[오픈소스컨설팅] Ansible을 활용한 운영 자동화 교육Ji-Woong Choi
 

Mais procurados (18)

하둡완벽가이드 Ch6. 맵리듀스 작동 방법
하둡완벽가이드 Ch6. 맵리듀스 작동 방법하둡완벽가이드 Ch6. 맵리듀스 작동 방법
하둡완벽가이드 Ch6. 맵리듀스 작동 방법
 
Apache sqoop
Apache sqoopApache sqoop
Apache sqoop
 
Gluster fs guide(v1.0)
Gluster fs guide(v1.0)Gluster fs guide(v1.0)
Gluster fs guide(v1.0)
 
Glusterfs 소개 v1.0_난공불락세미나
Glusterfs 소개 v1.0_난공불락세미나Glusterfs 소개 v1.0_난공불락세미나
Glusterfs 소개 v1.0_난공불락세미나
 
하둡 설치(의사분산모드)
하둡 설치(의사분산모드)하둡 설치(의사분산모드)
하둡 설치(의사분산모드)
 
HDFS Overview
HDFS OverviewHDFS Overview
HDFS Overview
 
Hadoop과 SQL-on-Hadoop (A short intro to Hadoop and SQL-on-Hadoop)
Hadoop과 SQL-on-Hadoop (A short intro to Hadoop and SQL-on-Hadoop)Hadoop과 SQL-on-Hadoop (A short intro to Hadoop and SQL-on-Hadoop)
Hadoop과 SQL-on-Hadoop (A short intro to Hadoop and SQL-on-Hadoop)
 
Hive begins
Hive beginsHive begins
Hive begins
 
Glusterfs 구성제안 및_운영가이드_v2.0
Glusterfs 구성제안 및_운영가이드_v2.0Glusterfs 구성제안 및_운영가이드_v2.0
Glusterfs 구성제안 및_운영가이드_v2.0
 
하둡관리
하둡관리하둡관리
하둡관리
 
Hadoop Introduction (1.0)
Hadoop Introduction (1.0)Hadoop Introduction (1.0)
Hadoop Introduction (1.0)
 
RHive tutorial supplement 2: RHive 튜토리얼 부록 2 - Hive 설치
RHive tutorial supplement 2: RHive 튜토리얼 부록 2 - Hive 설치RHive tutorial supplement 2: RHive 튜토리얼 부록 2 - Hive 설치
RHive tutorial supplement 2: RHive 튜토리얼 부록 2 - Hive 설치
 
처음 접하는 Oozie Workflow, Coordinator
처음 접하는 Oozie Workflow, Coordinator처음 접하는 Oozie Workflow, Coordinator
처음 접하는 Oozie Workflow, Coordinator
 
서울 하둡 사용자 모임 발표자료
서울 하둡 사용자 모임 발표자료서울 하둡 사용자 모임 발표자료
서울 하둡 사용자 모임 발표자료
 
Hadoop Overview 1
Hadoop Overview 1Hadoop Overview 1
Hadoop Overview 1
 
하둡 알아보기(Learn about Hadoop basic), NetApp FAS NFS Connector for Hadoop
하둡 알아보기(Learn about Hadoop basic), NetApp FAS NFS Connector for Hadoop하둡 알아보기(Learn about Hadoop basic), NetApp FAS NFS Connector for Hadoop
하둡 알아보기(Learn about Hadoop basic), NetApp FAS NFS Connector for Hadoop
 
Glusterfs 구성제안서 v1.0
Glusterfs 구성제안서 v1.0Glusterfs 구성제안서 v1.0
Glusterfs 구성제안서 v1.0
 
[오픈소스컨설팅] Ansible을 활용한 운영 자동화 교육
[오픈소스컨설팅] Ansible을 활용한 운영 자동화 교육[오픈소스컨설팅] Ansible을 활용한 운영 자동화 교육
[오픈소스컨설팅] Ansible을 활용한 운영 자동화 교육
 

Destaque

Beyond Java: 자바 8을 중심으로 본 자바의 혁신
Beyond Java: 자바 8을 중심으로 본 자바의 혁신Beyond Java: 자바 8을 중심으로 본 자바의 혁신
Beyond Java: 자바 8을 중심으로 본 자바의 혁신Sungchul Park
 
자바 웹 개발 시작하기 (1주차 : 웹 어플리케이션 체험 실습)
자바 웹 개발 시작하기 (1주차 : 웹 어플리케이션 체험 실습)자바 웹 개발 시작하기 (1주차 : 웹 어플리케이션 체험 실습)
자바 웹 개발 시작하기 (1주차 : 웹 어플리케이션 체험 실습)DK Lee
 
Java tutorial for Beginners and Entry Level
Java tutorial for Beginners and Entry LevelJava tutorial for Beginners and Entry Level
Java tutorial for Beginners and Entry LevelRamrao Desai
 
자바 네트워킹 기초에서 응용까지
자바 네트워킹 기초에서 응용까지자바 네트워킹 기초에서 응용까지
자바 네트워킹 기초에서 응용까지trustinlee
 
자바 웹 개발 시작하기 : 계획
자바 웹 개발 시작하기 : 계획자바 웹 개발 시작하기 : 계획
자바 웹 개발 시작하기 : 계획DK Lee
 
java 8 람다식 소개와 의미 고찰
java 8 람다식 소개와 의미 고찰java 8 람다식 소개와 의미 고찰
java 8 람다식 소개와 의미 고찰Sungchul Park
 

Destaque (6)

Beyond Java: 자바 8을 중심으로 본 자바의 혁신
Beyond Java: 자바 8을 중심으로 본 자바의 혁신Beyond Java: 자바 8을 중심으로 본 자바의 혁신
Beyond Java: 자바 8을 중심으로 본 자바의 혁신
 
자바 웹 개발 시작하기 (1주차 : 웹 어플리케이션 체험 실습)
자바 웹 개발 시작하기 (1주차 : 웹 어플리케이션 체험 실습)자바 웹 개발 시작하기 (1주차 : 웹 어플리케이션 체험 실습)
자바 웹 개발 시작하기 (1주차 : 웹 어플리케이션 체험 실습)
 
Java tutorial for Beginners and Entry Level
Java tutorial for Beginners and Entry LevelJava tutorial for Beginners and Entry Level
Java tutorial for Beginners and Entry Level
 
자바 네트워킹 기초에서 응용까지
자바 네트워킹 기초에서 응용까지자바 네트워킹 기초에서 응용까지
자바 네트워킹 기초에서 응용까지
 
자바 웹 개발 시작하기 : 계획
자바 웹 개발 시작하기 : 계획자바 웹 개발 시작하기 : 계획
자바 웹 개발 시작하기 : 계획
 
java 8 람다식 소개와 의미 고찰
java 8 람다식 소개와 의미 고찰java 8 람다식 소개와 의미 고찰
java 8 람다식 소개와 의미 고찰
 

Semelhante a Hadoop Installation Tutorial for KT ucloud biz

RHive tutorial supplement 1: RHive 튜토리얼 부록 1 - Hadoop 설치
RHive tutorial supplement 1: RHive 튜토리얼 부록 1 - Hadoop 설치RHive tutorial supplement 1: RHive 튜토리얼 부록 1 - Hadoop 설치
RHive tutorial supplement 1: RHive 튜토리얼 부록 1 - Hadoop 설치Aiden Seonghak Hong
 
프로젝트용 PC 환경구성 이찬희
프로젝트용 PC 환경구성   이찬희프로젝트용 PC 환경구성   이찬희
프로젝트용 PC 환경구성 이찬희찬희 이
 
Hadoop 10th Birthday and Hadoop 3 Alpha
Hadoop 10th Birthday and Hadoop 3 AlphaHadoop 10th Birthday and Hadoop 3 Alpha
Hadoop 10th Birthday and Hadoop 3 AlphaDataya Nolja
 
[1A7]Ansible의이해와활용
[1A7]Ansible의이해와활용[1A7]Ansible의이해와활용
[1A7]Ansible의이해와활용NAVER D2
 
Rasberry nodejs install_final
Rasberry nodejs install_finalRasberry nodejs install_final
Rasberry nodejs install_finalKwan Yeong Kim
 
docker on GCE ( JIRA & Confluence ) - GDG Korea Cloud
docker on GCE ( JIRA & Confluence ) - GDG Korea Clouddocker on GCE ( JIRA & Confluence ) - GDG Korea Cloud
docker on GCE ( JIRA & Confluence ) - GDG Korea CloudJude Kim
 
리눅스서버세팅-김태호
리눅스서버세팅-김태호리눅스서버세팅-김태호
리눅스서버세팅-김태호ETRIBE_STG
 
JCO 11th 클라우드 환경에서 Java EE 운영 환경 구축하기
JCO 11th 클라우드 환경에서 Java EE 운영 환경 구축하기JCO 11th 클라우드 환경에서 Java EE 운영 환경 구축하기
JCO 11th 클라우드 환경에서 Java EE 운영 환경 구축하기Ted Won
 
[오픈소스컨설팅]Ansible overview
[오픈소스컨설팅]Ansible overview[오픈소스컨설팅]Ansible overview
[오픈소스컨설팅]Ansible overviewOpen Source Consulting
 
Udamp3 django apache-my_sql_python3_ubuntu14.04-v11
Udamp3 django apache-my_sql_python3_ubuntu14.04-v11Udamp3 django apache-my_sql_python3_ubuntu14.04-v11
Udamp3 django apache-my_sql_python3_ubuntu14.04-v11Dongil Yeom
 
docker-based remote desktop
docker-based remote desktopdocker-based remote desktop
docker-based remote desktopHyeong-Kyu Lee
 
[1A6]Docker로 보는 서버 운영의 미래
[1A6]Docker로 보는 서버 운영의 미래[1A6]Docker로 보는 서버 운영의 미래
[1A6]Docker로 보는 서버 운영의 미래NAVER D2
 
RHive tutorial 1: RHive 튜토리얼 1 - 설치 및 설정
RHive tutorial 1: RHive 튜토리얼 1 - 설치 및 설정RHive tutorial 1: RHive 튜토리얼 1 - 설치 및 설정
RHive tutorial 1: RHive 튜토리얼 1 - 설치 및 설정Aiden Seonghak Hong
 
Hadoop distributed file system rev3
Hadoop distributed file system rev3Hadoop distributed file system rev3
Hadoop distributed file system rev3Sung-jae Park
 
라즈베리파이 설치하기 두번째
라즈베리파이 설치하기 두번째라즈베리파이 설치하기 두번째
라즈베리파이 설치하기 두번째Yongho HWANG
 
RHive tutorial supplement 3: RHive 튜토리얼 부록 3 - RStudio 설치
RHive tutorial supplement 3: RHive 튜토리얼 부록 3 - RStudio 설치RHive tutorial supplement 3: RHive 튜토리얼 부록 3 - RStudio 설치
RHive tutorial supplement 3: RHive 튜토리얼 부록 3 - RStudio 설치Aiden Seonghak Hong
 
2013.02.02 지앤선 테크니컬 세미나 - 하둡으로 배우는 대용량 데이터 분산처리 기술(이현남)
2013.02.02 지앤선 테크니컬 세미나 - 하둡으로 배우는 대용량 데이터 분산처리 기술(이현남)2013.02.02 지앤선 테크니컬 세미나 - 하둡으로 배우는 대용량 데이터 분산처리 기술(이현남)
2013.02.02 지앤선 테크니컬 세미나 - 하둡으로 배우는 대용량 데이터 분산처리 기술(이현남)JiandSon
 

Semelhante a Hadoop Installation Tutorial for KT ucloud biz (20)

RHive tutorial supplement 1: RHive 튜토리얼 부록 1 - Hadoop 설치
RHive tutorial supplement 1: RHive 튜토리얼 부록 1 - Hadoop 설치RHive tutorial supplement 1: RHive 튜토리얼 부록 1 - Hadoop 설치
RHive tutorial supplement 1: RHive 튜토리얼 부록 1 - Hadoop 설치
 
프로젝트용 PC 환경구성 이찬희
프로젝트용 PC 환경구성   이찬희프로젝트용 PC 환경구성   이찬희
프로젝트용 PC 환경구성 이찬희
 
Hadoop 10th Birthday and Hadoop 3 Alpha
Hadoop 10th Birthday and Hadoop 3 AlphaHadoop 10th Birthday and Hadoop 3 Alpha
Hadoop 10th Birthday and Hadoop 3 Alpha
 
[1A7]Ansible의이해와활용
[1A7]Ansible의이해와활용[1A7]Ansible의이해와활용
[1A7]Ansible의이해와활용
 
Rasberry nodejs install_final
Rasberry nodejs install_finalRasberry nodejs install_final
Rasberry nodejs install_final
 
docker on GCE ( JIRA & Confluence ) - GDG Korea Cloud
docker on GCE ( JIRA & Confluence ) - GDG Korea Clouddocker on GCE ( JIRA & Confluence ) - GDG Korea Cloud
docker on GCE ( JIRA & Confluence ) - GDG Korea Cloud
 
리눅스서버세팅-김태호
리눅스서버세팅-김태호리눅스서버세팅-김태호
리눅스서버세팅-김태호
 
JCO 11th 클라우드 환경에서 Java EE 운영 환경 구축하기
JCO 11th 클라우드 환경에서 Java EE 운영 환경 구축하기JCO 11th 클라우드 환경에서 Java EE 운영 환경 구축하기
JCO 11th 클라우드 환경에서 Java EE 운영 환경 구축하기
 
[오픈소스컨설팅]Ansible overview
[오픈소스컨설팅]Ansible overview[오픈소스컨설팅]Ansible overview
[오픈소스컨설팅]Ansible overview
 
Udamp3 django apache-my_sql_python3_ubuntu14.04-v11
Udamp3 django apache-my_sql_python3_ubuntu14.04-v11Udamp3 django apache-my_sql_python3_ubuntu14.04-v11
Udamp3 django apache-my_sql_python3_ubuntu14.04-v11
 
docker-based remote desktop
docker-based remote desktopdocker-based remote desktop
docker-based remote desktop
 
[1A6]Docker로 보는 서버 운영의 미래
[1A6]Docker로 보는 서버 운영의 미래[1A6]Docker로 보는 서버 운영의 미래
[1A6]Docker로 보는 서버 운영의 미래
 
What is spark
What is sparkWhat is spark
What is spark
 
주키퍼
주키퍼주키퍼
주키퍼
 
R hive tutorial 1
R hive tutorial 1R hive tutorial 1
R hive tutorial 1
 
RHive tutorial 1: RHive 튜토리얼 1 - 설치 및 설정
RHive tutorial 1: RHive 튜토리얼 1 - 설치 및 설정RHive tutorial 1: RHive 튜토리얼 1 - 설치 및 설정
RHive tutorial 1: RHive 튜토리얼 1 - 설치 및 설정
 
Hadoop distributed file system rev3
Hadoop distributed file system rev3Hadoop distributed file system rev3
Hadoop distributed file system rev3
 
라즈베리파이 설치하기 두번째
라즈베리파이 설치하기 두번째라즈베리파이 설치하기 두번째
라즈베리파이 설치하기 두번째
 
RHive tutorial supplement 3: RHive 튜토리얼 부록 3 - RStudio 설치
RHive tutorial supplement 3: RHive 튜토리얼 부록 3 - RStudio 설치RHive tutorial supplement 3: RHive 튜토리얼 부록 3 - RStudio 설치
RHive tutorial supplement 3: RHive 튜토리얼 부록 3 - RStudio 설치
 
2013.02.02 지앤선 테크니컬 세미나 - 하둡으로 배우는 대용량 데이터 분산처리 기술(이현남)
2013.02.02 지앤선 테크니컬 세미나 - 하둡으로 배우는 대용량 데이터 분산처리 기술(이현남)2013.02.02 지앤선 테크니컬 세미나 - 하둡으로 배우는 대용량 데이터 분산처리 기술(이현남)
2013.02.02 지앤선 테크니컬 세미나 - 하둡으로 배우는 대용량 데이터 분산처리 기술(이현남)
 

Hadoop Installation Tutorial for KT ucloud biz

  • 1. Hadoop Installation Tutorial for KT ucloud biz Chiwan Park <chiwanpark91@gmail.com> 13년 2월 22일 금요일
  • 3.  목표 • ucloud biz 서비스를 사용하여 가상 서버를 생성한다. • 서버에 Hadoop을 distributed 환경으로 설정한다. • distributed 환경이지만 ucloud biz 서비스에서 제 공하는 DATA 디스크를 사용하지 않으므로 실제 동 작 환경으로는 부적합하다. • 클러스터의 세팅 방법을 학습하는 정도에서 참고자 료로 활용하며 production의 세팅은 다른 문서를 참고하자. 13년 2월 22일 금요일
  • 4. KT
  • 8.  가입하기 • http://ucloudbiz.olleh.com 에 접속하여 가입한다. • 가입후 상품 청약 메뉴를 선택하여, ucloud server 상 품을 청약한다. • 가입 및 청약시 결제 정보를 입력하는데, 비용이 청구 되는 경우에 사용한다. • 이번 실습을 1시간안에 끝낸다는 전제 아래 소요 비 용은 37원 * 1시간 * 3대 = 약 111원 13년 2월 22일 금요일
  • 10.  다운로드 • putty? • Windows에서 SSH 서버를 원격으로 접속 하기 위한 프로그램 • http://putty.nl/download.html 에서 다운로드 받을 수 있다. 13년 2월 22일 금요일
  • 13.  생성 • ucloud server(클라우드 가상서버)를 생성하 고, 외부에서 접속 할 수 있도록 설정한다. • 이 예제에서는 3대를 세팅하고 1대를 Namenode, Jobtracker로, 나머지 2대를 Datanode, Tasktracker로 세팅한다. • 서버 생성 후, 10분 정도 경과하면 메일 주소 로 서버의 비밀번호를 받는다. 13년 2월 22일 금요일
  • 14. 10분
  • 18.  SSH
  • 19.  접속 • putty에 hadoop1의 IP 주소와 인코딩을 적당 히 세팅한 후, ucloud server에 접속한다. 13년 2월 22일 금요일
  • 20. Hosts
  • 22.  세팅 • 3대의 클러스터를 매번 IP 주소를 입력해 통신 하는 것은 번거로운 일이므로 Hadoop 클러스 터들의 IP를 미리 등록하여 이름을 정해준다. • vi /etc/hosts 13년 2월 22일 금요일
  • 23. vi
  • 24.  사용법 • 삽입 모드 진입 단축키: i • 삽입 모드에서 명령 모드로 빠져나오려면 ESC 키를 누른다. • 파일 수정은 항상 삽입모드 진입 - 수정 - 명 령 모드로 나옴 - 저장 - 종료 순으로 한다. • 저장은 :w이며, 종료는 :q이고, 저장과 종료를 동시에 하려면 :wq를 입력하면 된다. 13년 2월 22일 금요일
  • 25. SSH
  • 26.  Key
  • 27.  Exchange • Hadoop은 SSH라는 방법으로 서버간 통신을 진행한다. • 이 때 서로를 인증하기 위한 Key를 미리 교환 하여 서로를 인증 할 수 있도록 만든다. 13년 2월 22일 금요일
  • 28. SSH
  • 29.  Key
  • 30.  Exchange • ssh-keygen -t rsa • passphrase는 입력하지 않는다. • cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys • scp ~/.ssh/id_rsa.pub root@hadoop2:/root/.ssh/ authorized_keys • hadoop2의 비밀번호를 입력한다. • scp ~/.ssh/id_rsa.pub root@hadoop3:/root/.ssh/ authorized_keys • hadoop3의 비밀번호를 입력한다. 13년 2월 22일 금요일
  • 31. Java
  • 32.  설치 • Hadoop은 Java 언어로 구현된 프레임워크이 므로 Java의 설치가 필수적이다. • 예제에서는 JDK (Java Development Kit) 7을 설치하나 JDK 6이상의 버전이면 예제를 수행 하는데 아무런 문제가 없다. • 예제에서의 Java의 설치 경로는 /opt/java 이 다. 13년 2월 22일 금요일
  • 33. Java
  • 34.  설치 • wget http://db.tt/XX1WleBO • wget은 인터넷에서 파일을 다운 받는 명령어 다. • tar -xzvf jdk-7u15-linux-x64.tar.gz • tar는 압축을 풀거나 압축하는 명령어다. • mv ./jdk1.7.0_15 /opt/java • mv는 파일 또는 폴더를 이동하는 명령어다. 13년 2월 22일 금요일
  • 36.  다운로드 • Hadoop 프레임워크를 다운로드 받아 설치한 다. • 예제에서는 안정 버전인 1.0.4를 설치할 것 이다. • 예제에서의 Hadoop의 설치 경로는 /opt/ hadoop 이다. 13년 2월 22일 금요일
  • 38.  다운로드 • wget http://db.tt/auKACEwR • tar -xzvf hadoop-1.0.4.tar.gz • mv ./hadoop-1.0.4 /opt/hadoop 13년 2월 22일 금요일
  • 42.  설정 • Hadoop 설정 파일을 수정하여 분산 환경을 설정 한다. • Hadoop의 구동 환경은 3가지가 있다. • standalone • pseudo-distributed • distributed • 예제에서는 distributed 환경으로 설정한다. 13년 2월 22일 금요일
  • 46.  설정 • Hadoop의 동작 환경 설정 수정 • vi /opt/hadoop/conf/hadoop-env.sh • Hadoop File System 환경 수정 • vi /opt/hadoop/conf/core-site.xml • vi /opt/hadoop/conf/hdfs-site.xml • Hadoop MapReduce 환경 수정 • vi /opt/hadoop/conf/mapred-site.xml 13년 2월 22일 금요일
  • 50.  설정 • Hadoop의 동작 환경 설정 수정 • vi /opt/hadoop/conf/hadoop-env.sh • Hadoop File System 환경 수정 • vi /opt/hadoop/conf/core-site.xml • vi /opt/hadoop/conf/hdfs-site.xml • Hadoop MapReduce 환경 수정 • vi /opt/hadoop/conf/mapred-site.xml 13년 2월 22일 금요일
  • 54.  설정 • Hadoop의 동작 환경 설정 수정 • vi /opt/hadoop/conf/hadoop-env.sh • Hadoop File System 환경 수정 • vi /opt/hadoop/conf/core-site.xml • vi /opt/hadoop/conf/hdfs-site.xml • Hadoop MapReduce 환경 수정 • vi /opt/hadoop/conf/mapred-site.xml 13년 2월 22일 금요일
  • 58.  설정 • Hadoop의 동작 환경 설정 수정 • vi /opt/hadoop/conf/hadoop-env.sh • Hadoop File System 환경 수정 • vi /opt/hadoop/conf/core-site.xml • vi /opt/hadoop/conf/hdfs-site.xml • Hadoop MapReduce 환경 수정 • vi /opt/hadoop/conf/mapred-site.xml 13년 2월 22일 금요일
  • 62.  설정 • Hadoop 클러스터의 위치 설정 • vi /opt/hadoop/conf/masters • vi /opt/hadoop/conf/slaves 13년 2월 22일 금요일
  • 66.  설정 • Hadoop 클러스터의 위치 설정 • vi /opt/hadoop/conf/masters • vi /opt/hadoop/conf/slaves 13년 2월 22일 금요일
  • 67. PATH
  • 68.  설정 • Hadoop 실행을 편리하게 하기 위해 아무 위 치에서나 실행할 수 있도록 PATH에 Hadoop, Java의 경로를 추가해 준다. • vi ~/.bash_profile 13년 2월 22일 금요일
  • 71.  배포 • 지금까지 hadoop1에 설정한 Java, Hadoop 환경을 hadoop2에 배포한다. • scp ~/.bash_profile root@hadoop2:/ root/.bash_profile • scp /etc/hosts root@hadoop2:/etc/hosts • scp -r /opt/hadoop root@hadoop2:/opt/hadoop • scp -r /opt/java root@hadoop2:/opt/java • 같은 명령을 hadoop3에 대해서도 실행한다. 13년 2월 22일 금요일
  • 72. HDFS
  • 73.  Format • HDFS (Hadoop File System)을 사용하기 위 해서 format을 진행한다. • hadoop namenode -format 13년 2월 22일 금요일
  • 76.  실행 • 이제 Hadoop 데몬을 실행하여 MapReduce 프로그램을 실행할 수 있는 환경으로 만들어 보자. • start-all.sh • 정상적으로 수행되었는지 확인하고자 Java Process 유틸리티인 jps 명령을 실행한다. • jps 13년 2월 22일 금요일
  • 80.  확인 • Hadoop은 데몬들의 상태 정보를 웹을 통해 제공한다. • http://hadoop1의 IP:50030/ • http://hadoop1의 IP:50030/ 13년 2월 22일 금요일