CDH (Cloudera Hadoop) 설치

CDH 버전 5.1.x

OS : CentOS 

JDK Versions : Oracle JDK 1.7

Oracld JDK 설치하기

http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html 에서 *.tar.gz 파일 다운로드

tar zxvf jdk-7u80-linux-x64.tar.gz

sudo mkdir /usr/java

sudo cp -r jdk1.7.0_80 /usr/java/

sudo ln -s /usr/java/jdk1.7.0_80 /usr/java/default

Cloudera Manager 다운로드

wget https://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin

chmod u+x cloudera-manager-installer.bin

Cloudera Manager 설치

sudo ./cloudera-manager-installer.bin

방화벽 막혀 있을때 proxy 설정 추가

sudo vi /etc/yum.conf

proxy=http://server:port/

웹브라우저에서 접속하기

http://hostname:7180

초기 로그인 계정정보는 admin/admin

Express를 선택해서 설치한다.

사용하려고하는 호스트 정보를 추가한다.

각 호스트에 암호없이 ssh 접속이 가능해야 한다.

ssh-keygen 로 키파일 생성 후 cat ~/.ssh/id_rsa.pub 파일 내용확인해서 vi ~/.ssh/authorized_keys 에 pub키를 추가해 준다.

제대로 해보려면 노드의 메모리 최소 사양이 16G는 되야 하는거 같다.

참조

http://www.cloudera.com/documentation/cdh/5-1-x/CDH5-Installation-Guide/CDH5-Installation-Guide.html

http://www.cloudera.com/documentation/cdh/5-1-x/CDH5-Installation-Guide/cdh5ig_cdh5_install.html

http://www.cloudera.com/documentation/enterprise/latest/topics/installation_installation.html