hadoop 싱글 노드 설치

OS : CentOS 7.2

필요한 소프트웨어 설치

sudo yum install pdsh java-1.8.0-openjdk-devel.x86_64

hadoop 다운로드

wget http://mirror.apache-kr.org/hadoop/common/hadoop-3.0.0-alpha1/hadoop-3.0.0-alpha1.tar.gz tar zxvf hadoop-3.0.0-alpha1.tar.gz cd hadoop-3.0.0-alpha1

hadoop 환경설정에 java 설정

vi etc/hadoop/hadoop-env.sh export JAVA_HOME=/usr/lib/jvm/java-1.8.0

bin/hadoop 를 실행해서 도움말화면이 출력되는지 확인

standalone 실행

테스트용 hadoop 작업 실행

mkdir input cp etc/hadoop/*.xml input bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0-alpha1.jar grep input output 'dfs[a-z.]+' cat output/*

---

Pseudo-Distributed Operation

단일 노드에서 자바 프로세스 여러개 띄워서 분산된 것 처럼 확인하기

설정파일 내용추가

vi etc/hadoop/core-site.xml

<configuration>     <property>         <name>fs.defaultFS</name>         <value>hdfs://localhost:9000</value>     </property> </configuration>

vi etc/hadoop/hdfs-site.xml

<configuration>     <property>         <name>dfs.replication</name>         <value>1</value>     </property> </configuration>

localhost에 암호없이 ssh 로그인 되는지 확인하기

ssh localhost

암호 물으면 아래 설정해주자.

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys

암호없이 ssh 로그인 되는지 다시 확인

파일시스템 포맷

bin/hdfs namenode -format

네임노드 데몬 시작

sbin/start-dfs.sh

브라우저에서 네임노드 웹인터페이스 확인

http://localhost:9870/

HDFS 디렉토리 만들기

bin/hdfs dfs -mkdir /user bin/hdfs dfs -mkdir /user/username bin/hdfs dfs -mkdir /user/username/input

예제 돌려보기

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0-alpha1.jar grep input output 'dfs[a-z.]+'

분산파일시스템에서 로컬파일시스템으로 결과 가져오기

bin/hdfs dfs -get output output cat output/*

분산파일시스템에서 직접 결과 보기

dfs -cat output/*

네임노드 데몬 정지하기

sbin/stop-dfs.sh

---

단일 노드에서 YARN 실행하기

vi etc/hadoop/mapred-site.xml

<configuration>     <property>         <name>mapreduce.framework.name</name>         <value>yarn</value>     </property>     <property>         <name>mapreduce.admin.user.env</name>         <value>HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME</value>     </property>     <property>         <name>yarn.app.mapreduce.am.env</name>         <value>HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME</value>     </property> </configuration>

vi etc/hadoop/yarn-site.xml

<configuration>     <property>         <name>yarn.nodemanager.aux-services</name>         <value>mapreduce_shuffle</value>     </property> </configuration>

리소스매니저 데몬 실행하기

sbin/start-yarn.sh

브라우저에서 확인하기

http://localhost:8088/

리소스매니저 데몬 중지

sbin/stop-yarn.sh

참고 : http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html