hadoop
-
CDH (Cloudera Hadoop) 설치기타 2017. 2. 22. 09:00
CDH 버전 5.1.x OS : CentOS JDK Versions : Oracle JDK 1.7 Oracld JDK 설치하기http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html 에서 *.tar.gz 파일 다운로드 tar zxvf jdk-7u80-linux-x64.tar.gz sudo mkdir /usr/java sudo cp -r jdk1.7.0_80 /usr/java/ sudo ln -s /usr/java/jdk1.7.0_80 /usr/java/default Cloudera Manager 다운로드 wget https://archive.cloudera.com/cm5/installe..
-
hadoop cluster 설치기타 2017. 2. 20. 09:00
OS : CentOS 7.2 전체 노드 공통 설정필요한 소프트웨어 설치 sudo yum install pdsh java-1.8.0-openjdk-devel.x86_64 hadoop 다운로드 wget http://mirror.apache-kr.org/hadoop/common/hadoop-3.0.0-alpha1/hadoop-3.0.0-alpha1.tar.gz tar zxvf hadoop-3.0.0-alpha1.tar.gz cd hadoop-3.0.0-alpha1 hadoop 환경설정에 java 설정 vi etc/hadoop/hadoop-env.sh export JAVA_HOME=/usr/lib/jvm/java-1.8.0 vi etc/hadoop/core-site.xml fs.defaultFS hdfs://:..
-
hadoop 싱글 노드 설치기타 2017. 2. 17. 09:00
OS : CentOS 7.2 필요한 소프트웨어 설치 sudo yum install pdsh java-1.8.0-openjdk-devel.x86_64 hadoop 다운로드 wget http://mirror.apache-kr.org/hadoop/common/hadoop-3.0.0-alpha1/hadoop-3.0.0-alpha1.tar.gz tar zxvf hadoop-3.0.0-alpha1.tar.gz cd hadoop-3.0.0-alpha1 hadoop 환경설정에 java 설정 vi etc/hadoop/hadoop-env.sh export JAVA_HOME=/usr/lib/jvm/java-1.8.0 bin/hadoop 를 실행해서 도움말화면이 출력되는지 확인 standalone 실행테스트용 hadoop 작..
-
Hadoop 완벽가이드Book 2011. 1. 30. 20:41
출판사 : 한빛미디어 저자 : 톰 화이트 역자 : 심탁길, 김우현요즘 너도나도 클라우드, 클라우드하는데 기반기술로 쓰이는 Hadoop에 관한 책입니다. 완벽가이드라는 제목에 걸맞게 Hadoop에 관한 전반에 관해서 세세하게 잘 나와 있습니다. Hadoop의 동작방식과 파일 시스템인 HDFS에 관한 내용까지 나와있고 이것들이 어떻게 동작하는지, 그리고 추가적으로 사용될수 있는 유용한 툴들에 관한 정보들까지 있습니다.다만 제가 보고 싶었떤 내용은 Map, Reduce 프로그래밍에 관한 내용이었는데 이 부분에 관해서는 대략적인 개념과 간단한 예제만 나와있어서 조금 아쉬운 부분이 있네요. 클라우드 컴퓨팅이란게 어떻게 가능하게 되는건지, Hadoop의 확장성과 안정성은 어떤건지 알고 싶으면 한번 보는것도 괜찮을 ..