기타
-
오픈소스 대시보드 grafana 설치하기기타 2017. 3. 1. 09:00
시계열 데이터랑 메트릭 정보를 보여주기 위한 대시보드. 다양한 벡엔드 데이터 소스를 기반으로 대시보드를 그려준다. Graphite, Elasticsearch, OpenTSDB, Prometheus, InfluxDB, Cloudwatch 등을 데이터 소스로 이용할 수 있다. 샘플 http://play.grafana.org/dashboard/db/grafana-play-home 설치하기OS : centos 7.2 http://grafana.org/download/ 에서 다운로드 wget https://grafanarel.s3.amazonaws.com/builds/grafana-4.1.2-1486989747.linux-x64.tar.gz tar zxvf grafana-4.1.2-1486989747.linux-..
-
Apache Drill 살펴보기기타 2017. 2. 24. 09:00
Apache Drill이란?schema-free SQL Query Engine for Hadoop, noSQL and Cloud Storage 설치해보자다운로드 https://drill.apache.org/download/ 압축 풀기 tar zxvf apache-drill-1.9.0.tar.gz cd apache-drill-1.9.0 로컬모드로 간단하게 실행해보기 bin/drill-embedded SELECT * FROM cp.`employee.json` LIMIT 5; 분산모드 실행하기 Drillbit라는 데몬을 실행하면 된다. 분산모드를 이용하기 위해서는 주키퍼가 필요하다. drillbit 실행 bin/drillbit.sh start 실행에 필요한 설정파일(drill-override.conf)은 co..
-
CDH (Cloudera Hadoop) 설치기타 2017. 2. 22. 09:00
CDH 버전 5.1.x OS : CentOS JDK Versions : Oracle JDK 1.7 Oracld JDK 설치하기http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html 에서 *.tar.gz 파일 다운로드 tar zxvf jdk-7u80-linux-x64.tar.gz sudo mkdir /usr/java sudo cp -r jdk1.7.0_80 /usr/java/ sudo ln -s /usr/java/jdk1.7.0_80 /usr/java/default Cloudera Manager 다운로드 wget https://archive.cloudera.com/cm5/installe..
-
hadoop cluster 설치기타 2017. 2. 20. 09:00
OS : CentOS 7.2 전체 노드 공통 설정필요한 소프트웨어 설치 sudo yum install pdsh java-1.8.0-openjdk-devel.x86_64 hadoop 다운로드 wget http://mirror.apache-kr.org/hadoop/common/hadoop-3.0.0-alpha1/hadoop-3.0.0-alpha1.tar.gz tar zxvf hadoop-3.0.0-alpha1.tar.gz cd hadoop-3.0.0-alpha1 hadoop 환경설정에 java 설정 vi etc/hadoop/hadoop-env.sh export JAVA_HOME=/usr/lib/jvm/java-1.8.0 vi etc/hadoop/core-site.xml fs.defaultFS hdfs://:..
-
hadoop 싱글 노드 설치기타 2017. 2. 17. 09:00
OS : CentOS 7.2 필요한 소프트웨어 설치 sudo yum install pdsh java-1.8.0-openjdk-devel.x86_64 hadoop 다운로드 wget http://mirror.apache-kr.org/hadoop/common/hadoop-3.0.0-alpha1/hadoop-3.0.0-alpha1.tar.gz tar zxvf hadoop-3.0.0-alpha1.tar.gz cd hadoop-3.0.0-alpha1 hadoop 환경설정에 java 설정 vi etc/hadoop/hadoop-env.sh export JAVA_HOME=/usr/lib/jvm/java-1.8.0 bin/hadoop 를 실행해서 도움말화면이 출력되는지 확인 standalone 실행테스트용 hadoop 작..
-
storm 개요기타 2015. 12. 23. 09:00
스톰 클러스터 구성 마스터(master) 노드 + 워커(worker) 노드 마스터 노드 Nimbus 데몬이 떠 있음. 스톰 클러스터에 코드를 분산하는 역할. 장비에 작업을 할당하고, 실패했는지 모니터링도 함. 워커노드 Supervisor 데몬이 떠 있음. Nimbes가 할당해준 작업을 실행시킴. 각 워커 프로세스는 topology중 일부를 실행시킴. topology는 여러 장비에 분산된 여러개의 워커 프로세스로 구성됨. Nimbus와 Supervisor의 작업 관리는 주키퍼 클러스터를 통해서 이뤄짐. 그래서 Nimbus나 Supervisor 프로세스가 죽어도 전체 클러스터에 영향이 없음. 토폴로지(Topology) 연산에 대한 흐름을 정의. 토폴로지의 각 노드들은 프로세싱 로직과 노드간에 데이터가 어떻게..
-
Fleet 사용하기기타 2015. 10. 23. 09:00
fleet이란?coreos에서 만든 분산 init 시스템. 클러스터에 속한 노드들의 systemd를 이용해서 프로세스 관리. fleet 구조engine과 agent 두개의 역할을 하나의 fleetd 데몬이 처리하고 있음. 데이터는 etcd에 저장함. fleet 설치CoreOS에는 기본으로 설치되어 있음. 필요한 환경OS : centos 7.1 etcd 0.3.0 이상 systemd v207 이상 systemd 업그레이드sudo yum upgrade systemd fleet 바이너리 다운로드(https://github.com/coreos/fleet/releases)wget https://github.com/coreos/fleet/releases/download/v0.11.5/fleet-v0.11.5-lin..