분류 전체보기
-
gnocchi 간단 정리Cloud 2017. 2. 27. 09:00
Gnocchi는 멀티테넌트 시계열, 메트릭, 리소스 데이터베이스다. 데이터 관리에 HTTP REST 인터페이스를 제공한다. 대용량 메트릭을 저장할 수 있게 설계되어 있다. ceilometer 만들던 Julien Danjou이 mongodb나 rdb로는 한계를 느껴서 직접 만들었다. 알고리즘 복잡도를 O(n)에서 O(1)으로 변경하고 싶었다. 처음에는 Graphite에서 사용하는 whisper 기반으로 만들려고 했다. 그런데 whisper에 필요한 기능을 패치하려고 하니까 코드에 단위테스트도 없고 함부로 건드리기가 힘들어서 포기. 그래서 파이썬 통계 라이브러리인 Pandas(Python Data Analysis Library)를 이용해서 직접 만들게 되었다고 한다. 그렇게 해서 carbonara라는 시계열..
-
Apache Drill 살펴보기기타 2017. 2. 24. 09:00
Apache Drill이란?schema-free SQL Query Engine for Hadoop, noSQL and Cloud Storage 설치해보자다운로드 https://drill.apache.org/download/ 압축 풀기 tar zxvf apache-drill-1.9.0.tar.gz cd apache-drill-1.9.0 로컬모드로 간단하게 실행해보기 bin/drill-embedded SELECT * FROM cp.`employee.json` LIMIT 5; 분산모드 실행하기 Drillbit라는 데몬을 실행하면 된다. 분산모드를 이용하기 위해서는 주키퍼가 필요하다. drillbit 실행 bin/drillbit.sh start 실행에 필요한 설정파일(drill-override.conf)은 co..
-
CDH (Cloudera Hadoop) 설치기타 2017. 2. 22. 09:00
CDH 버전 5.1.x OS : CentOS JDK Versions : Oracle JDK 1.7 Oracld JDK 설치하기http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html 에서 *.tar.gz 파일 다운로드 tar zxvf jdk-7u80-linux-x64.tar.gz sudo mkdir /usr/java sudo cp -r jdk1.7.0_80 /usr/java/ sudo ln -s /usr/java/jdk1.7.0_80 /usr/java/default Cloudera Manager 다운로드 wget https://archive.cloudera.com/cm5/installe..
-
hadoop cluster 설치기타 2017. 2. 20. 09:00
OS : CentOS 7.2 전체 노드 공통 설정필요한 소프트웨어 설치 sudo yum install pdsh java-1.8.0-openjdk-devel.x86_64 hadoop 다운로드 wget http://mirror.apache-kr.org/hadoop/common/hadoop-3.0.0-alpha1/hadoop-3.0.0-alpha1.tar.gz tar zxvf hadoop-3.0.0-alpha1.tar.gz cd hadoop-3.0.0-alpha1 hadoop 환경설정에 java 설정 vi etc/hadoop/hadoop-env.sh export JAVA_HOME=/usr/lib/jvm/java-1.8.0 vi etc/hadoop/core-site.xml fs.defaultFS hdfs://:..
-
hadoop 싱글 노드 설치기타 2017. 2. 17. 09:00
OS : CentOS 7.2 필요한 소프트웨어 설치 sudo yum install pdsh java-1.8.0-openjdk-devel.x86_64 hadoop 다운로드 wget http://mirror.apache-kr.org/hadoop/common/hadoop-3.0.0-alpha1/hadoop-3.0.0-alpha1.tar.gz tar zxvf hadoop-3.0.0-alpha1.tar.gz cd hadoop-3.0.0-alpha1 hadoop 환경설정에 java 설정 vi etc/hadoop/hadoop-env.sh export JAVA_HOME=/usr/lib/jvm/java-1.8.0 bin/hadoop 를 실행해서 도움말화면이 출력되는지 확인 standalone 실행테스트용 hadoop 작..
-
Google Container EngineContainer 2016. 4. 18. 09:00
구글에서는 구글 컴퓨트 엔진에서 컨테이너를 이용한 서비스 운영을 할 수 있도록 해주는 구글 컨테이너 엔진(Google Container Engine, GCE)이라는 서비스를 하고 있다. 구글 컨테이너 엔진은 구글의 컨테이너 관리 시스템인 보그(Borg)를 오픈소스화한 쿠버네티스(Kubernetes)를 이용한다. Borg의 구성과 장단점은 Large-scale cluster management at Google with Borg라는 논문으로 2015년 초에 발표되었다. 구글은 이미 컨테이너 시스템을 10년 넘게 서비스에 이용해 왔고 이런 노하우를 이용해서 GCE 서비스를 하고 있다. 쿠버네티스 자체를 사용자가 운영할 필요없이 구글이 직접 운영해주기 때문에 운영부담없이 서비스를 사용하기만 하면 된다. 여기서..
-
Docker 컨테이너 모니터링Container 2016. 4. 15. 09:00
cAdvisor 일반적인 서버 운영 환경에서는 서비스 운영을 하면서 필요한 시스템 메트릭(CPU/메모리 사용률, 네트워크 트래픽, …등)을 모니터링하면서 특이사항이 있을때 대응해 나간다. 도커 컨테이너를 이용해서 서비스를 진행할때도 이는 필요한 기능이다. 허나 컨테이너라는 환경하에서는 기존 모니터링 도구로는 컨테이너에 대한 모니터링을 진행하는 것이 쉽지 않다. 이런 문제점을 해결하고 컨테이너를 모니터링하기 위한 도구로 많이 사용되는 것이 구글에서 만든 cAdvisor(Container Advisor)다. cAdvisor는 호스트에서 실행중인 컨테이너들의 자원 사용량과 성능에 관한 정보를 수집해서 보여준다. cAdvisor는 자신이 컨테이너를 모니터링 하는 도구이면서 컨테이너를 이용해서 실행할 수 있다. ..
-
Docker 공식 이미지 사용하기 : ElasticSearchContainer 2016. 4. 13. 09:00
오픈 소스 검색엔진인 엘라스틱서치(elasticsearch) 역시 공식 docker 이미지를 가지고 있다. 아래 명령으로 간단하게 엘라스틱서치를 실행할 수 있다. docker run --rm -ti -p 9200:9200 elasticsearch:1.7 엘라스틱서치는 REST API를 통해서 명령을 실행한다. 간단한 curl 명령을 통해서 엘라스틱서치가 실행됐는지 아래처럼 확인할 수 있다. curl 192.168.123.103:9200 { "status" : 200, "name" : "Scott Summers", "cluster_name" : "elasticsearch", "version" : { "number" : "1.7.3", "build_hash" : "05d4530971ef0ea46d0f4fa6..