기타
-
Kubernetes 환경 OpenTelemetry Collector 로그 파이프라인의 내결함성 강화 전략 by 딥리서치기타 2025. 4. 25. 09:00
Kubernetes에서 OpenTelemetry Collector를 이용해 로그 데이터를 수집하고 ClickHouse로 내보낼 때, 각 단계(Receiver, Processor, Exporter)에서 장애가 발생해도 데이터 유실 없이 재처리할 수 있도록 설계해야 합니다. 아래에서는 수집(Receiver), 처리(Processor), 내보내기(Exporter) 각 컴포넌트별 장애 복구 전략과 설정 방법을 정리합니다. 또한 ClickHouse로 로그를 안정적으로 전송하기 위한 ClickHouse exporter 구성 및 모범 사례와, 필요한 경우 Sidecar, Persistent Volume, 외부 메시지 큐 연계 방안을 함께 다룹니다. Receiver 단계 – 로그 수집의 신뢰성 확보 1. 파일 로그 ..
-
cursor ide를 사용한 개발 경험 메모기타 2025. 2. 6. 20:20
최근 cursor ide를 활용해서 사내용 웹페이지를 개발하면서 느꼈던 점들입니다.cursor의 composer를 주로 사용해서 개발을 진행했음..cursorrules는 cursor에서 제공해주는 기본 typescript, react 기반으로해서 추가로 필요한 rule과 디렉토리 구조등을 추가해서 사용했음.작업시 한꺼번에 많은 코드&파일들을 cursor ide가 변경한다.한번에 작은 단위로 변경하고 커밋을 해 놓아야지, 한꺼번에 많은 부분을 변경할 경우 의도하지 않은 다른 부분을 고치는 경우가 종종 발생해서 파악하기가 어렵다.작업 속도가 높아지니까 AI가 개발하는데 걸리는 시간보다 인간이 코드리뷰하는데 걸리는 시간이 더 길다.composer가 만든 코드를 accept하고 거기서 조금 고칠 필요가 있는 경..
-
오픈소스 대시보드 grafana 설치하기기타 2017. 3. 1. 09:00
시계열 데이터랑 메트릭 정보를 보여주기 위한 대시보드. 다양한 벡엔드 데이터 소스를 기반으로 대시보드를 그려준다. Graphite, Elasticsearch, OpenTSDB, Prometheus, InfluxDB, Cloudwatch 등을 데이터 소스로 이용할 수 있다. 샘플 http://play.grafana.org/dashboard/db/grafana-play-home 설치하기OS : centos 7.2 http://grafana.org/download/ 에서 다운로드 wget https://grafanarel.s3.amazonaws.com/builds/grafana-4.1.2-1486989747.linux-x64.tar.gz tar zxvf grafana-4.1.2-1486989747.linux-..
-
Apache Drill 살펴보기기타 2017. 2. 24. 09:00
Apache Drill이란?schema-free SQL Query Engine for Hadoop, noSQL and Cloud Storage 설치해보자다운로드 https://drill.apache.org/download/ 압축 풀기 tar zxvf apache-drill-1.9.0.tar.gz cd apache-drill-1.9.0 로컬모드로 간단하게 실행해보기 bin/drill-embedded SELECT * FROM cp.`employee.json` LIMIT 5; 분산모드 실행하기 Drillbit라는 데몬을 실행하면 된다. 분산모드를 이용하기 위해서는 주키퍼가 필요하다. drillbit 실행 bin/drillbit.sh start 실행에 필요한 설정파일(drill-override.conf)은 co..
-
CDH (Cloudera Hadoop) 설치기타 2017. 2. 22. 09:00
CDH 버전 5.1.x OS : CentOS JDK Versions : Oracle JDK 1.7 Oracld JDK 설치하기http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html 에서 *.tar.gz 파일 다운로드 tar zxvf jdk-7u80-linux-x64.tar.gz sudo mkdir /usr/java sudo cp -r jdk1.7.0_80 /usr/java/ sudo ln -s /usr/java/jdk1.7.0_80 /usr/java/default Cloudera Manager 다운로드 wget https://archive.cloudera.com/cm5/installe..
-
hadoop cluster 설치기타 2017. 2. 20. 09:00
OS : CentOS 7.2 전체 노드 공통 설정필요한 소프트웨어 설치 sudo yum install pdsh java-1.8.0-openjdk-devel.x86_64 hadoop 다운로드 wget http://mirror.apache-kr.org/hadoop/common/hadoop-3.0.0-alpha1/hadoop-3.0.0-alpha1.tar.gz tar zxvf hadoop-3.0.0-alpha1.tar.gz cd hadoop-3.0.0-alpha1 hadoop 환경설정에 java 설정 vi etc/hadoop/hadoop-env.sh export JAVA_HOME=/usr/lib/jvm/java-1.8.0 vi etc/hadoop/core-site.xml fs.defaultFS hdfs://:..
-
hadoop 싱글 노드 설치기타 2017. 2. 17. 09:00
OS : CentOS 7.2 필요한 소프트웨어 설치 sudo yum install pdsh java-1.8.0-openjdk-devel.x86_64 hadoop 다운로드 wget http://mirror.apache-kr.org/hadoop/common/hadoop-3.0.0-alpha1/hadoop-3.0.0-alpha1.tar.gz tar zxvf hadoop-3.0.0-alpha1.tar.gz cd hadoop-3.0.0-alpha1 hadoop 환경설정에 java 설정 vi etc/hadoop/hadoop-env.sh export JAVA_HOME=/usr/lib/jvm/java-1.8.0 bin/hadoop 를 실행해서 도움말화면이 출력되는지 확인 standalone 실행테스트용 hadoop 작..