Sencia X 데엔

KUDU 개념 컬럼 베이스 DB PK 기반 동작 / PK 관련 질의 속도 빠름 랜덤액세스, 순차읽기에 빠른 속도 컬럼별 인코딩 타입, 압축 타입 설정 가능 upsert, delete 가능 master server와 tablet server로 구성 데이터는 tablet으로 불리고 replication group을 kafka처럼 leader, follower 그룹으로 관리 partition을 어떻게 지정하느냐에 따라 tablet이 나뉘게 되고 고르게 분배할 수 있는 key를 설정해야 고르게 데이터 분포 가능 Kudu의 특징 1) 컬럼 베이스 DB kudu의 가장 큰 특징 중 하나로 한 테이블이 갖고 있는 칼럼의 인코딩 타입과 압축 타입을 별도 설정할 수 있다. 데이터의 크기, 형태에 따라 알맞은 인코딩, 압..

본 포스팅은 2019년 cloudera 웨비나에서 카카오뱅크 세션 발표때 사용된 자료를 정리했습니다. (발표자: 서동진 매니저 / 세션명: Apache Kudu 사용사례: 산전수전kudu전) 포스팅에 사용된 모든 사진과 글은 해당 세션의 발표자료가 출처입니다. 국내 kudu에 대한 실 운영사례를 찾아보기 힘든데 개 중 발견한 보석입니다. 현재 클라우데라 홈페이지에서는 2020년 자료만 조회가 됩니다. 2019년 세션에 대한 어젠다는 아래 다른 블로그에서 확인할 수 있습니다. blog.daum.net/luckyman717/5851 01. Update로 인한 폭증 WAL* 폭증 현상 1. 특정 Kudu 테이블에 대해 초당 최대 9백만 건 가까운 초대량 Update 수행 됨 2. 여파로 해당 테이블 Table..

출처: hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html

- 공식 doc: hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/ObserverNameNode.html

Hadoop3에서 가장 중요한 특징 중 하나는 Erasure Coding이다. On-premise 환경에서 운영하다보면 사실 가장 큰 문제는 용량 이슈이다. 서버 한대를 추가하는 것은 큰 비용이 들고 유휴시간을 생각하면 꼭 서버를 추가해야하나 의문도 든다. 기존 데이터를 지우고 또 지워도 충분한 용량이 확보되지 않을 수도 있다. 그런 관점에서 봤을때 EC는 이 용량이슈를 도와줄 수 있다. (물론 모든 데이터에 EC 정책을 지원하는 것보다는 데이터의 쓰임새나 접근 빈도, 형태 등에 따라 각기 적용하는 것이 좋다. EC정책을 적용할 경우 복잡성이 추가되고 장애 복구 비용이 많이 들기 때문에 사전에 고려할 사항이 많다. 이는 운영자의 숙련도에 따라 효율성이 다를 수 있음을 말한다. ) EC와 RAID 5의 p..

◆ 이 글은 popit에 게시된 아래 블로그를 정리한 글이다. ◆ www.popit.kr/%EC%95%84%ED%8C%8C%EC%B9%98-%EC%8B%A4%EC%8B%9C%EA%B0%84-%EC%B2%98%EB%A6%AC-%ED%94%84%EB%A0%88%EC%9E%84%EC%9B%8C%ED%81%AC-%EB%B9%84%EA%B5%90%EB%B6%84%EC%84%9D-1/ 실시간 처리 프레임워크는 streaming model에 따라 크게 두가지 방식으로 구분된다. Streaming Model 1) Native stream processing systems - 유입되는 모든 records, event를 스트리밍에 도착하는 시점에 하나씩 처리하는 native stream 방식 2) Micro-batchin..

2018년에 개최된 ifkakao에서 발표된 세션을 정리한 글입니다. 이 세션에 대한 pdf 자료 및 발표자에 대한 정보는 아래 링크를 통해 확인해주세요. https://if.kakao.com/2018/program?sessionId=abcd6780-c38a-4889-b8e7-da02d2000510 개요 글로벌 게임서비스의 무정지, 무점검 서버 개발과 운영의 사례를 소개 1. 무정지 무점검을 위해 적용된 서버 개발 기술들의 소개 2. 무정지 무점검 운영을 위한 서버의 구성과 DevOps 운용 소개 요약 => 최종적으로 무정지, 무점검 서비스 무정지&무점검을 어렵게 하는 것들 01. 패치 02. 설정 변경 03. 상수 변경 04. 스케일링 05. 장애 06. DevOps 요약 Flush, Var, Quer..

# 원인은 replica를 분배시 broker의 현재 disk 용량을 기준으로 분배하지 않기 때문에 발생 # 각 토픽의 파티션 구성시 Kafka broker의 배수로 구성하면 불균형을 어느정도 예방 가능하나 # 완벽하게 예방은 힘듦 # 가장 용량이 많은 topic 리스트업 # {topic] - {partition} 규칙의 디렉토리 du -h --max-depth=1 | sort -rh | head # 이동할 broker의 정보를 담는 json 파일 작성 { “partitions”: [ { “topic”: “big-topic”, “partition”:0, “replicas”:[2,3,4] }, { “topic”: “big-topic”, “partition”:1, “replicas”:[5,6,7] }], “..

# 문제 발생한 datanode stop ${hadoop_home}/bin/hadoop-daemon.sh stop tasktracker ${hadoop_home}/bin/hadoop-daemon.sh stop datanode # 고장난 디스크 mount 해제 및 교체 # Root 권한으로 디렉토리 생성 cd /hadoop1 mkdir -p hadoop/hdfs/data mkdir -p hadoop/yarn/local mkdir -p hadoop/yarn/log chown hdfs:hadoop hadoop/hdfs/data chown yarn:hadoop hadoop/yarn/local chown yarn:hadoop hadoop/yarn/log # 해당 datadnode start ${hadoop_hom..

# 문제 발생한 태블릿 서버를 디스크 교체하는 동안 다운타임을 예상하여 임시로 늘리기 sudo -u kudu kudu tserver set_flag follower_unavailable_considered_failed_sec # 태블릿 서버 중지 TS_UUID=$(sudo -u kudu kudu fs dump uuid --fs_wal_dir= --fs_data_dirs=) $ sudo -u kudu kudu tserver state enter_maintenance "$TS_UUID" # 해당 태블릿 서버에서 고장난 디스크 제거 & 디스크 복구 sudo -u kudu kudu fs update_dirs --force --fs_wal_dir=/wals --fs_data_dirs=/data/1,/data/2,..