kudu와 hdfs는 동일한 클러스터 위에서 구동할 수 있으므로 kudu의 데이터가 hdfs에 저장되지 않는가 하는 생각이 들수도 있습니다.
하지만 kudu는 hdfs와 별개의 저장 시스템으로 hdfs에 의존하거나 위에서 실행되지 않습니다.
초기에 kudu에서 HDFS로 데이터를 저장하는 설계를 고려했지만 아래와 같은 이유로 별개의 저장 시스템으로 가게 되었다고 합니다.
- Kudu는 Raft 합의를 사용하여 논리적 수준에서 복제를 처리하므로 HDFS 복제가 중복됩니다. 복제 수준을 1로 지정할 수 있었지만 HDFS의 최상의 사용 사례는 아닙니다.
- HDFS에서 제공하는 파일 시스템 수준 스냅 샷은 특정 데이터가 메모리에서 플러시되는시기를 예측하기 어렵기 때문에 스냅 샷에 대한 Kudu 지원으로 직접 변환되지 않습니다. 또한 스냅 샷은 테이블 단위 수준에서 제공되는 경우에만 의미가 있으며 파일 시스템 수준 스냅 샷을 통해 조정하기 어려울 수 있습니다.
- HDFS 보안은 테이블 또는 열 수준 ACL로 변환되지 않습니다. HBase ACL과 유사하게 Kudu는 자체 보안 시스템을 구현해야하며 HDFS 보안 모델의 이점을 많이 얻지 못합니다.
- Kudu의 스캔 성능은 이미 HDFS에 저장된 Parquet 파일과 동일한 범위 내에 있으므로 Kudu의 데이터 파일을 직접 읽는 것을 수용 할 필요가 없습니다.
Apache Kudu - Kudu FAQ
Frequently Asked Questions Project Motivation Why use column storage format? Would a row-wise format increase performance? Analytic use-cases almost exclusively use a subset of the columns in the queried table and generally aggregate values over a broad ra
kudu.apache.org
2021.03.30 - [Kudu] - [기초] Kudu 기본 개념
[기초] Kudu 기본 개념
KUDU 개념 컬럼 베이스 DB PK 기반 동작 / PK 관련 질의 속도 빠름 랜덤액세스, 순차읽기에 빠른 속도 컬럼별 인코딩 타입, 압축 타입 설정 가능 upsert, delete 가능 master server와 tablet server로 구성 데이..
sencia.tistory.com
2021.03.30 - [Kudu] - [kudu] 1편 - write, read, partition
[kudu] 1편 - write, read, partition
Write 단일 tablet으로 wirte 발송 블룸 필터 검사(bloom filter checking)를 통해 kudu는 디스크에서 일부 검색을 피할 수 있습니다. PK를 사용하면 주어진 키에 대한 확실한 검색이 가능합니다. inserts: key 존.
sencia.tistory.com
2021.04.06 - [Kudu] - [kudu] 2편 - Schema, Compaction, Disk, Memory
[kudu] 2편 - Schema, Compaction, Disk, Memory
Schema Primary Key의 역할 각 row를 고유하게 식별 PK를 이용한 쿼리 검색 지원 index - tablet의 길이를 줄여줌(height) - near-primary-key 순서로 insert 가능 병합 압축(Merge Compaction) tablet에서..
sencia.tistory.com
2021.04.06 - [Kudu] - [kudu] 3편 - Scaling cluster
[kudu] 3편 - Scaling cluster
클러스터 memory 충분한지 어떻게 알 수 있을까? 1) 진행중인 워크로드 기반하여 메모리 사용량 추론 Scans 대시보드 https://tserver:8050/scans Transaction 대시보드 https://tserver:8050/transactions 클라우..
sencia.tistory.com
'Kudu' 카테고리의 다른 글
| [Kudu] 데이터 백업 (0) | 2021.05.30 |
|---|---|
| [Kudu] kudu disk 구성은 왜 JBOD로 해야하는가? (0) | 2021.05.30 |
| [Kudu] Apache Ranger로 권한 제어 (0) | 2021.04.13 |
| [kudu] 3편 - Scaling cluster (0) | 2021.04.06 |
| [kudu] 2편 - Schema, Compaction, Disk, Memory (0) | 2021.04.06 |