반응형

Hive 2

[Hive] LLAP(Live Long And Process)의 특징

hive2.0 에서 도입 자주 사용 되는 데이터를 캐싱 하여 작업속도를 올리는 기술 LLAP를 활용해 Hive 를 이용할 경우 캐싱을 위한 YARN Queue 를 별도로 할당 받고 설정한 리소스를 상시 점유 LLAP 구성 구분 설명 Hive Interactive Server Hive LLAP에 연결하기 위해 JDBC 인터페이스를 제공하는 Thrift 서버 Slider AM LLAP 데몬을 생성, 모니터링, 유지하는 슬라이더 프로그램 TEZ AM query coordinator TEZ AM은 사용자의 요청을 받아 LLAP 데몬(JVM) 내에서 사용할 수 있는 실행기에서 실행 LLAP 데몬 캐싱, JIT 최적화를 용이하게 하고 바로 호출할 수 있도록 클러스터의 worker node에서 실행 I/O, 캐싱, ..

Hive 2021.04.16

[Hive] Hive3 주요 특징

ACID 트랜잭션처리 Hive3 쓰기 및 읽기 작업은 트랜잭션 테이블 성능 향상 원자적 작업에는 단순 쓰기 및 삽입, 여러 파티션에 대한 쓰기, 단일 SELECT 문에 여러 삽입이 포함 읽기 작업은 작업 중에 발생하는 변경사항의 영향을 받지 않음. 데이터를 삽입하거나 삭제할 수 있으며 소프트웨어 및 하드웨어 충돌시에도 일관성을 유지. 더 이상 테이블을 버킷화할 필요 없기에 Hive 테이블의 생성 및 유지 관리 간소화 Hive 메타스토어 공유 HMS는 여러 컴퓨팅 엔진 (예 : Impala 및 Spark)의 상호 운용을 지원 HMS는 다양한 엔진과 사용자 데이터 액세스 간의 액세스 단순화 Hive와 Spark 통합 Spark 및 Hive 테이블은 Hive Warehouse Connector 및 Spark ..

Hive 2021.04.06
반응형