[Hive] Hive3 주요 특징

ACID 트랜잭션처리

• Hive3 쓰기 및 읽기 작업은 트랜잭션 테이블 성능 향상
  원자적 작업에는 단순 쓰기 및 삽입, 여러 파티션에 대한 쓰기, 단일 SELECT 문에 여러 삽입이 포함
• 읽기 작업은 작업 중에 발생하는 변경사항의 영향을 받지 않음.
  데이터를 삽입하거나 삭제할 수 있으며 소프트웨어 및 하드웨어 충돌시에도 일관성을 유지. 더 이상 테이블을 버킷화할 필요 없기에 Hive 테이블의 생성 및 유지 관리 간소화

 

Hive 메타스토어 공유

• HMS는 여러 컴퓨팅 엔진 (예 : Impala 및 Spark)의 상호 운용을 지원
  HMS는 다양한 엔진과 사용자 데이터 액세스 간의 액세스 단순화

 

Hive와 Spark 통합

• Spark 및 Hive 테이블은 Hive Warehouse Connector 및 Spark Direct Reader를 사용하여 상호 운용되어 ACID 관리형 테이블에 접근.. SparkSQL을 사용하여 Spark에서 직접 외부 테이블에 접근 가능
• Hive 외부 테이블을 읽거나 쓰는데 HWC필요없음.
  Spark 사용자는 Hive에서 직접 읽거나 쓰기. ORC 또는 Parquet 형식으로 Hive 외부 테이블을 읽을 수 있음. ORC 형식으로 만 Hive 외부 테이블을 쓸 수 있음.

 

쿼리 수준의 워크로드 관리

• 쿼리 리소스 사용자, 사용량, Hive가 리소스 요청에 응답하는 속도를구성할수있음
• 워크로드 관리는 병렬 쿼리 실행,쿼리에 대한 클러스터 공유 및 쿼리 성능 향상

 

구체화뷰

• 여러 쿼리에 동일한 중간 롤업 또는 조인된 테이블이 자주 필요하기 때문에 중간 테이블을 미리 계산하고 뷰에 캐싱하여 비용이 많이 들고 반복적인 쿼리 공유 방지

 

쿼리 결과 캐시

• Hive는 유사하거나 동일한 쿼리를 필터링하고 캐시.
  Hive는 변경되지 않은 데이터를 다시 계산하지 않음. 반복적인 쿼리를 캐싱하면 수백 또는 수천 명의 BI 도구 및 웹 서비스 사용자가 Hive를 쿼리 할 때 부하를 크게 줄일 수 있음