[Hadoop3] Erasure Coding
Hadoop3에서 가장 중요한 특징 중 하나는 Erasure Coding이다. On-premise 환경에서 운영하다보면 사실 가장 큰 문제는 용량 이슈이다. 서버 한대를 추가하는 것은 큰 비용이 들고 유휴시간을 생각하면 꼭 서버를 추가해야하나 의문도 든다. 기존 데이터를 지우고 또 지워도 충분한 용량이 확보되지 않을 수도 있다. 그런 관점에서 봤을때 EC는 이 용량이슈를 도와줄 수 있다. (물론 모든 데이터에 EC 정책을 지원하는 것보다는 데이터의 쓰임새나 접근 빈도, 형태 등에 따라 각기 적용하는 것이 좋다. EC정책을 적용할 경우 복잡성이 추가되고 장애 복구 비용이 많이 들기 때문에 사전에 고려할 사항이 많다. 이는 운영자의 숙련도에 따라 효율성이 다를 수 있음을 말한다. ) EC와 RAID 5의 p..
