Sencia X 데엔

# 원인은 replica를 분배시 broker의 현재 disk 용량을 기준으로 분배하지 않기 때문에 발생 # 각 토픽의 파티션 구성시 Kafka broker의 배수로 구성하면 불균형을 어느정도 예방 가능하나 # 완벽하게 예방은 힘듦 # 가장 용량이 많은 topic 리스트업 # {topic] - {partition} 규칙의 디렉토리 du -h --max-depth=1 | sort -rh | head # 이동할 broker의 정보를 담는 json 파일 작성 { “partitions”: [ { “topic”: “big-topic”, “partition”:0, “replicas”:[2,3,4] }, { “topic”: “big-topic”, “partition”:1, “replicas”:[5,6,7] }], “..

서버리스라는 트랜드와 더불어 k8s 위에서 운영하는 서비스들이 대세이다. 하둡, kafka도 k8s 위에 올리는 것이 분명 가능하다. 이 글은 confluent의 게시글을 보고 작성하게 되었다. 무려 2018년에 발행된 글이다. www.confluent.io/blog/apache-kafka-kubernetes-could-you-should-you/ 결론부터 간결히 하자면 1) k8s에 kafka를 올렸을때 장점을 볼 수 있는 환경이 한정적이고 2) k8s, kafka의 세부 설정과 운영을 충분히 해본 숙련자가 필요하다는 것 아래 블로그 게시물은 다른 블로거의 게시물인데 좋은 게시물인 것 같아서 첨부한다. => blog.voidmainvoid.net/280 카프카를 쿠버네티스 위에 올리는게 좋은 선택일까?..