Kafka 데이터 리밸런싱

# 원인은 replica를 분배시 broker의 현재 disk 용량을 기준으로 분배하지 않기 때문에 발생
# 각 토픽의 파티션 구성시 Kafka broker의 배수로 구성하면 불균형을 어느정도 예방 가능하나 
# 완벽하게 예방은 힘듦  

# 가장 용량이 많은 topic 리스트업 
# {topic] - {partition} 규칙의 디렉토리 
du -h --max-depth=1 | sort -rh | head

# 이동할 broker의 정보를 담는 json 파일 작성 
{ “partitions”: [ 
	{
		“topic”: “big-topic”, 
		“partition”:0, 
		“replicas”:[2,3,4]
	}, 
	{
		“topic”: “big-topic”, 
		“partition”:1, 
		“replicas”:[5,6,7]
	}], 
“version”:1} 

# partition 재할당 
bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file partitions-to-move.json —execute

# 결과 검증 
bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file partitions-to-move.json --verify