Hadoop 디스크 fault 발생시

# 문제 발생한 datanode stop
${hadoop_home}/bin/hadoop-daemon.sh stop tasktracker
${hadoop_home}/bin/hadoop-daemon.sh stop datanode 

# 고장난 디스크 mount 해제 및 교체 
# Root 권한으로 디렉토리 생성 
cd /hadoop1 
mkdir -p hadoop/hdfs/data 
mkdir -p hadoop/yarn/local 
mkdir -p hadoop/yarn/log 
chown hdfs:hadoop hadoop/hdfs/data 
chown yarn:hadoop hadoop/yarn/local 
chown yarn:hadoop hadoop/yarn/log

# 해당 datadnode start 
${hadoop_home}/bin/hadoop-daemon.sh start tasktracker
${hadoop_home}/bin/hadoop-daemon.sh start datanode 

# 네임노드에서 Rebalancer 실행 
hdfs balancer -policy datanode -threshold 5 

 

복구가 오래 걸리는 경우 Ambari를 사용하여 대응 가능하다.

특정 디스크를 빼고 datanode를 올려야하면 Ambari 내에서 문제가 발생한 노드로 그룹을 만든다. 

 

- HDFS > Configs > Group 

 

그룹을 만든 뒤 Datanode directories를 변경해준다. 

문제가 발생한 disk 디렉토리를 제거하고 저장한 뒤 임시 그룹을 삭제하면 해당 노드도 default로 돌아간다. 

 

p.s. 도움을 주신 화이팅빌런님께 감사합니다. (dydwnsekd.tistory.com/)