[Hadoop3] Observer Namenode

- 공식 doc: hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/ObserverNameNode.html

Apache Hadoop 3.3.0 – Consistent Reads from HDFS Observer NameNode

 

---

Observer Namenode 

namenode의 read 부하를 덜기 위해 도입된 역할로 namenode의 오버헤드를 줄일 수 있다. 
Hadoop3에서 observer namenode의 성능이 어느 정도인지 명확하게 나오지는 않았다. 

 

설정 방법 

observer namenode의 hdfs-site.xml 수정 

<property>      <name>dfs.ha.tail-edits.in-progress</name>      <value>true</value> </property> <property>     <name>dfs.ha.tail-edits.period</name>     <value>0ms</value> </property> <property>     <name>dfs.ha.tail-edits.period.backoff-max</name>     <value>10ms</value> </property> <property>     <name>dfs.journalnode.edit-cache-size.bytes</name>     <value>1048576</value> </property> <property>     <name>dfs.namenode.accesstime.precision</name>     <value>0</value> </property>

이외 모든 datanode의 hdfs-site.xml 수정 

<property>     <name>dfs.client.failover.proxy.provider.<nameservice></name>          <value>org.apache.hadoop.hdfs.server.namenode.ha.ObserverReadProxyProvider</value> </property> <property>     <name>dfs.client.failover.observer.auto-msync-period.<nameservice></name>     <value>500ms</value> </property>

standby로 떠있던 observer namenode에 아래 명령어 실행 

haadmin -transitionToObserver -forcemanual

---

참고 

joonyon.tistory.com/161?category=760357