Sencia X 데엔

출처: hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html

# 문제 발생한 datanode stop ${hadoop_home}/bin/hadoop-daemon.sh stop tasktracker ${hadoop_home}/bin/hadoop-daemon.sh stop datanode # 고장난 디스크 mount 해제 및 교체 # Root 권한으로 디렉토리 생성 cd /hadoop1 mkdir -p hadoop/hdfs/data mkdir -p hadoop/yarn/local mkdir -p hadoop/yarn/log chown hdfs:hadoop hadoop/hdfs/data chown yarn:hadoop hadoop/yarn/local chown yarn:hadoop hadoop/yarn/log # 해당 datadnode start ${hadoop_hom..

Hadoop을 설치할때 os kernel parameter를 같이 만져주면 성능에 좋다. 아래 설정은 RHEL 7버전 이상 기준으로 작성하였다. # 01. file descriptor를 max로 설정 # 기본 설정인 1024로 할 경우 프로세스당 open file descriptor 속도 느림 unlimit -S 4096 unlimit -H 32832 # 02. 네임노드에서 저널노드 요청시 리스닝 큐 크기나 # 서버가 한 번에 연결할 수 있는 수 설정을 설정 sysctl -w net.somaxconn=1024 # 03. 전송 대기열 길이를 변경하여 # 네트워크 트래픽에서 볼 수 있는 버스트 트래픽 수용 ifconfig eth# txqueuelen 4096 # 04. 네트워크 스택의 read, write ..

이 세미나는 TalkIT를 통해 진행되었고 결론적으로 얘기하자면 두 회사의 협업 솔루션을 홍보하는 용도였다. 어떤 방식으로 협업했고 어떤 범주까지 지원이 되는지 위주로 1시간 가량 세미나를 온라인으로 들었다. Cloudera가 CDP 통합 이후 어떤 방향으로 나아갈 것인지 방향성을 어느정도 볼 수 있다. 제품 설명만큼 실제로 제공된다면 좋은 솔루션인 것 같다. 본 블로그에 사용된 모든 ppt 이미지는 해당 세미나에서 발췌한 내용이다. (주소: talkit.tv/Event/2506) Red Hat / OPENSHIFT cri-o docker와 비슷하게 컨테이너 기술 세계 컨테이너 기술의 표준(OCI기술) docker와 완벽한 호환성(명령어는 상이하나 1:1 매핑 가능) 격리 기술을 통해 높은 보안성 제공 ..