Sencia X 데엔

Hadoop을 설치할때 os kernel parameter를 같이 만져주면 성능에 좋다. 아래 설정은 RHEL 7버전 이상 기준으로 작성하였다. # 01. file descriptor를 max로 설정 # 기본 설정인 1024로 할 경우 프로세스당 open file descriptor 속도 느림 unlimit -S 4096 unlimit -H 32832 # 02. 네임노드에서 저널노드 요청시 리스닝 큐 크기나 # 서버가 한 번에 연결할 수 있는 수 설정을 설정 sysctl -w net.somaxconn=1024 # 03. 전송 대기열 길이를 변경하여 # 네트워크 트래픽에서 볼 수 있는 버스트 트래픽 수용 ifconfig eth# txqueuelen 4096 # 04. 네트워크 스택의 read, write ..

서버리스라는 트랜드와 더불어 k8s 위에서 운영하는 서비스들이 대세이다. 하둡, kafka도 k8s 위에 올리는 것이 분명 가능하다. 이 글은 confluent의 게시글을 보고 작성하게 되었다. 무려 2018년에 발행된 글이다. www.confluent.io/blog/apache-kafka-kubernetes-could-you-should-you/ 결론부터 간결히 하자면 1) k8s에 kafka를 올렸을때 장점을 볼 수 있는 환경이 한정적이고 2) k8s, kafka의 세부 설정과 운영을 충분히 해본 숙련자가 필요하다는 것 아래 블로그 게시물은 다른 블로거의 게시물인데 좋은 게시물인 것 같아서 첨부한다. => blog.voidmainvoid.net/280 카프카를 쿠버네티스 위에 올리는게 좋은 선택일까?..

이 세미나는 TalkIT를 통해 진행되었고 결론적으로 얘기하자면 두 회사의 협업 솔루션을 홍보하는 용도였다. 어떤 방식으로 협업했고 어떤 범주까지 지원이 되는지 위주로 1시간 가량 세미나를 온라인으로 들었다. Cloudera가 CDP 통합 이후 어떤 방향으로 나아갈 것인지 방향성을 어느정도 볼 수 있다. 제품 설명만큼 실제로 제공된다면 좋은 솔루션인 것 같다. 본 블로그에 사용된 모든 ppt 이미지는 해당 세미나에서 발췌한 내용이다. (주소: talkit.tv/Event/2506) Red Hat / OPENSHIFT cri-o docker와 비슷하게 컨테이너 기술 세계 컨테이너 기술의 표준(OCI기술) docker와 완벽한 호환성(명령어는 상이하나 1:1 매핑 가능) 격리 기술을 통해 높은 보안성 제공 ..