강좌
클라우드/리눅스에 관한 강좌입니다.
자격증 분류

NCE 자격증 이론정리 74편- Analytics 분야 -Cloud Data Streaming Service 핵심요약

작성자 정보

  • 관리자 작성
  • 작성일

컨텐츠 정보

본문

Cloud Data Streaming Service  핵심요약

 

-Apache kafka Cluster를 쉽고 간편하게 구축

.링크드인에서 개발된 분산 메시지시스템으로 다양한 데이터 혹은 API 호출을 처리하는 메시지시스템

.Manager 노드(CMAK)  1, Broker 노드 최소 3~최대10대로 시작

.클러스터 관리는 CMAK를 통해 관리

 

.CLA와 연동하여 로그수집(*필수)


cb2897aa7928ddcdb5688afaee5aab2e_1694581313_6919.png
 


 

 

*Apache Kafka는 실시간으로 기록 스트림을 게시, 구독, 저장 및 처리할 수 있는 분산형 데이터 스트리밍 플랫폼입니다.

 

여러 소스에서 데이터 스트림을 처리하고 여러 사용자에게 전달하도록 설계되었습니다.

 

간단히 말해 A지점에서 B지점까지 이동하는 것뿐만 아니라 A지점에서 Z지점을 비롯해 필요한 모든 곳에서 대규모 데이터를 동시에 이동할 수 있습니다.

 

 

 

Apache Kafka는 전통적인 엔터프라이즈 메시징 시스템의 대안입니다.

 

하루에 1 4천억 건의 메시지를 처리하기 위해 LinkedIn이 개발한 내부 시스템으로 시작했으나, 현재 이는 다양한 기업의 요구 사항을 지원하는 애플리케이션을 갖춘 오픈소스 데이터 스트리밍 솔루션이 되었습니다.

 

 


Apache Kafka Cluster
를 쉽고 간편하게 구축


 •
링크드인에서 개발된 분산 메시지 시스템으로 다양한 데이터 혹은 API호출을 처리하는 메시지 시스템


기존 메시징 시스템 대비 단순하면서 뛰어난 TPS를 나타냄


• Manager
노드(CMAK) 1, Broker노드 최소 3~최대 10대로 시작


• Manager
노드는 PublicSubnet,Broker노드는 PrivateSubnet에 배치가 가능


클러스터 관리는 CMAK를 통해 관리


• CLA
와 연동하여 로그 수집 (*필수)

 

 



관련자료

댓글 0
등록된 댓글이 없습니다.

공지사항


뉴스광장


  • 현재 회원수 :  60,139 명
  • 현재 강좌수 :  36,208 개
  • 현재 접속자 :  279 명