![]()
Apache Kafka 개요 소스/타겟 애플리케이션 증가로 데이터 전송라인 복잡 및 파편화 이슈 발생 이에 따른 유지보수 어려움과 복잡함을 해결하기위해 나옴 kafka에서 queue와 같은 역할을 하는 topic에 데이터를 넣는 역할은 producer가, 가져가는 역할은 consumer가 한다.(producer와 consumer는 라이브러리 형태로 제공) 카프카는 낮은 지연과 높은 처리량을 지원하기때문에 빅(Big) 데이터 처리에는 kafka를 도입하는게 유리함 Kafka Topic 카프카에는 다양한 데이터가 들어갈 수 있는데, 그 공간을 topic이라고 함 (AMQP와는 동작 방식이 상이함) kafka에서는 topic을 여러개 생성할 수 있는데, table과 파일시스템의 폴더와 유사한 성질을 가짐 to..
![]()
Apache Kafka란? 분산 스트리밍 플랫폼 데이터 파이프 라인 구성시, 주로 사용되는 오픈소스 솔루션 대용량의실시간 로그처리에 특화되어 있는 솔루션 데이터의 유실없이 안전하게 전달하는 것이 주목적인 메세지 시스템 클러스트링이 가능하므로 Fault-Tolerant한 안정적인 아키텍처와 빠른 퍼포먼스로 데이터를 처리 수평적으로 서버의 Scale-Out이 가능함 Falut-Tolerant : 시스템 내 장애가 발생하도라도 시스템에 지장을 주지않도록 설계된 시스템 Scale-Out : 서버의 대수를 늘려서 성능을 향상하는 방법 카프카의 탄생 배경 실시간 트랜잭션 처리(OLTP)와 비동기 처리가 동시에 이루어지는 시스템에서 통합된 전송영역 부재로 인한 시스템 복잡도 증대 시스템 복잡도 증대로 인한 운영업무 ..
