개린이 탈출기

kafka 공부 중 세 개념이 생각보다 잘 구분이 안돼서 혼자 만의 기준으로 정리해보았다. Apache Kafka분산 메시징 시스템 및 스트리밍 플랫폼으로 대규모 실시간 데이터 스트림을 효율적으로 처리하는 도구Spring Kafka스프링 프레임워크에서 제공하는 라이브러리스프링부트 프로젝트에 최적화(혹은 손쉽게_=)하여 카프카 기술을 사용할 수 있음 (러닝커브가 낮음)Spring Cloud Stream스프링부트를 기반으로 메시지 브로커(apache kafka 같은 애들)에 대한 연결(바인딩)을 제공하는 프레임워크이러한 바인딩을 *추상화*로 제공하는 것이 특징

Kafka 란 아파치 카프카(Apache kafka) 는 아파치 소프트웨어 재단이 스칼라로 개발한 오픈 소스 메시지 브로커 프로젝트로, 고성능 데이터 파이프라인, 스트리밍 분석, 데이터 통합 ​​및 미션 크리티컬 애플리케이션을 위해 사용하는 오픈 소스 분산 이벤트 스트리밍 플랫폼이다. 위의 정의를 읽었을 때, 카프카가 어떤 역할을 하는지 자세히 이해가 가질 않았는데, 대충 '대용량-대규모 데이터를 효율적으로 처리할 수 있는 프레임워크 혹은 오픈소스 도구' 라고 보면 되는 것 같다. Kafka 의 등장 배경 2011년, 링크드인(Linked)에서 카프카를 개발하였다. 기존에는 단방향 통신으로 데이터를 생성하는 소스 애플리케이션에서 데이터가 최종 적재되는 타깃 애플리케이션으로 연동하는 방식으로 운영을 하였으..