Confluent

The Complete Event Streaming Platform for Apache Kafka®

Confluent

The Complete Event Streaming Platform for Apache Kafka®

이벤트 스트리밍

데이터량이 급격히 증가하면서 빅데이터 처리 기술이 매우 중요해졌습니다.
기존의 데이터 처리방식은 시스템 A가 데이터를 DB나 파일에 저장하면, 다른 시스템 B,C,D가 그 파일을 읽는 순서 였지만
전송속도 증가와 빅데이터 처리기술의 고도화로 파일 저장과 동시에 읽을수 있게 되었으며,
이런 기술을 "이벤트 스트리밍" 서비스라고 부릅니다..

기존 정지되어 있는 데이터(Relational DB)가 움직이는 데이터(Event Streaming)로 바뀌고
Static, Slow, Batch Processing이 Realtime Event Processing이 가능하게 됩니다

아파치 카프카

아파치 카프카는 'LinkedIn'에서 개발 후 2010년 오픈소스화한 "이벤트 스트리밍 플랫폼"이며,
특정한 이벤트 전송통로(파이프라인)를 통해 여러 시스템간의 연결을 통합,관리하는 프로그램 입니다.

즉, 이벤트 전송(Pubilsh & Subscribe), 이벤트 저장, 이벤트 처리분석 등 대량의 데이터를 분산관리하는 시스템입니다.
높은 처리량(High throughput), 낮은 지연(Low latency), 실시간처리(realtime processing) 가 장점입니다.

컨플루언트 플랫폼 주요 기능

컨플루언트는 아파치 카프카의 창시자들에 의해 설립된 유일한 글로벌 Event streaming 솔루션이며,
리스크 제거, Time to market 가속화 등 아파치 카프카를 기업용으로 확장한 소프트웨어 입니다.

개발자 측면

Java 뿐 아니라 다양한 랭귀지(C, .Net, Python)로 개발 가능하며,
REST Proxy 통해 모든 어플리케이션 연결과 MQTT Proxy 통해 IoT 데이터 소스 연결이 가능합니다.
100+ Pre-built Connectors 이용 가능하고, 표준 Schema 통한 개발로 운영 복잡성 제거 됩니다.
익숙한 SQL Syntax (ksqlDB) 사용하여 개발이 용이하고, 아키텍처 단순화

운영자 측면

GUI 기반의 Confluent Control Center 제공하여 중앙에서 전체 모니터링 및 운영관리가 가능합니다.
kubernates 위에 설치가 가능하고 ansible playbooks 등 DevOps 통한 운영 자동화가 완벽히 제공됩니다.
Auto Data Balancer로 전체 브로커들의 처리량을 dynamic하게 최적화하고,
Tier Storage 통한 스토리지 비용 효율화를 제공합니다.

아키텍트 측면

Role based Access Control, Secret Protection 등 기밀 및 규정준수
Replicator를 통한 Multi-region 클러스터로 단순화된 재해복구체계 구현 빠른 복구 가능

Confluent Connectors

컨플루언트는 100개 이상의 데이터 소스와 즉시 연결 가능한 커넥터를 제공합니다

References

About Confluent

2014
Established in
1000 +
Customers
1000 +
Employees
100 M$
Revenue (estimated in 2021)