Apache Kafka es un proyecto Open Source sobre una plataforma de distribución de datos que permite publicar, suscribirse, almacenar y administrar flujos de datos en tiempo real.
Productores, son los encargados de escribir mensajes en Kafka
Consumidores, leen o consumen los mensajes de los brokers de Kafka
Brokers, son los nodos que forman parte del cluster de Kafka y almacenan y distribuyen los datos
Se ejecuta como un clúster que puede estar distribuido en varios servidores en uno o varios datacenter.
Los nodos (llamados brokers), almacenan los flujos de datos entrantes y estos se clasifican (llamados topics).
Los datos se distribuyen en particiones en los diferentes nodos que conforman el clústes y se les aplica un marca de tiempo.
Con ello se asegura un acceso/lectura rápida al mismo tiempo que se asegura una alta disponibilidad.
Kafka permite publicar y suscribirse a flujos de eventos y permite almacenar estos eventos de una forma tolerante a fallos, escalable, persistente y con capacidad de replicación.
Además de almacenar estos eventos, la funcionalidad se extiende con la capacidad de procesarlos en tiempo real, a medida que se reciben de múltiples fuentes de datos. Kafka se integra con numerosas tecnologías, de esta forma, permite construir flujos de datos en tiempo real entre distintos sistemas y aplicaciones de manera desacoplada.
Plataforma tolerante a fallos, baja latencia (Importante en Big-Data) y escalable horizontalmente.
Efectivo para aplicaciones que presentan reaccionar a eventos en tiempo real
Control de mensajes y escritura transaccional para garantizar que los mensajes se transmiten una sola vez (exactly-once delivery)
Usado por grandes compañías en todo el mundo
Barcelona
Madrid
A Coruña
Bilbao
Castellón
Gijón
Palma
Sevilla
Valencia
Paiões
Singapore
Liverpool
Lucerna
México DF
Bogotá
C/ Don Quijote, 1
28020 Madrid
+34 912 91 84 13
[email protected]
Av. Álvaro Obregón 171, Roma Nte., Cuauhtémoc,
06700 Ciudad de México, CDMX, México
+52 (1) 55 2313 2110
+52 (1) 56 1834 4441
[email protected]
Cra. 7 #116- 50,
Usaquén, Bogotá, Cundinamarca
+57 300 283 9029
[email protected]
