Kafka Stream nedir?

[Admin]

Kafka Stream nedir?​

Kafka Streams, Kafka’da depolanan verilerin anlık olarak işlenmesi ve analiz edilmesi için geliştirilmiş bir client kütüphanesidir. Girdi ve çıktı verilerinin Kafka’da saklandığı, ölçeklenebilir, esnek, hataya dayanıklı, dağıtık uygulamalar ve mikro servisler geliştirmek için kullanılır.

RabbitMQ ve Kafka nedir?​

RabbitMQ bir mesaj kuyruğu sistemidir. Benzerleri Apache Kafka, Msmq, Microsoft Azure Service Bus, Kestrel, ActiveMQ olarak sıralanabilir. Amacı herhangi bir kaynaktan alınan bir mesajın, bir başka kaynağa sırası geldiği anda iletilmesidir. Mantık olarak Redis Pub/Sub’a benzemektedir.
Kafka nerelerde kullanılır?
Başlangıçta 2011’de Linkedin tarafından Java ile geliştirilen Kafka daha sonra Apache çatısı altında açık kaynak bir projeye dönüştürülmüştür. Günümüzde Linkedin, Netflix, Uber, Twitter gibi devasa boyutlarda veriye sahip olan birçok firma tarafından kullanılmaktadır.
Apache Kafka ne ise yarar?
Apache Kafka LinkedIn tarafından geliştirilen ve şuan Apache bünyesinde bulunan, büyük verileri anlık olarak depolamak ve analiz etmek için kullanılan açık kaynak bir framework’dür. Büyük verileri hızlı bir şekilde depolayıp analiz etmek için ise mesajlaşma sistemini (queue) kullanmaktadır.

Kafka Replication Factor nedir?​

Topic Replication Kafka dağıtık(distrubuted) bir sistemdir, bir broker çökse bile veri kaybı olmaması ve işlemlerin devam ediyor olması gereklidir. Replikasyon bu işi yapar. Replication Factor genellikle 2 yada 3 olarak belirlenir, 2 olarak belirlenmesi biraz risklidir.

Kafka Producer Consumer nedir?​

Producer : message’ları publish eden yani kafka’ya message üreten yapının/uygulamanın adı. Consumer : publish edilmiş message’ları retrieve/consume eden uygulama.
RabbitMQ broker nedir?
Özellikle yoğun veri akışının olduğu sistemlerde, çok sayıda verinin işlenmesi esnasında yaşanabilecek tıkanmaların önüne geçmek adına, verileri kuyrukta tutma ve sonrasında istenen kaynağa yazma prensibiyle çalışır. RabbitMQ, açık kaynak kodlu en çok kullanılan ‘message broker’ yapılarından birisidir.
RabbitMQ topic nedir?
RabbitMQ asenkron yapılar için kullanılan bir mesaj kuyruğu sistemidir. Ne iş yapar sorusuna cevap olarak; producerdan yollanan mesajı consumera taşır. Bu yapı birbiriyle bağlantısı olmayan ve senkron olması zorunlu olmayan servisler arasında sıkça kullanılmaktadır. Özellikle mikroservis mimarisinde kullanılır.

Verileri Kafka ya gönderen uygulamanın adı nedir?​

Broker: Kafka platformunu oluşturan her bir sunucuya verilen addır. Kodlarda bootstrap-server veya broker-list şeklinde karşımıza çıkabilir. Producer: Kafka’ya mesaj gönderen sınıf/nesne/uygulama.

Apache Kafka da broker nedir?​

Broker, topic ve partition’ları tutan sunuculardır. Birçok broker birlikte kafka cluster’ı oluşturur. Bir broker’a bağlandığınızda, buna “bootstrap broker” denir ve tüm cluster’a bağlanmış olursunuz. Her broker sadece belirli topic partitionlarını içerir.
Kafka ZooKeeper nedir?
Apache yazılım vakfı tarafından geliştirilen bir yazılım projesi olan apache zookeeper, büyük dağıtık sistemler için kullanılan dağıtık bir yapılandırma hizmetidir. Üst düzey bir Apache projesi olan ZooKeeper, adlandırma katkı ve senkronizasyon hizmeti yapmak adına kullanılan bir hiyerarşik anahtar değer deposudur.
ZooKeeper ne işe yarar?
ZooKeeper Ne Yapar? Dağıtık yapılar için bir koordinatör hizmeti sağlayan uygulamadır. Koordinasyonu sağlamak için birçok görevi yerine getirmesi gerekir ki uyum, işbirliği, ardışık işlemlerin gerçekleşmesini sağlamak bunların en önemlileri.

Kafka ACKS nedir?​

Kafka yüksek performanslı dağıtık mesajlaşma sistemidir. 2011 yılında Linkedin tarafından geliştirilmiştir. Açık kaynak bir projedir. Apache Kafka, büyük verileri düşük gecikmelerle (latency) gerçek zamanlı (real time) veri akışı sağlar.

Kafka mı RabbitMQ mu?​

Kafka genellikle rabbitMQ’ya göre daha büyük ölçekli mesajlaşma uygulamalarında veya streaming uygulamalarında kullanılır. Streaming gibi servislerde tercih edilmesinin sebebi kuyruktaki mesajların kaybolmamasıdır ve persistent olarak saklanmasıdır.
RabbitMQ Publisher nedir?
RabbitMQ’nun İşleyişi Burada Publisher RabbitMQ mesaj kuyruğuna mesaj gönderen yani bir başka deyişle mesaj üreten kişidir/uygulamadır. Publisher mesajı publish ettikten sonra ilgili mesajı Exchange karşılayacaktır. Exchange, kendisine belirtilen route ile ilgili mesajı kuyruğa yönlendirir.