kafka

confluent.

un tuto pret à l'emploi pour comprendre un peu le biniou

sur dell dans tests/kafka

appliquer : 

https://docs.confluent.io/current/quickstart/ce-docker-quickstart.html

 docker-compose et hop

 

Ce qu'on apprend :

Kafka gère un flux de messages qui réprésentent  des evenements.

- Création de topic

C'est le point d'entrée ( ~la db / la collection) 

Physiquement : Broker

- inclut la notion de partition. (pour le stockage et la réplication)

- utilise un connecteur datagen pour alimenter ces topics.
Ici un connecteur de test qui envoie des données de test dans "users" et "pageviews"

- utilise un key converter class. traite la donnée (ie serialisation / désérialisation)

Recommandé : le format AVRO ( comme json mais adapté aux grosses volumétries) qui définit un schéma explicite.