Friday, May 6, 2022

spark streaming

 Voir oreilly

https://learning.oreilly.com/videos/real-time-stream-processing/9781803246543/

Mise en place d'un environnement avec des exemples simples pour comprendre.


On a besoin d'un Serveur Kafka

Spark Structured Stream API permet l'exécution de microbatches dans une fenêtre de temps donnée.

un microbatch : 

Read / Transform / Sink


By -

No comments:

Post a Comment

Subscribe to: Post Comments (Atom)

Ma journée du 01 Décembre 2025

En ce premier jour de décembre, l'heure est venue, De conter une histoire, par les dés soutenue. Quinze dés ont roulé, offrant leur dest...

  • Docker desktop
     Marche bien et plutôt bien intégré avec les solutions. bien changer de context quand on repasse au docker daemon docker context use default
  • Dataplateforme - datacatalog
      1. Les fonctions importantes d’un data catalog Pour une data plateforme, un catalogue de données doit typiquement offrir : Découverte d...
  • policy agent / langage de description de regles : OPA
    regarder de quoi ikl retourne  https://www.helpnetsecurity.com/2019/11/15/fugue-fregot/ fregot https://www.openpolicyagent.org/docs/la...