Friday, May 6, 2022

spark streaming

 Voir oreilly

https://learning.oreilly.com/videos/real-time-stream-processing/9781803246543/

Mise en place d'un environnement avec des exemples simples pour comprendre.


On a besoin d'un Serveur Kafka

Spark Structured Stream API permet l'exécution de microbatches dans une fenêtre de temps donnée.

un microbatch : 

Read / Transform / Sink


By -

No comments:

Post a Comment

Subscribe to: Post Comments (Atom)

roues vtt

  Monte moustache orgine • Moyeux : Shimano - 32 T - Centerlock - AV TX505 9x100mm - AR MT400 12x148mm • Jantes : Moustache exclusives 27.5...

  • Docker desktop
     Marche bien et plutôt bien intégré avec les solutions. bien changer de context quand on repasse au docker daemon docker context use default
  • Dataplateforme - datacatalog
      1. Les fonctions importantes d’un data catalog Pour une data plateforme, un catalogue de données doit typiquement offrir : Découverte d...
  • policy agent / langage de description de regles : OPA
    regarder de quoi ikl retourne  https://www.helpnetsecurity.com/2019/11/15/fugue-fregot/ fregot https://www.openpolicyagent.org/docs/la...