Friday, May 6, 2022

spark streaming

 Voir oreilly

https://learning.oreilly.com/videos/real-time-stream-processing/9781803246543/

Mise en place d'un environnement avec des exemples simples pour comprendre.


On a besoin d'un Serveur Kafka

Spark Structured Stream API permet l'exécution de microbatches dans une fenêtre de temps donnée.

un microbatch : 

Read / Transform / Sink


By -

No comments:

Post a Comment

Subscribe to: Post Comments (Atom)

cloudflare ai

 Quelques expérimentations prometteuses à poursuivre avec les Gateway AI Il faut configurer un petit peu mais globalement ça crée une Gatewa...

  • Docker desktop
     Marche bien et plutôt bien intégré avec les solutions. bien changer de context quand on repasse au docker daemon docker context use default
  • Dataplateforme - datacatalog
      1. Les fonctions importantes d’un data catalog Pour une data plateforme, un catalogue de données doit typiquement offrir : Découverte d...
  • policy agent / langage de description de regles : OPA
    regarder de quoi ikl retourne  https://www.helpnetsecurity.com/2019/11/15/fugue-fregot/ fregot https://www.openpolicyagent.org/docs/la...