Friday, May 6, 2022

spark streaming

 Voir oreilly

https://learning.oreilly.com/videos/real-time-stream-processing/9781803246543/

Mise en place d'un environnement avec des exemples simples pour comprendre.


On a besoin d'un Serveur Kafka

Spark Structured Stream API permet l'exécution de microbatches dans une fenêtre de temps donnée.

un microbatch : 

Read / Transform / Sink


By -

No comments:

Post a Comment

Subscribe to: Post Comments (Atom)

model routing

 https://towardsdatascience.com/the-hidden-cost-of-llm-routing-why-switching-models-costs-more/?utm_campaign=tds%20daily&utm_medium=emai...

  • Docker desktop
     Marche bien et plutôt bien intégré avec les solutions. bien changer de context quand on repasse au docker daemon docker context use default
  • mots cles pour archi technique a placer
    Vision  policy as code business case       analyse de la valeur de transformation IA everywhere  MCPisation du SI : utisation des services t...
  • policy agent / langage de description de regles : OPA
    regarder de quoi ikl retourne  https://www.helpnetsecurity.com/2019/11/15/fugue-fregot/ fregot https://www.openpolicyagent.org/docs/la...