testé sur le dell
dans tests/spark
utilisation de docker, 1 master et 2 workers
docker-compose up -d
- console sur localhost:8088
pour soumettre un job
il faut l'exécutable spark-submit qui fait partie de la distribution.
et le script.
En python java ou scala
pour calculer pi
on se connecte sur un worker
on met dans tmp (writable) le script téléchargé grace à curl -o
puis
spark-submit --master spark://spark:7077 /tmp/pi.py 1000
(spark reference le container master)
on voit bien le job s'executer dans la console
No comments:
Post a Comment