[컴] windows 에서 docker 를 이용해서 test용 spark standalone cluster 사용하기

 윈도우즈 / 윈도우 스파크 사용 / 테스트용 /디버그용 / stand-alone

windows 에서 docker 를 이용해서 test용 spark standalone cluster 사용하기

• 이미지 참고: https://miro.medium.com/max/2000/1*WrdzQ0LdsuLTdZeCbS5rMA.png

Dockerfile

• https://github.com/mvillarrealb/docker-spark-cluster/archive/refs/heads/master.zip

windows 에서는 git clone 으로 가져오면 start-spark.sh 의 line ending 이 \n\r 이 되어버리니, 직접 download 하자.

docker build, docker compose

docker build -t cluster-apache-spark:3.0.2 .
docker compose up -d

container 의 ipaddress 확인

docker image list
docker ps -a
docker exec -ti 177f2861c5fa ifconfig

확인

• http://localhost:9090/ : spark master
• http://localhost:9091/ : spark worker 1
• http://localhost:9092/ : spark worker 2

docker 에서 url 문제

• Running Spark standalone cluster in Docker | Some tech stuff

See Also

1. GitHub - maligulzar/cs5614-hw: Learn Apache Spark in Scala, Python (PySpark) and R (SparkR) by building your own cluster with a JupyterLab interface on Docker.
2. 쿠...sal: [컴] hadoop - spark 테스트 환경
   

References

1. GitHub - mvillarrealb/docker-spark-cluster: A simple spark standalone cluster for your testing environment purposses
2. Creating a Spark Standalone Cluster with Docker and docker-compose | by Marco Villarreal | Medium: ref. 1 에 대한 설명이다.