Spark - standalone cluster 구축하기 (Windows)

집에서는 다중 클러스터 환경을 구축하는게 어렵기 때문에 standalone cluster 환경을 구축해서 사용하려고한다.

적절한 버전의 잘 작동하는 scala, hadoop, spark 가 설치되어있어야 한다.

Standalone cluster 구축하기

Standalone cluster 는 하나의 Master node 와 하나의 Worker node로 이루어진다.

1. Mater Node 세팅하기 관리자 권한으로 cmd 실행 후 spark 설치 폴더의 bin폴더로 이동. 다음 명령어 입력

–host 은 optional 으로 host IP 를 지정 할 수 있다.

spark-class org.apache.spark.deploy.master.Master –host

이렇게 뜨면 세팅 완료

1. Worker Node 세팅하기 관리자 권한으로 cmd 실행 후 spark 설치 폴더의 bin폴더로 이동. 다음 명령어 입력.

spark-class org.apache.spark.deploy.worker.Worker

spark://: --host

(한 줄로 입력)

Master node 실행 시켰을 떄 나오느 IP 주소와 포트 번호를 입력한다. –-host는 optional

명령어가 정상적으로 실행되었으면 Master node cmd에서 다음과 같은 line이 출력된다.

Worker node 에서는 다음과 같이 뜬다.

1. Spark UI 접근하기 웹 브라우저를 열고

http://:8080

로 접속해서 Spark UI로 접근 할 수 있다.

8081은 WorkerUI 포트번호

로컬에서 두 노드 실행시켰다면 IP 에 localhost 넣으면 된다.

Node cmd 창에서 어느아이피 어느 포트로 접속가능하다가 뜨기 때문에 참고하면 된다.

UI 접속에 성공했다.