[컴] Docker, Hadoop Yarn 실행하기

하둡 얀 / yarn 추가 방법 / 설정 방법, yarn configuration

docker 로 hadoop yarn 실행하기

전제조건

docker-compose.yml 에 hdfs 를 띄우는 부분은 이미 만들어져 있어야 한다. 그 부분은 다음 링크를 참고하자.

• docker 로 hdfs 설치

최종 파일

docker-compose.yml 에 yarn 부분을 추가한 것은 아래 경로에서 download 할 수 있다.

• namh-hadoop-v2.1.zip
  

다음 command 로 실행하면 된다.

docker compose build
docker compose up

추가된 부분

docker 로 hdfs 설치 부분에서 추가된 부분은 다음과 같다.

• docker-compose.yml
  • services에 resource_manager
  • datanode* 부분에 volumes 추
• datanode Dockerfile에 nodemanager 내용추가
  • yarn-site.xml 추가
  • start.sh 에 nodemanager 실행하도록 추가
  • Dockerfile 에 nodemanager.local-dirs 와 nodemanager.logs-dirs 에서 사용할 directory 생성
  • nodemanager webui port 8042 를 열어줌(expose)
• resource_manager 관련 Dockerfile 생성

yarn 이 잘 실행되고 있는지 확인하는 방법

Resource Manager 에서 제공하는 web ui (http://localhost:8088/cluster/nodes) 를 가면 현재 resource manager가 관리하는 node manager 정보를 볼 수 있다.

• http://localhost:8088/cluster/nodes

See Also

1. docker 로 hdfs 설치
2. 쿠…sal: [컴] docker commands
3. 쿠...sal: [컴] hadoop deamon 들 설정
4. Setup a distributed Hadoop/HDFS cluster with docker | 鱼喃 : docker swarm 을 이용해서 cluster 를 만들고, 그 안의 server들은 docker로 띄우는내용
• Dockerfiles/hadoop/2.9.1 at master · newnius/Dockerfiles · GitHub
  
5. Step By Step Hadoop Installation and Configuration