[Spotify Data Analysis/스포티파이 데이터 분석] AWS EMR, Zeppelin, FoxyProxy, EC2 설정 (6)

 

1. 클러스터를 생성합니다.

 

2. 임의의 클러스터 이름을 입력하고, 애플리케이션을 Spark로 지정합니다. 하드웨어 구성 > 인스턴스 유형은 c4.large로 설정 하겠습니다.

 

3. EC2 키 페어가 필요합니다. 'EC2 키 페어를 생성하는 방법을 알아보십시오' 선택

 

 

4. Amazon EC2 콘솔로 이동 클릭.

 

 

 

5. 네트워크 및 보안 > 키 페어 > 

 

6. 키페어 생성 > 이름은 임의로 입력 > 키 페어 생성 > pem 파일을 다운로드 합니다.

 

 

7. 다음 아래 명령어를 입력합니다. pem 파일을 다운 받은 경로로 이동합니다.

 

 

 

8. 정상적으로 적용되면아래와 같이 EC2 키 페어에서 확인 할 수 있습니다. 그 다음 클러스터 생성을 합니다. 

 

 

9. 프로비저닝 하는데 시간이 조금 걸립니다. 기다리겠습니다.

 

10. 프로비저닝이 완료가 되면 보안 및 액세스 > 마스터 보안 그룹 클릭

 

11. Master group > Inbound rules > Edit inbound rules > Add rule > SSH 추가 > Slave도 동일하게 진행한다.

 

 

 

12. EMR로 돌아와서 > 연결 > 웹 연결 활성화 클릭 > 

 

13. 동적 포트 전달을 사용하여 마스터 노드에 SSH 터널을 설정하려면 다음 명령을 입력합니다. ~/spotify.pem을 클러스터 실행에 사용된 프라이빗 키 파일(.pem)의 위치와 파일 이름으로 바꿉니다.  에 있는 명령어를 터미널에 입력합니다.

 

예시)

ssh -i spotify.pem -ND 8157 hadoop@ec2-13-121223123123-123123123-153.ap-northeast-2.compute.amazonaws.com

 

The authenticity of host 'ec2-13-125-242-153.ap-northeast-2.compute.amazonaws.com (13.125.242.153)' can't be established.
ECDSA key fingerprint is SHA256:3Qm1lqsdfsaaxcvzxcvzxvzxcvexxjFgKf8s.
Are you sure you want to continue connecting (yes/no)? yes
Please type 'yes' or 'no': yes
Warning: Permanently added 'ec2-13-125-24asdfasdfasdfsadf2.compute.amazonaws.com,13.125.242.153' (ECDSA) to the list of known hosts.

 

14. 2단계: 프록시 관리 도구 구성 대로 합니다.

 

15. 아래 FoxyProxy Standard 추가

 

16. foxyproxy-settings.xml이라는 이름의 파일을 생성합니다.

 

 

 

17. Options > Import/Export > 파일 선택 > replace

 

18. EMR이 추가가 된 것을 확인 할 수 있음.

 

 

19. 다시 EC2 화면으로 가서 마스터 퍼블릭 DNS를 복사해서 브라우저로 접속하면 접속이 안됨

 

20. 설정해뒀던 emr를 선택 후 다시 마스터 퍼블릭 DNS 복사해서 접속하면 

 

 

 

21. 아래 페이지가 듭니다.

22. 그리고 연결에 항목들도 활성화 되어 있음 > Zeppelin 선택

 

23. 정상적으로 접속 되는 것을 확인 할 수 있습니다.