| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | |
| 7 | 8 | 9 | 10 | 11 | 12 | 13 |
| 14 | 15 | 16 | 17 | 18 | 19 | 20 |
| 21 | 22 | 23 | 24 | 25 | 26 | 27 |
| 28 | 29 | 30 |
- Oracle DB
- Programming
- 노드
- nodejs
- IT
- db
- Spring Framework
- 오라클
- 도커
- 딥러닝
- 유럽여행
- Python
- Java
- SAP
- ABAP
- 머신러닝
- oracle
- docker
- 비지니스영어
- JavaScript
- 영어
- 파이썬
- node.js
- 오라클 디비
- sap mm
- 자바스크립트
- SAP ERP
- SAP ABAP
- Mac
- 자바
- Today
- Total
목록제플린 (2)
JIHYUN JEONG
[Spotify Data Analysis/스포티파이 데이터 분석] Zeppelin을 활용한 스파크(Spark), AWS S3, SQL (7)
제플린(Zeppelin)을 활용해서 Spark의 대한 기능들을 살펴보도록 하겠습니다. 기본적인 적들은 아래와 같은 구문을 통해서 활용할 수 있습니다. 스파크는 rdd라는 개념을 사용합니다. AWS S3에 있는 parquet 데이터를 불러 올때는 아래와 같은 명령어를 통해 사용합니다. 스파크에서도 DataFrame 형식으로 데이터를 읽을 수 있습니다. 판다스의 DataFrame을 떠올리면 됩니다. %pyspark from datetime import datetime raw = sqlContext.read.format("parquet").load("s3://spotify-data-artist/top-tracks/dt=2020-03-18/top-tracks.parquet") # 일자별로 들어오게 할 경우 # ..
[Spotify Data Analysis/스포티파이 데이터 분석] AWS EMR, Zeppelin, FoxyProxy, EC2 설정 (6)
1. 클러스터를 생성합니다. 2. 임의의 클러스터 이름을 입력하고, 애플리케이션을 Spark로 지정합니다. 하드웨어 구성 > 인스턴스 유형은 c4.large로 설정 하겠습니다. 3. EC2 키 페어가 필요합니다. 'EC2 키 페어를 생성하는 방법을 알아보십시오' 선택 4. Amazon EC2 콘솔로 이동 클릭. 5. 네트워크 및 보안 > 키 페어 > 6. 키페어 생성 > 이름은 임의로 입력 > 키 페어 생성 > pem 파일을 다운로드 합니다. 7. 다음 아래 명령어를 입력합니다. pem 파일을 다운 받은 경로로 이동합니다. 8. 정상적으로 적용되면아래와 같이 EC2 키 페어에서 확인 할 수 있습니다. 그 다음 클러스터 생성을 합니다. 9. 프로비저닝 하는데 시간이 조금 걸립니다. 기다리겠습니다. 10. ..