| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 |
Tags
- docker
- SAP ERP
- IT
- oracle
- ABAP
- 노드
- 오라클 디비
- Java
- node.js
- db
- 도커
- 비지니스영어
- 딥러닝
- 자바스크립트
- nodejs
- Programming
- 유럽여행
- JavaScript
- Oracle DB
- 자바
- SAP ABAP
- SAP
- Mac
- 영어
- Python
- 오라클
- 파이썬
- 머신러닝
- sap mm
- Spring Framework
Archives
- Today
- Total
목록aws rms (1)
JIHYUN JEONG
[Spotify Data Analysis/스포티파이 데이터 분석] Zeppelin을 활용한 스파크(Spark), AWS S3, SQL (7)
제플린(Zeppelin)을 활용해서 Spark의 대한 기능들을 살펴보도록 하겠습니다. 기본적인 적들은 아래와 같은 구문을 통해서 활용할 수 있습니다. 스파크는 rdd라는 개념을 사용합니다. AWS S3에 있는 parquet 데이터를 불러 올때는 아래와 같은 명령어를 통해 사용합니다. 스파크에서도 DataFrame 형식으로 데이터를 읽을 수 있습니다. 판다스의 DataFrame을 떠올리면 됩니다. %pyspark from datetime import datetime raw = sqlContext.read.format("parquet").load("s3://spotify-data-artist/top-tracks/dt=2020-03-18/top-tracks.parquet") # 일자별로 들어오게 할 경우 # ..
Data Science/Data Analysis
2020. 3. 19. 10:57