| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | |
| 7 | 8 | 9 | 10 | 11 | 12 | 13 |
| 14 | 15 | 16 | 17 | 18 | 19 | 20 |
| 21 | 22 | 23 | 24 | 25 | 26 | 27 |
| 28 | 29 | 30 |
Tags
- 머신러닝
- SAP ABAP
- ABAP
- SAP
- 자바
- 오라클 디비
- Programming
- docker
- 노드
- sap mm
- 영어
- node.js
- 비지니스영어
- SAP ERP
- IT
- JavaScript
- Java
- Mac
- 파이썬
- 도커
- oracle
- Oracle DB
- 오라클
- Spring Framework
- 유럽여행
- nodejs
- db
- 딥러닝
- 자바스크립트
- Python
Archives
- Today
- Total
목록제플린(zeppeline) (1)
JIHYUN JEONG
[Spotify Data Analysis/스포티파이 데이터 분석] Zeppelin을 활용한 스파크(Spark), AWS S3, SQL (7)
제플린(Zeppelin)을 활용해서 Spark의 대한 기능들을 살펴보도록 하겠습니다. 기본적인 적들은 아래와 같은 구문을 통해서 활용할 수 있습니다. 스파크는 rdd라는 개념을 사용합니다. AWS S3에 있는 parquet 데이터를 불러 올때는 아래와 같은 명령어를 통해 사용합니다. 스파크에서도 DataFrame 형식으로 데이터를 읽을 수 있습니다. 판다스의 DataFrame을 떠올리면 됩니다. %pyspark from datetime import datetime raw = sqlContext.read.format("parquet").load("s3://spotify-data-artist/top-tracks/dt=2020-03-18/top-tracks.parquet") # 일자별로 들어오게 할 경우 # ..
Data Science/Data Analysis
2020. 3. 19. 10:57