| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
- 노드
- 머신러닝
- SAP
- IT
- 유럽여행
- 오라클 디비
- docker
- Programming
- sap mm
- nodejs
- SAP ERP
- JavaScript
- 영어
- Spring Framework
- Oracle DB
- SAP ABAP
- Mac
- 파이썬
- db
- ABAP
- 자바
- 도커
- 자바스크립트
- 비지니스영어
- 오라클
- Java
- 딥러닝
- Python
- node.js
- oracle
- Today
- Total
목록Data Science/Data Analysis (16)
JIHYUN JEONG
[Spotify Data Analysis/스포티파이 데이터 분석] AWS EC2 cronjob(크론잡) 설정 (8)
AWS EC2 를 활용해 cronjob(크론잡)을 설정 해 보겠습니다. 인스턴스 개수 1개, 나머지는 특별히 설정해줄게 없으므로 다음으로 넘어갑니다. 키페어에서 우리가 썻었던 키페어를 선택하고 런치합니다. 인스턴스 시작을 누르면 인스턴스가 생성됩니다. 인스턴스가 running 될 떄 까지 몇초 걸립니다. running 상태로 되었으면 이제 퍼블릭 DNS 주소를 통해 바로 EC2 서버에 접속해보겠습니다. 터미널로 가서 아래 명령어를 통해서 접속합니다. 명령어를 실행 시킬 때 pem 파일이 들어가 있는 폴더에서 실행시켜야 합니다. ssh -i pem파일 ec2-user@퍼블릭DNS ssh -i spotify.pem ec2-user@ec2-1-21-17.ap-northeast-2.compute.amazonaw..
[Spotify Data Analysis/스포티파이 데이터 분석] Zeppelin을 활용한 스파크(Spark), AWS S3, SQL (7)
제플린(Zeppelin)을 활용해서 Spark의 대한 기능들을 살펴보도록 하겠습니다. 기본적인 적들은 아래와 같은 구문을 통해서 활용할 수 있습니다. 스파크는 rdd라는 개념을 사용합니다. AWS S3에 있는 parquet 데이터를 불러 올때는 아래와 같은 명령어를 통해 사용합니다. 스파크에서도 DataFrame 형식으로 데이터를 읽을 수 있습니다. 판다스의 DataFrame을 떠올리면 됩니다. %pyspark from datetime import datetime raw = sqlContext.read.format("parquet").load("s3://spotify-data-artist/top-tracks/dt=2020-03-18/top-tracks.parquet") # 일자별로 들어오게 할 경우 # ..
[AWS/Zeppelin] 제플린 a.net.ConnectException: Connection refused (Connection refused) 에러 해결하기
java.net.ConnectException: Connection refused (Connection refused) at java.net.PlainSocketImpl.socketConnect(Native Method) at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350) at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206) at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188) at java.net.SocksSocketImpl.c..
[Spotify Data Analysis/스포티파이 데이터 분석] AWS EMR, Zeppelin, FoxyProxy, EC2 설정 (6)
1. 클러스터를 생성합니다. 2. 임의의 클러스터 이름을 입력하고, 애플리케이션을 Spark로 지정합니다. 하드웨어 구성 > 인스턴스 유형은 c4.large로 설정 하겠습니다. 3. EC2 키 페어가 필요합니다. 'EC2 키 페어를 생성하는 방법을 알아보십시오' 선택 4. Amazon EC2 콘솔로 이동 클릭. 5. 네트워크 및 보안 > 키 페어 > 6. 키페어 생성 > 이름은 임의로 입력 > 키 페어 생성 > pem 파일을 다운로드 합니다. 7. 다음 아래 명령어를 입력합니다. pem 파일을 다운 받은 경로로 이동합니다. 8. 정상적으로 적용되면아래와 같이 EC2 키 페어에서 확인 할 수 있습니다. 그 다음 클러스터 생성을 합니다. 9. 프로비저닝 하는데 시간이 조금 걸립니다. 기다리겠습니다. 10. ..
[Spotify Data Analysis/스포티파이 데이터 분석] AWS Athena 테이블 만들기(5)
AWS Athena는 Presto 기반으로 한 빅데이터 분석 도구입니다. AWS S3에 쌓여 있는 log에 바로 query를 실행 할 수 있다는게 가장 큰 장점중에 하나이다. https://ko.wikipedia.org/wiki/%ED%94%84%EB%A0%88%EC%8A%A4%ED%86%A0_(SQL_%EC%A7%88%EC%9D%98_%EC%97%94%EC%A7%84) 프레스토 (SQL 질의 엔진) - 위키백과, 우리 모두의 백과사전 위키백과, 우리 모두의 백과사전. 프레스토(Presto)는 페이스북이 개발한 빅 데이터 분석도구로, 분산된 SQL 쿼리 엔진이다. 기존 분석도구인 하이브/맵리듀스에 비해 CPU 효율성과 대기 시간이 10배 빠르다고 발표했다. '최소 비용으로 효율적인 컴퓨팅 인프라를 구축'..
[Spotify Data Analysis/스포티파이 데이터 분석] 파이썬 AWS S3 연결 boto3 (4)
AWS 로그인 후 S3 서비스를 생성합니다. 버킷을 만듭니다. s3 가 생성이 완료가 됫으면 파이썬 코드를 작성하는데 1) 우선, boto3를 pip install을 통해 인스톨 한다 2) 인스톨 후 아래와 같이 DataFrame 형식을 변경 후 to_parquet을 통해서 해당 parquet 형식으로 전달해서 s3에 아래와 같이 저장한다. import boto3 # 중략... # top_tracks = [{'id': ['ssa'], 'artist_id': 'axs'},....{'id':['sdfz'], 'artist_id':'sf}] # 위와 같은 리스트 안에 딕셔너리가 존재하는 형식으로 DataFrame을 생성 df_top_tracks = pd.DataFrame(top_tracks) df_top_tr..