JIHYUN JEONG

AWS Lambda 함수에 외부 패키지를 해당 in-line 에디터에서 설치할 수 없기 때문에 로컬에서 작성한 코드와 패키지들을 업로드 해서 사용 하는 방법에 대해서 알아보겠습니다. 파이썬 코드 작성 아래와 같이 작성합니다. import json import os import logging import sys import requests import pymysql sys.path.append('./libs') PAGE_TOKEN = os.environ['PAGE_TOKEN'] VERIFY_TOKEN = "verify_7942" def lambda_handler(event, context): # event['params'] only exists for HTTPS GET if 'params' in event..

제플린(Zeppelin)을 활용해서 Spark의 대한 기능들을 살펴보도록 하겠습니다. 기본적인 적들은 아래와 같은 구문을 통해서 활용할 수 있습니다. 스파크는 rdd라는 개념을 사용합니다. AWS S3에 있는 parquet 데이터를 불러 올때는 아래와 같은 명령어를 통해 사용합니다. 스파크에서도 DataFrame 형식으로 데이터를 읽을 수 있습니다. 판다스의 DataFrame을 떠올리면 됩니다. %pyspark from datetime import datetime raw = sqlContext.read.format("parquet").load("s3://spotify-data-artist/top-tracks/dt=2020-03-18/top-tracks.parquet") # 일자별로 들어오게 할 경우 # ..

AWS 로그인 후 S3 서비스를 생성합니다. 버킷을 만듭니다. s3 가 생성이 완료가 됫으면 파이썬 코드를 작성하는데 1) 우선, boto3를 pip install을 통해 인스톨 한다 2) 인스톨 후 아래와 같이 DataFrame 형식을 변경 후 to_parquet을 통해서 해당 parquet 형식으로 전달해서 s3에 아래와 같이 저장한다. import boto3 # 중략... # top_tracks = [{'id': ['ssa'], 'artist_id': 'axs'},....{'id':['sdfz'], 'artist_id':'sf}] # 위와 같은 리스트 안에 딕셔너리가 존재하는 형식으로 DataFrame을 생성 df_top_tracks = pd.DataFrame(top_tracks) df_top_tr..