[Spotify Data Analysis/스포티파이 데이터 분석] 파이썬 AWS S3 연결 boto3 (4)

 

AWS 로그인 후 S3 서비스를 생성합니다.

 

버킷을 만듭니다.

 

 

 

 

 

s3 가 생성이 완료가 됫으면 파이썬 코드를 작성하는데

 

1) 우선, boto3를 pip install을 통해 인스톨 한다

2) 인스톨 후 아래와 같이 DataFrame 형식을 변경 후 to_parquet을 통해서 해당 parquet 형식으로 전달해서 s3에 아래와 같이 저장한다.

 

import boto3

# 중략...

# top_tracks = [{'id': ['ssa'], 'artist_id': 'axs'},....{'id':['sdfz'], 'artist_id':'sf}]
# 위와 같은 리스트 안에 딕셔너리가 존재하는 형식으로 DataFrame을 생성

df_top_tracks = pd.DataFrame(top_tracks)
df_top_tracks.to_parquet('top-tracks.parquet', engine='pyarrow', compression='snappy')

# dt: date
dt = datetime.utcnow().strftime("%Y-%m-%d")

s3 = boto3.resource('s3')
object = s3.Object('spotify-data-artist', 'top-tracks/dt={}/top-tracks.json'.format(dt))
data = open('top-tracks.parquet', 'rb')
object.put(Body=data)

 

3) 정상적으로 저장 되면 아래와 같이 폴더에 파일이 들어오게 된다.