| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
- SAP
- 자바스크립트
- Spring Framework
- Python
- sap mm
- ABAP
- 오라클 디비
- Programming
- 도커
- nodejs
- db
- 딥러닝
- Java
- 오라클
- oracle
- 자바
- SAP ABAP
- JavaScript
- IT
- Oracle DB
- 파이썬
- 노드
- SAP ERP
- Mac
- 유럽여행
- node.js
- 머신러닝
- 영어
- 비지니스영어
- docker
- Today
- Total
목록Data Science/Data Analysis (16)
JIHYUN JEONG
[Spotify Data Analysis/스포티파이 데이터 분석] Facebook(페이스북)메신저와 AWS Lambda, AWS Gateway API 연동, 파이썬 (14)
AWS Lambda 함수에 외부 패키지를 해당 in-line 에디터에서 설치할 수 없기 때문에 로컬에서 작성한 코드와 패키지들을 업로드 해서 사용 하는 방법에 대해서 알아보겠습니다. 파이썬 코드 작성 아래와 같이 작성합니다. import json import os import logging import sys import requests import pymysql sys.path.append('./libs') PAGE_TOKEN = os.environ['PAGE_TOKEN'] VERIFY_TOKEN = "verify_7942" def lambda_handler(event, context): # event['params'] only exists for HTTPS GET if 'params' in event..
[Spotify Data Analysis/스포티파이 데이터 분석] Facebook(페이스북)메신저와 AWS Lambda, AWS Gateway API 연동, 파이썬 (13)
Facebook 메신저와 AWS Gateway API, AWS Lambda 함수를 이용해 Webhook을 연결 해 보겠습니다. 우선 Facebook for Developers 사이트로 갑니다. https://developers.facebook.com/ Facebook for Developers Facebook for Developers와 사용자를 연결할 수 있는 코드 인공 지능, 비즈니스 도구, 게임, 오픈 소스, 게시, 소셜 하드웨어, 소셜 통합, 가상 현실 등 다양한 주제를 둘러보세요. Facebook의 글로벌 개발자 교육 및 연결 프로그램에 대해 알아보세요. developers.facebook.com 앱 만들기 클릭 설정으로 이동 합니다. 액세스 토큰 > 새로운 페이지 만들기 클릭 페이지 만들기 >..
[Spotify Data Analysis/스포티파이 데이터 분석] AWS MySQL top tracks의 유사도 분석 (12)
우선 related_artists 테이블 하나 만듭니다. CREATE TABLE related_artists (artist_id VARCHAR(255), y_artist VARCHAR(255), distance FLOAT, PRIMARY KEY(artist_id, y_artist)) ENGINE=InnoDB DEFAULT CHARSET=utf8; 만든 테이블에 top_tracks와 audio_features를 join 합니다. 조인한 다음 유클리드 거리를 구해서 곡의 유사도를 구분 합니다. 구분한 값들을 related_artists 테이블에 insert 합니다. 가장 유사도가 높은(유클리드 거리값이 적은) 상위 20개를 select 해봅니다. select p1.name, p2.name, p1.url, p..
[Spotify Data Analysis/스포티파이 데이터 분석] AWS Lambda(람다) 이벤트 (11)
AWS Lambda 에서는 트거리를 추가 할 수 있습니다. 트리거 추가를 눌러봅니다. 여러 트리거를 구성 할 수 있습니다. 예를 들어 CloudWatch Events/EventBridege를 선택한 후 > 새 규칙 생성 > '예약 표현식' 을 보면 rate(1 day), cronjob 형태로 트리거를 구성 할 수 있다.
[Spotify Data Analysis/스포티파이 데이터 분석] AWS Lambda(람다) 기능 (10)
이전 시간에 올렸던 파이썬 스크립트를 AWS Lambda 를 활용해서 한번 테스트를 진행해보겠습니다. AWS Lambda(람다) 테스트 이벤트 구성 선택 이벤트 이름 입력 > artist_id를 입력해줍니다. Mysql에 저장되어 있는 db에서 확인합니다. 실행 시키면 에러가 발생 했습니다. AccessDeniedException 에러네요. 해당 에러는 CloudWatch로 에러를 볼 수 있음. 에러의 원인은 실행 역할에 권한 문제입니다. 아래 'top-tracks..... 역할을 확인' 클릭 > AWS Lambda 서비스가 다른 서비스를 실행 할 때는 해당하는 role(권한)이 필요합니다. 정책 연결 선택 > dynamodb에 full access 권한을 줌. 권한을 주고 나서 다시 실행 시키면 정상적..
[Spotify Data Analysis/스포티파이 데이터 분석] AWS Lambda(람다) 필요한 패키지/라이브러리 올리기 (9)
AWS Lambda(람다) 활용법에 대해서 살펴보겠습니다. AWS Lambda > 함수 생성 합니다. 함수 생성에서 보면 3가지 옵션 중 '새로 작성' 으로 선택 '함수 이름' 은 원하는 이름 입력하고 런타임은 파이썬 3.7로 하고 '실행 역할'은 기본 Lambda 권한을 가진 새 역할 생성으로 합니다. 함수를 생성하면 환경 변수가 있는데 이건 spotify 에 사용할 client_secret, client_id 값을 넣어줍니다. '기본 설정 편집'에 들어가면 메모리와 제한 시간을 정의 할 수 있는데 메모리를 1024MB로 늘려주고, 제한 시간은 1분 정도로 설정합니다. 제한 시간은 해당 Lambda 함수가 실행 될 예상시간으로 그 시간이 넘어 갈 경우 에러로 간주합니다. AWS Lambda는 서버리스 ..