JIHYUN JEONG

AWS Lambda 에서는 트거리를 추가 할 수 있습니다. 트리거 추가를 눌러봅니다. 여러 트리거를 구성 할 수 있습니다. 예를 들어 CloudWatch Events/EventBridege를 선택한 후 > 새 규칙 생성 > '예약 표현식' 을 보면 rate(1 day), cronjob 형태로 트리거를 구성 할 수 있다.

이전 시간에 올렸던 파이썬 스크립트를 AWS Lambda 를 활용해서 한번 테스트를 진행해보겠습니다. AWS Lambda(람다) 테스트 이벤트 구성 선택 이벤트 이름 입력 > artist_id를 입력해줍니다. Mysql에 저장되어 있는 db에서 확인합니다. 실행 시키면 에러가 발생 했습니다. AccessDeniedException 에러네요. 해당 에러는 CloudWatch로 에러를 볼 수 있음. 에러의 원인은 실행 역할에 권한 문제입니다. 아래 'top-tracks..... 역할을 확인' 클릭 > AWS Lambda 서비스가 다른 서비스를 실행 할 때는 해당하는 role(권한)이 필요합니다. 정책 연결 선택 > dynamodb에 full access 권한을 줌. 권한을 주고 나서 다시 실행 시키면 정상적..

AWS Lambda(람다) 활용법에 대해서 살펴보겠습니다. AWS Lambda > 함수 생성 합니다. 함수 생성에서 보면 3가지 옵션 중 '새로 작성' 으로 선택 '함수 이름' 은 원하는 이름 입력하고 런타임은 파이썬 3.7로 하고 '실행 역할'은 기본 Lambda 권한을 가진 새 역할 생성으로 합니다. 함수를 생성하면 환경 변수가 있는데 이건 spotify 에 사용할 client_secret, client_id 값을 넣어줍니다. '기본 설정 편집'에 들어가면 메모리와 제한 시간을 정의 할 수 있는데 메모리를 1024MB로 늘려주고, 제한 시간은 1분 정도로 설정합니다. 제한 시간은 해당 Lambda 함수가 실행 될 예상시간으로 그 시간이 넘어 갈 경우 에러로 간주합니다. AWS Lambda는 서버리스 ..

AWS EC2 를 활용해 cronjob(크론잡)을 설정 해 보겠습니다. 인스턴스 개수 1개, 나머지는 특별히 설정해줄게 없으므로 다음으로 넘어갑니다. 키페어에서 우리가 썻었던 키페어를 선택하고 런치합니다. 인스턴스 시작을 누르면 인스턴스가 생성됩니다. 인스턴스가 running 될 떄 까지 몇초 걸립니다. running 상태로 되었으면 이제 퍼블릭 DNS 주소를 통해 바로 EC2 서버에 접속해보겠습니다. 터미널로 가서 아래 명령어를 통해서 접속합니다. 명령어를 실행 시킬 때 pem 파일이 들어가 있는 폴더에서 실행시켜야 합니다. ssh -i pem파일 ec2-user@퍼블릭DNS ssh -i spotify.pem ec2-user@ec2-1-21-17.ap-northeast-2.compute.amazonaw..

제플린(Zeppelin)을 활용해서 Spark의 대한 기능들을 살펴보도록 하겠습니다. 기본적인 적들은 아래와 같은 구문을 통해서 활용할 수 있습니다. 스파크는 rdd라는 개념을 사용합니다. AWS S3에 있는 parquet 데이터를 불러 올때는 아래와 같은 명령어를 통해 사용합니다. 스파크에서도 DataFrame 형식으로 데이터를 읽을 수 있습니다. 판다스의 DataFrame을 떠올리면 됩니다. %pyspark from datetime import datetime raw = sqlContext.read.format("parquet").load("s3://spotify-data-artist/top-tracks/dt=2020-03-18/top-tracks.parquet") # 일자별로 들어오게 할 경우 # ..

java.net.ConnectException: Connection refused (Connection refused) at java.net.PlainSocketImpl.socketConnect(Native Method) at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350) at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206) at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188) at java.net.SocksSocketImpl.c..