[판다스/Pandas] 리스트(list) 내에 있는 딕셔너리(dictionary) 중복 제거

 

파이썬으로 리스트 내에 있는 딕셔너리(dictionary)의 특정 부분 값의 중복을 제거 해 보겠다.

 

Spotyfi 데이터를 불러 오던 중 top_tracks의 중복이 발생하는 것을 발견 했다. 

 

아래 보면 특정 id가 여러번 반복 되는 것을 볼 수 있다.

그래서 해결 한 방법은 아래와 같다.

 

import json

without_dup_tracks = {json.dumps(d, sort_keys=True) for d in top_tracks}
without_dup_tracks = [json.loads(t) for t in set_of_jsons]

 

 

중복된게 해결 되었다.