두번째 프로젝트, WhatYouWant Project (open API활용하기)
06 Sep 2018 | PROJECT whatyouwant개인 프로젝트를 정리한 것입니다.
잘못된 내용이 있다면 편하게 댓글 남겨주세요!
잘은 모르겠지만 자바스크립트를 통해 가져오는 파일의 경우 간혹 데이터가 넘어오지 않는다고 한다. 그래서 그런지
import requests
import BeautifulSoup
response = requests.get('https://swindow.naver.com/art/external/booking')
print(response.text)
>>> []
이렇게 빈 리스트만이 출력이 되는걸 볼 수 있었는데, 이러한 경우 개발자도구 > Network
에서 넘어오는 값들을 하나하나 postman을 통해 넘어오는 값을 확인해본다면 언젠가는 찾아볼 수 있다.
너무나 비효율적으로 보일 수도 있겠으나 아직까지 이 방법이 내게는 최선이었다.
전시 리스트를 가져오는 주소
postman에서 https://swindow.naver.com/art/external/booking/more
에 GET요청을 보내면 해당하는 리스트를 볼 수 있는데,
한가지 주의해서 봐야할 점은 한 요청당 10개의 게시글만 가져오는 것을 볼 수 있었고 이때 파라미터를 formdata
의 pagination
설정을 통해 원하는 페이지의 원하는 게시글들을 가져올 수 있도록 설정해주면 된다.
전시 디테일을 가져오는 주소
비교적 쉽게 찾았던 디테일 뷰
https://api.booking.naver.com/v3.0/businesses/163950/biz-items?noCache=1536210087312&isDeleted=false&isImp=true
나중에 크롤링할 때 원하는 부분을 파싱해서 가져오면 될듯
혹시나 하는 마음에 해봤던 크롤링인데 의외의 복병을 처음 마주하게 돼서 당황했지만 클리어~
참고 잔재미코딩