이제 (1) 단순 검색 페이지의 크롤링을 진행해봅시다.
크롤러가 아래처럼 돌면서 상세보기의 url을 수집해줍니다.
하지만 검색 결과가 없을 때도 있습니다.
공공데이터로 등록된 상호가 폐점하거나 페이퍼 컴퍼니(?) 같은 상황일 경우 카카오 지도에서 검색이 되지 않습니다. 그래서 아래처럼 오류가 나곤 합니다. (no such element : Unable to locate element)
상세 페이지가 수집되지 않은 항목은 유령 가게일 가능성이 높으니 데이터에서 제외해도 큰 상관은 없겠죠?
(1)을 통해 수집한 (2) 상세 페이지 url을 다시 2개의 크롤러가 돌면서, 블로그 리뷰와 별점 데이터 등을 수집해 줍시다.
별점, 리뷰가 없는 경우 위처럼 에러 코드가 뜨고 그 식당은 무시한채 계속 크롤링을 진행합니다.
이를 바탕으로, 아래처럼 네이버 지도의 리뷰를 크롤링할 수 있습니다.
