🛠️ 아키텍처

최종프로젝트.jpg

🔧 기술적 의사결정

사용 기술 기술 설명
PostgreSQL 표준 SQL을 따르고 있고, 가볍게 돌아가며, 대량 데이터 처리에 용이하다. 또한 라이센스에 대한 비용 문제 없다.
Querydsl 동적인 쿼리 작성이 편리하고 문자가 아닌 코드로 쿼리를 작성함으로써, 컴파일 시점에 문법 오류에 쉽게 확인 할 수 있어서 사용을 했다.
redis 데이터 액세스 지연 시간을 줄일 수 있고 메모리를 저장하고 조회하는 것이 빠르다.
Jsoup HTML 정적 크롤링을` 하기 위해 오픈소스 JAVA 라이브러리를 사용하고 셀리니움보다 비교적 속도가 빠르다.
Selenium Jsoup으로는 불가능한 HTML 동적 크롤링을 하기 위해 사용하고 Jsoup으로 가능한 크롤링은 Jsoup으로 진행하여 처리 속도 향상을 시킨다.

📌 트러블슈팅

✔️ 크롤링 라이브러리 선택

✔️ CI/CD 적용

🔎 주요기능