전체 프로세스는 다음과 같습니다.
사용자가 동일하거나 비슷한 질문을 반복할 수 있습니다.
따라서, 매번 RAG를 수행하는 것은 시간과 비용 측면에서 바람직하지 않습니다.
캐시를 활용하면 불필요한 리소스 낭비를 최소화 할 것으로 판단했습니다.
Step 1) 사용자의 질문(쿼리)을 임베딩한다.
Step 2) Vector DB에서 사용자의 쿼리와 의미적으로 가장 유사한 쿼리를 추출한다. (Semantic search)
Step 3) 쿼리 유사도가 일정 수준 이상일 때, 캐시가 적중한 것이다. 그 반대의 경우는 캐시 미스로 간주한다.
Step 4) 캐시가 적중한 경우, 사용자에게 캐시에 저장된 답변을 제공한다. 캐시 미스인 경우, RAG Agent를 호출한다.