0. 강의 소개

단어기반 문서 검색.

먼저 문서 검색 (Passage retrieval)이란 어떤 문제인지에 대해 알아본 후, 문서 검색을 하는 방법에 대해 알아보겠습니다. 문서 검색을 하기 위해서는 문서를 embedding의 형태로 변환해 줘야 하는데, 이를 passage embedding 이라고 합니다.

이번 강의에서는 passage embedding이 무엇인지 알아보는 동시에, 단어 기반으로 만들어진 passage embedding인 sparse embedding, 그 중에서도 자주 쓰이는 TF-IDF에 대해 알아볼 예정입니다.

• Further Reading

1. Introduction to Passage Retrieval

1-1. Passage Retrieval

• 개론 : 질문(Query) 에 맞는 문서(passage)를 찾는 것

1-2. Passage Retrieval with MRC

• Open-domain QA : 대규모의 문서 중에서 질문에 대한 답 찾기

  

  • Passage Retrieval + MRC 의 2 step으로 만들 수 있다.

1-3. Overview of Passage Retrieval

• Query(질문) 과 Passage 를 임베딩한 뒤 유사도로 랭킹을 매기고, 유사도가 가장 높은 Passage를 선택한다. → Retrieved passage

2. Passage Embedding and Sparse Embedding