벡터 검색 : Reranking 필요 이유

[AI를 활용해 작성되었습니다.]

RAG는 검색 시간을 단축 하기 위해 Approximate Nearnest Neighbor search (ANNs) 기술을 활용하는데 이대 질문과 관계 없는 문서가 검색될 수 있기 때문에 Reranking 관련 정보를 기준으로 순위를 다시 선정해야 한다

[출처] https://www.pinecone.io/learn/series/rag/rerankers/

 

🔁 Reranking의 원리

📌 1단계: 근사 검색 (ANN - Approximate Nearest Neighbor)

• IVF, HNSW, PQ 등의 인덱스는 전체 데이터 중 일부 후보 벡터만 빠르게 선택합니다.
• 이 과정에서는 정확한 유사도/거리 계산 없이, 대략적으로 "가까울 것 같은" 벡터들을 찾습니다.
• 예: IVF는 쿼리 벡터와 가까운 nprobe 개 클러스터만 보고 그 안에서 후보를 고름.

📌 2단계: Reranking (재정렬)

• 근사 검색 결과(예: Top 100 candidates)에 대해서만 정확한 거리 계산을 수행합니다.
• 일반적으로는 L2 거리 (Euclidean) 또는 Cosine 유사도 같은 정밀한 수치를 사용.
• 그 결과를 바탕으로 진짜 Top-k를 다시 선정합니다.

---

🎯 왜 필요한가?

항목근사 검색만근사 + Rerank

✅ 속도	매우 빠름	빠름
❌ 정확도	낮을 수 있음	높아짐
활용 예	rough filtering	최종 추천, 검색 결과

 

---

 

🧠 Rerank이 필요한 대표 사례

사례설명

AI 추천 시스템	사용자 유사도 기반 후보 필터링 후, 정확한 콘텐츠 추천
검색 엔진	대용량 검색 인덱스로 1차 필터 후, 정확도 높은 결과 표시
질문-응답 시스템 (RAG)	Retriever가 가져온 문서를 rerank해 최적의 답변 추출

 

---

📌 요약

항목내용

목적	근사 검색 결과를 정밀하게 다시 정렬
방법	정확한 거리 계산 후 정렬
효과	검색 품질 향상, Top-k 정확도 증가
위치	후처리 단계에서 실행됨

 

공감버튼이 큰 힘이 됩니다.