LangChain에서 Rerank로 RAG 정확도 높이기
LangChain에서 Rerank로 RAG 정확도 높이기 백터 검색만으로는 관련성 높은 문서를 찾기 어려울 수 있는데 Rerank 를 이용하면 결과의 순위를 재조정하는 과정을 거쳐 더 관련성 높은 문서를 선별할수 있게 됩니다.일반적인 백터 검색은 Bi-encoder 를 사용해 질문과 문서를 각각 인코딩하나 Rerank 에서는 Cross-encoder 를 사용해 질문과 문서를 동시에 입력으로 받아 더 정확한 관련성 점수를 계산하게 됩니다.아래 예시는 BAAI/bge-reranker-large 모델을 한국어 데이터로 파인튜닝한 'Dongjin-kr/ko-reranker' 를 사용했습니다.패키지 설치pip install transformers torch numpy main.pyfrom transformers ..