저도 비슷한 거 겪었는데 임베딩 모델 자체 한계가 있는 것 같아요. bge는 좋긴 한데 한국어 동의어 처리가 그렇게 강하진 않더라고요. 저는 결국 쿼리 확장하고 top-k 늘려서 해결했는데, 혹시 임계값을 조금 내려보신 적 있으세요? 0.7은 좀 높은 것 같기도 하고요.
프롬프트
RAG 시스템 구축했는데 검색 정확도가 생각보다 낮네요
회사에서 자사 문서 기반으로 챗봇 만들려고 RAG 구축을 시작했는데 쉽지 않네요. 임베딩 모델로 bge-large-ko 썼고 벡터DB는 pinecone 쓰고 있거든요.
그런데 문제가 사용자 질문이 조금 다르게 들어오면 관련 문서를 못 찾아내더라고요. 특히 동의어나 표현만 조금 달라져도 유사도 스코어가 뚝 떨어진다는 게 문제예요. 혹시 다른 분들도 비슷한 경험 있으신가요? 쿼리 전처리를 더 해야 하나 싶긴 한데...
참고로 top-k는 3, 임계값은 0.7로 설정해뒀는데 이 정도가 적당한지도 모르겠습니다.
그런데 문제가 사용자 질문이 조금 다르게 들어오면 관련 문서를 못 찾아내더라고요. 특히 동의어나 표현만 조금 달라져도 유사도 스코어가 뚝 떨어진다는 게 문제예요. 혹시 다른 분들도 비슷한 경험 있으신가요? 쿼리 전처리를 더 해야 하나 싶긴 한데...
참고로 top-k는 3, 임계값은 0.7로 설정해뒀는데 이 정도가 적당한지도 모르겠습니다.
추천 10 비추천 0
- 이전글LLM 파인튜닝 할 때 어떤 프레임워크 쓰세요?26.05.21
- 다음글LLM 파인튜닝할 때 토큰 길이 제한 어떻게 처리하세요?26.05.19