회사에서 LLM 기반 챗봇에 RAG를 적용해서 운영 중인데, 요즘 들어 검색 정확도가 자꾸 떨어지더라고요. 벡터 데이터베이스는 Pinecone 쓰고 있고, embedding 모델은 text-embedding-3-small 써서 chunk를 저장했습니다.
처음엔 괜찮았는데 시간 지나면서 점점 관련 없는 문서들이 top-k에 섞여나오는 거 같아요. 혹시 벡터 데이터베이스에 중복 데이터가 쌓여가는 건가 싶기도 하고, 아니면 embedding 모델이 부적절한 걸까요. 혹은 chunk 크기 문제일 수도 있을 것 같은데...
실제로 이런 문제 겪어보신 분 계신가요? 어떻게 해결하셨는지 궁금합니다.
추천 0 비추천 0