최근에 LLM 기반 QA 시스템 만들면서 RAG를 제대로 구현해봤는데, 벡터 DB 선택이 정말 중요하더라고요. 처음엔 Pinecone으로 시작했는데 비용이 생각보다 많이 들어서 결국 Chroma로 바꿨습니다. 로컬에서도 충분히 동작하고 임베딩 결과도 나쁘지 않더라고요.
다만 대량의 문서를 처리할 때 쿼리 레이턴시가 좀 늘어나는 게 보이긴 했어요. 데이터가 많아질수록 Qdrant 같은 다른 솔루션도 검토해야겠다는 생각이 듭니다. 혹시 프로덕션 환경에서 RAG 운영해보신 분 계신가요? 어떤 벡터 DB 사용하시는지 궁금합니다.
추천 0 비추천 0