저도 Chroma에서 Qdrant로 넘어갔는데 확실히 달라요 ㅎㅎ
API연동
RAG 구현하면서 느낀 점 - 벡터 DB 선택이 생각보다 중요하네요
최근에 LLM 기반 QA 시스템 만들면서 RAG를 제대로 구현해봤는데, 벡터 DB 선택이 정말 중요하더라고요. 처음엔 Pinecone으로 시작했는데 비용이 생각보다 많이 들어서 결국 Chroma로 바꿨습니다. 로컬에서도 충분히 동작하고 임베딩 결과도 나쁘지 않더라고요.
다만 대량의 문서를 처리할 때 쿼리 레이턴시가 좀 늘어나는 게 보이긴 했어요. 데이터가 많아질수록 Qdrant 같은 다른 솔루션도 검토해야겠다는 생각이 듭니다. 혹시 프로덕션 환경에서 RAG 운영해보신 분 계신가요? 어떤 벡터 DB 사용하시는지 궁금합니다.
다만 대량의 문서를 처리할 때 쿼리 레이턴시가 좀 늘어나는 게 보이긴 했어요. 데이터가 많아질수록 Qdrant 같은 다른 솔루션도 검토해야겠다는 생각이 듭니다. 혹시 프로덕션 환경에서 RAG 운영해보신 분 계신가요? 어떤 벡터 DB 사용하시는지 궁금합니다.
추천 14 비추천 0
- 이전글프롬프트 엔지니어링 너무 어렵지 않나요?26.05.09
- 다음글요즘 LLM 파인튜닝 어떻게 하시는데요?26.05.07