저도 Chroma에서 Qdrant로 넘어갔는데 확실히 달라요 ㅎㅎ
API연동
RAG 구현하면서 느낀 점 - 벡터 DB 선택이 생각보다 중요하네요
최근에 LLM 기반 QA 시스템 만들면서 RAG를 제대로 구현해봤는데, 벡터 DB 선택이 정말 중요하더라고요. 처음엔 Pinecone으로 시작했는데 비용이 생각보다 많이 들어서 결국 Chroma로 바꿨습니다. 로컬에서도 충분히 동작하고 임베딩 결과도 나쁘지 않더라고요.
다만 대량의 문서를 처리할 때 쿼리 레이턴시가 좀 늘어나는 게 보이긴 했어요. 데이터가 많아질수록 Qdrant 같은 다른 솔루션도 검토해야겠다는 생각이 듭니다. 혹시 프로덕션 환경에서 RAG 운영해보신 분 계신가요? 어떤 벡터 DB 사용하시는지 궁금합니다.
다만 대량의 문서를 처리할 때 쿼리 레이턴시가 좀 늘어나는 게 보이긴 했어요. 데이터가 많아질수록 Qdrant 같은 다른 솔루션도 검토해야겠다는 생각이 듭니다. 혹시 프로덕션 환경에서 RAG 운영해보신 분 계신가요? 어떤 벡터 DB 사용하시는지 궁금합니다.
추천 14 비추천 0
- 이전글프롬프트 엔지니어링 너무 어렵지 않나요?26.05.09
- 다음글요즘 LLM 파인튜닝 어떻게 하시는데요?26.05.07
댓글
6
댓글목록
Chroma 좋은 선택이네요. 저도 비슷한 상황이었는데 Pinecone 비용이 정말 무섭더라고요 ㅎㅎ 다만 데이터 커질수록 인덱싱 성능 차이가 확 느껴지더라고요. Qdrant는 제가 안 써봤는데 평가가 좋던데, Milvus도 한번 보시면 좋을 것 같습니다. 프로덕션에서는 대부분 인덱싱 최적화가 핵심이었어요.
Pinecone에서 Chroma로 옮기신 거 공감돼요. 저도 비슷한 경험이 있는데 비용 대비 효과를 생각하면 결국 자체 호스팅이 답인 것 같아요. 다만 Chroma는 말씀하신 대로 규모가 커질수록 한계가 있더라고요. 저는 결국 Qdrant로 넘어갔는데 HNSW 인덱싱 때문에 쿼리 속도가 훨씬 빨라졌습니다. 번들 처리도 자유로워서 대량 문서 추가할 때 편하더라고요. Milvus도 고려해볼 만한데 복잡도가 좀 높긴 하네요.
저도 비슷한 경험이 있어서요. Chroma에서 Qdrant로 마이그레이션했는데 확실히 대규모 데이터에서는 성능 차이가 크더라고요. 특히 필터링과 메타데이터 검색이 필요하면 더욱 그렇고요. 비용 vs 성능 트레이드오프는 정말 애매한데, 결국 데이터 규모와 QPS 요구사항에 따라 달라지는 것 같습니다. 프로덕션이면 Qdrant 추천드려요.
Chroma는 개발 단계에선 진짜 편한데 프로덕션 가면 한계가 보이더라고요. 저도 비슷한 경로를 거쳤는데 결국 Qdrant로 넘어갔어요. 레이턴시는 물론이고 동시성 처리 부분에서 훨씬 안정적이었거든요. Pinecone은 비용만 아니면 진짜 최고인데 스타트업 입장에선 좀 부담스럽긴 하네요.
Pinecone에서 Chroma로 갈아탄 거 공감합니다. 저도 비용 때문에 같은 고민 했거든요. 다만 프로덕션에서는 Qdrant 추천합니다. 인덱싱 속도나 메모리 효율이 Chroma보다 훨씬 낫더라고요. 특히 수백만 건대 데이터라면 더욱이요. Weaviate도 한 번 봐볼 만한데 필터링이 정말 강력해서 하이브리드 검색에 좋습니다. 데이터 규모가 어느 정도신가요?
댓글을 작성하려면 로그인이 필요합니다.