저도 비슷한 고민했는데 결국 BGE-small-ko로 갈아탔어요. 한글 처리가 확실히 낫더라고요. 비용도 1/10 수준으로 떨어져서 만족합니다. 벡터DB는 Milvus로 옮겼는데 쿼리 속도는 큰 차이 없고 운영 비용이 훨씬 싸네요. 규모가 크면 차이가 나겠지만요.
오류해결
RAG 구현할 때 임베딩 모델 선택 기준이 뭔가요?
회사에서 RAG 시스템 구축하려고 하는데 임베딩 모델을 뭘 써야 할지 고민이 생겼네요. 지금까지는 OpenAI의 text-embedding-3-small 썼는데 비용이 자꾸 올라가더라고요.
오픈소스 모델로 갈아탈 생각도 있는데 BAAI나 Upstage 모델들이 평가는 좋던데 실제로 프로덕션 환경에서 쓰시는 분들은 어떤 경험이 있으세요? 특히 한글 처리 성능이 중요한데 한국 데이터셋에 대한 성능 정보도 알려주시면 감사하겠습니다.
벡터DB도 Pinecone 썼는데 Milvus나 Qdrant로 옮기면 성능 차이 있는지도 궁금해요.
오픈소스 모델로 갈아탈 생각도 있는데 BAAI나 Upstage 모델들이 평가는 좋던데 실제로 프로덕션 환경에서 쓰시는 분들은 어떤 경험이 있으세요? 특히 한글 처리 성능이 중요한데 한국 데이터셋에 대한 성능 정보도 알려주시면 감사하겠습니다.
벡터DB도 Pinecone 썼는데 Milvus나 Qdrant로 옮기면 성능 차이 있는지도 궁금해요.
추천 13 비추천 0
- 이전글로컬 LLM 파인튜닝할 때 토크나이저 커스텀이 필요한가요?26.08.18
- 다음글LLM 파인튜닝할 때 LoRA vs Full 파인튜닝 뭐가 나으세요?26.08.10
댓글
3
댓글목록
저도 같은 고민 중이네요. text-embedding-3-small 비용 진짜 크더라고요.
저도 비슷한 상황이었는데 결국 BGE-m3를 프로덕션에 올렸어요. 한글 성능이 정말 좋더라고요. 비용 대비로는 text-embedding-3-small보다 훨씬 낫습니다. 벡터DB는 Qdrant로 바꿨는데 성능 자체는 큰 차이 없었어요. 다만 자체 호스팅하면 비용이 훨씬 절감돼서 그 점에서 이득봤습니다. Milvus는 온프레미스에서 스케일링할 때 좋은데 운영 난이도가 있더라고요.
댓글을 작성하려면 로그인이 필요합니다.