저도 처음엔 text-embedding-3-small 썼는데 한국어는 확실히 아쉽더라고요. BM25와 벡터 검색 하이브리드가 차라리 나은 것 같아요. 실제로 둘 다 써보니 recall이 확실히 올라갔거든요.
프롬프트
RAG 시스템에서 임베딩 모델 선택하는 기준이 뭘까요?
요즘 RAG 파이프라인 구축하면서 임베딩 모델을 어떤 걸 써야 할지 고민이 생겼어요. 현재는 OpenAI의 text-embedding-3-small을 쓰고 있는데, 비용 때문에 오픈소스 모델로 바꿀까 생각 중입니다.
한국어 성능이 중요한데 BM25 같은 키워드 검색이랑 벡터 검색을 하이브리드로 쓰는 게 나을까요? 아니면 그냥 좋은 임베딩 모델 하나로 통일하는 게 낫나요. 사람마다 말이 좀 달라서요.
혹시 실제로 RAG 구축해보신 분들은 임베딩 모델 선택할 때 성능(recall) 말고 다른 고려사항도 있으셨나요? 레이턴시나 비용 이런 것들 말이에요.
한국어 성능이 중요한데 BM25 같은 키워드 검색이랑 벡터 검색을 하이브리드로 쓰는 게 나을까요? 아니면 그냥 좋은 임베딩 모델 하나로 통일하는 게 낫나요. 사람마다 말이 좀 달라서요.
혹시 실제로 RAG 구축해보신 분들은 임베딩 모델 선택할 때 성능(recall) 말고 다른 고려사항도 있으셨나요? 레이턴시나 비용 이런 것들 말이에요.
추천 14 비추천 0
- 이전글로컬 LLM으로 private하게 문서 분석하려는데 실용성이 어떻게 되나요?26.07.03
- 다음글LLM 파인튜닝할 때 토큰 길이 제한 어떻게 처리하세요?26.07.01
댓글
2
댓글목록
저도 같은 고민을 했는데 결국 하이브리드로 가는 게 낫더라고요. text-embedding-3-small은 비용이 확실히 부담되긴 하지만 한국어 성능이 워낙 좋거든요. 대신 BM25를 보조로 두면 검색 누락을 많이 줄일 수 있어요. 특히 정확한 용어 검색이 필요한 경우 말이에요. 오픈소스 모델(ko-sbert 같은)은 비용이 거의 없지만 실제 운영해보면 recall이 생각보다 아쉽더라고요.
댓글을 작성하려면 로그인이 필요합니다.