저도 처음엔 text-embedding-3-small 썼는데 한국어는 확실히 아쉽더라고요. BM25와 벡터 검색 하이브리드가 차라리 나은 것 같아요. 실제로 둘 다 써보니 recall이 확실히 올라갔거든요.
프롬프트
RAG 시스템에서 임베딩 모델 선택하는 기준이 뭘까요?
요즘 RAG 파이프라인 구축하면서 임베딩 모델을 어떤 걸 써야 할지 고민이 생겼어요. 현재는 OpenAI의 text-embedding-3-small을 쓰고 있는데, 비용 때문에 오픈소스 모델로 바꿀까 생각 중입니다.
한국어 성능이 중요한데 BM25 같은 키워드 검색이랑 벡터 검색을 하이브리드로 쓰는 게 나을까요? 아니면 그냥 좋은 임베딩 모델 하나로 통일하는 게 낫나요. 사람마다 말이 좀 달라서요.
혹시 실제로 RAG 구축해보신 분들은 임베딩 모델 선택할 때 성능(recall) 말고 다른 고려사항도 있으셨나요? 레이턴시나 비용 이런 것들 말이에요.
한국어 성능이 중요한데 BM25 같은 키워드 검색이랑 벡터 검색을 하이브리드로 쓰는 게 나을까요? 아니면 그냥 좋은 임베딩 모델 하나로 통일하는 게 낫나요. 사람마다 말이 좀 달라서요.
혹시 실제로 RAG 구축해보신 분들은 임베딩 모델 선택할 때 성능(recall) 말고 다른 고려사항도 있으셨나요? 레이턴시나 비용 이런 것들 말이에요.
추천 10 비추천 0
- 이전글요즘 LLM 파인튜닝 정말 필요할까요?26.07.03
- 다음글LLM 파인튜닝 할 때 LoRA vs 전체 학습, 실제로 뭐가 더 효율적인가요?26.06.28