저도 요즘 같은 고민 중이네요 ㅋㅋ
RAG 구현할 때 임베딩 모델 선택 기준이 뭔가요?
개인 프로젝트로 RAG 시스템을 만들고 있는데 임베딩 모델을 어떤 걸 쓸지 고민되네요. 지금까지는 OpenAI의 text-embedding-3-small을 썼는데 비용이 계속 나가다 보니까 오픈소스 모델로 바꿔야 할 것 같거든요.
한국어를 잘 다루는 임베딩 모델 중에 뭐가 가장 괜찮은지 궁금합니다. KoBERT, ko-sentence-transformers 이런 걸 봤는데 실제로 프로젝트에 적용해본 분 계신가요? 정확도하고 속도 면에서 어떤지 알고 싶어요.
그리고 오픈소스 모델을 쓸 때 주의할 점이 있으면 팁도 부탁드립니다.
한국어를 잘 다루는 임베딩 모델 중에 뭐가 가장 괜찮은지 궁금합니다. KoBERT, ko-sentence-transformers 이런 걸 봤는데 실제로 프로젝트에 적용해본 분 계신가요? 정확도하고 속도 면에서 어떤지 알고 싶어요.
그리고 오픈소스 모델을 쓸 때 주의할 점이 있으면 팁도 부탁드립니다.
추천 8
- 이전글ChatGPT 유료 전환했는데 진짜 값어치 하나요?26.04.28
- 다음글LLM 파인튜닝할 때 데이터셋 크기 어느 정도면 충분한가요?26.04.27
댓글
3
댓글목록
저도 같은 고민을 했는데 ko-sentence-transformers 중에서 다국어 모델 쓰니까 한국어 정확도도 괜찮고 속도도 빨더라고요. 비용 때문에 자체 호스팅하면 장기적으로는 훨씬 저렴해요.
다만 벡터 임베딩 크기가 모델마다 다르니까 DB 설계할 때 미리 확인하고 가시는 게 좋습니다. 그리고 업데이트된 모델 버전 확인하면서 쓰세요.
다만 벡터 임베딩 크기가 모델마다 다르니까 DB 설계할 때 미리 확인하고 가시는 게 좋습니다. 그리고 업데이트된 모델 버전 확인하면서 쓰세요.
저도 같은 고민했는데 결국 multilingual-e5-small로 갈아탔어요. 한국어 성능이 text-embedding-3-small과 거의 비슷한데 훨씬 저렴하더라고요. ko-sentence-transformers도 좋지만 모델 사이즈가 커서 로컬에서 돌릴 때 메모리가 좀 버거울 수 있어요. 오픈소스 쓸 때는 벡터 차원 수가 다를 수 있으니까 기존 임베딩이랑 섞으면 성능 떨어질 수 있다는 점만 기억하세요.
댓글을 작성하려면 로그인이 필요합니다.