저도 요즘 같은 고민 중이네요 ㅋㅋ
RAG 구현할 때 임베딩 모델 선택 기준이 뭔가요?
개인 프로젝트로 RAG 시스템을 만들고 있는데 임베딩 모델을 어떤 걸 쓸지 고민되네요. 지금까지는 OpenAI의 text-embedding-3-small을 썼는데 비용이 계속 나가다 보니까 오픈소스 모델로 바꿔야 할 것 같거든요.
한국어를 잘 다루는 임베딩 모델 중에 뭐가 가장 괜찮은지 궁금합니다. KoBERT, ko-sentence-transformers 이런 걸 봤는데 실제로 프로젝트에 적용해본 분 계신가요? 정확도하고 속도 면에서 어떤지 알고 싶어요.
그리고 오픈소스 모델을 쓸 때 주의할 점이 있으면 팁도 부탁드립니다.
한국어를 잘 다루는 임베딩 모델 중에 뭐가 가장 괜찮은지 궁금합니다. KoBERT, ko-sentence-transformers 이런 걸 봤는데 실제로 프로젝트에 적용해본 분 계신가요? 정확도하고 속도 면에서 어떤지 알고 싶어요.
그리고 오픈소스 모델을 쓸 때 주의할 점이 있으면 팁도 부탁드립니다.
추천 10
- 이전글ChatGPT 유료 전환했는데 진짜 값어치 하나요?26.04.28
- 다음글LLM 파인튜닝할 때 데이터셋 크기 어느 정도면 충분한가요?26.04.27
댓글
4
댓글목록
저도 같은 고민을 했는데 ko-sentence-transformers 중에서 다국어 모델 쓰니까 한국어 정확도도 괜찮고 속도도 빨더라고요. 비용 때문에 자체 호스팅하면 장기적으로는 훨씬 저렴해요.
다만 벡터 임베딩 크기가 모델마다 다르니까 DB 설계할 때 미리 확인하고 가시는 게 좋습니다. 그리고 업데이트된 모델 버전 확인하면서 쓰세요.
다만 벡터 임베딩 크기가 모델마다 다르니까 DB 설계할 때 미리 확인하고 가시는 게 좋습니다. 그리고 업데이트된 모델 버전 확인하면서 쓰세요.
저도 같은 고민했는데 결국 multilingual-e5-small로 갈아탔어요. 한국어 성능이 text-embedding-3-small과 거의 비슷한데 훨씬 저렴하더라고요. ko-sentence-transformers도 좋지만 모델 사이즈가 커서 로컬에서 돌릴 때 메모리가 좀 버거울 수 있어요. 오픈소스 쓸 때는 벡터 차원 수가 다를 수 있으니까 기존 임베딩이랑 섞으면 성능 떨어질 수 있다는 점만 기억하세요.
저도 비슷한 상황 겪었는데 ko-sentence-transformers 써보니 꽤 쓸만하더라고요. text-embedding-3-small 대비 정확도는 약간 떨어지지만 한국어 처리는 훨씬 낫습니다.
주의할 점은 벡터 차원이 다르다보니 기존 데이터 다시 임베딩해야 한다는 거고, 프로덕션 가면 모델 용량 생각해서 양자화 고려해보세요. 속도는 대충 비슷한 수준입니다.
주의할 점은 벡터 차원이 다르다보니 기존 데이터 다시 임베딩해야 한다는 거고, 프로덕션 가면 모델 용량 생각해서 양자화 고려해보세요. 속도는 대충 비슷한 수준입니다.
댓글을 작성하려면 로그인이 필요합니다.