요즘 프로젝트에서 RAG 도입해봤는데 생각보다 까다로운 부분이 많더라고요. 임베딩 모델을 뭘 쓸지, 청킹 전략을 어떻게 할지 정하는 것도 문제고, retrieval 성능이 답변 품질에 직결되니까 튜닝하다 보면 시간이 엄청 걸려요.
특히 임베딩 모델 선택이 중요한데 저희는 한국어 처리 때문에 오픈소스 모델들을 여러 개 테스트해봤습니다. 결국 비용 대비 효과로는 ko-sentence-transformers 정도가 낫더라고요. 상용 API는 비용도 많이 들고요.
혹시 프로덕션 환경에서 RAG 돌리고 계신 분 있으면 어떤 스택 쓰시는지 궁금해요. 특히 retrieval 성능 평가를 어떻게 하시는지요.
추천 0 비추천 0