회사 프로젝트에서 API 기반 LLM 대신 로컬에서 돌릴 수 있는 오픈소스 모델로 RAG 시스템을 만들어야 하는데, 어떤 조합으로 가면 좋을지 조언 부탁드려요.
지금 Llama 2나 Mistral 같은 모델들이 많은데 실제로 업무용으로 써봤을 때 응답 품질이 어느 정도인지 궁금합니다. 특히 한국어 처리 부분에서 괜찮은 모델 있으면 알려주세요. 요즘 뭐가 가성비 좋은지 모르겠네요 ㅠㅠ
벡터 DB는 Pinecone 말고 로컬로 쓸 수 있는 거 찾고 있거든요. 혹시 프로덕션 환경에서 써본 경험 있으신 분들의 의견 들으면 도움이 될 것 같습니다.
추천 9 비추천 0