클라우드 API 비용이 자꾸만 올라서 로컬로 뭔가 돌려볼까 싶은데, 선택지가 너무 많더라고요. 올라마, 로마, LM 스튜디오 이런 거들 봤는데 뭘 골라야 할지 모르겠어요.
GPU 메모리도 충분하고 개인 프로젝트에 쓸 거라서 응답 속도는 좀 느려도 괜찮은데, 결국 어떤 모델이 가성비가 좋을까 궁금합니다. 요즘 Llama 3.1 같은 오픈 모델들이 퀄리티도 괜찮다고 하던데 실제로 써보니 어떻던가요?
그리고 혹시 프로덕션이라고 해야 하나, 실제 서비스처럼 돌려본 경험 있으신 분 계시면 어떤 점들이 힘들었는지 궁금하네요.
추천 12 비추천 0