회사 프로젝트에서 클라우드 기반 API 쓰다가 비용 때문에 로컬 LLM 도입 검토 중인데, 실제로 실무에서 쓸만한지 궁금하네요. Llama 2나 Mistral 같은 모델 돌려보셨던 분 있으신가요?
특히 코드 생성이나 문서 분석 같은 작업에서 성능이 어느 정도 수준인지 알고 싶습니다. GPU 메모리 이슈나 응답 속도 같은 실제 장벽들이 있을 것 같은데, 회사에서 도입 결정을 해야 해서 현실적인 후기가 정말 필요합니다.
혹시 도입했다가 다시 API로 돌아간 경우도 있으면 그 이유도 들어보고 싶어요.
추천 0 비추천 0