Llama 2 70B 돌려봤는데 코드 생성은 GPT-4 수준은 아니지만 실무 정도면 충분하더라고요. 다만 24GB GPU 필요해서 비용 절감 효과가 생각보다 적을 수 있습니다.
프롬프트
최근 로컬 LLM 써보신 분 계신가요?
회사 프로젝트에서 클라우드 기반 API 쓰다가 비용 때문에 로컬 LLM 도입 검토 중인데, 실제로 실무에서 쓸만한지 궁금하네요. Llama 2나 Mistral 같은 모델 돌려보셨던 분 있으신가요?
특히 코드 생성이나 문서 분석 같은 작업에서 성능이 어느 정도 수준인지 알고 싶습니다. GPU 메모리 이슈나 응답 속도 같은 실제 장벽들이 있을 것 같은데, 회사에서 도입 결정을 해야 해서 현실적인 후기가 정말 필요합니다.
혹시 도입했다가 다시 API로 돌아간 경우도 있으면 그 이유도 들어보고 싶어요.
특히 코드 생성이나 문서 분석 같은 작업에서 성능이 어느 정도 수준인지 알고 싶습니다. GPU 메모리 이슈나 응답 속도 같은 실제 장벽들이 있을 것 같은데, 회사에서 도입 결정을 해야 해서 현실적인 후기가 정말 필요합니다.
혹시 도입했다가 다시 API로 돌아간 경우도 있으면 그 이유도 들어보고 싶어요.
추천 13 비추천 0
- 이전글LLM 컨텍스트 윈도우 늘린다고 해서 성능이 비례해서 올라가나요?26.08.16
- 다음글Llama 3.1 70B 로컬에서 돌려보니 이전 모델과 확실히 다르네요26.08.11
댓글
3
댓글목록
Mistral 7B 돌려봤는데 문서 분석은 꽤 괜찮더라고요. 근데 코드 생성은 API 모델들이 훨씬 낫긴 합니다. 응답 속도는 GPU 스펙에 따라 달라지는데 RTX 4090 수준이면 체감상 괜찮은 편이에요. 다만 운영 비용 대비 성능을 생각하면 소규모 프로젝트가 아니면 API가 더 낫다는 게 중론인 것 같습니다.
Llama 2 써봤는데 코드 생성은 Claude나 GPT-4에 비하면 확실히 떨어지더라고요. 특히 복잡한 로직이나 엣지 케이스 처리할 때 자주 틀렸어요. 그래서 저희는 문서 분석이나 요약 같은 단순 작업에만 로컬로 돌리고 코드 생성은 여전히 API 쓰고 있습니다. 응답 속도도 생각보다 느리고 GPU 메모리는 정말 문제네요. 결론적으로 비용 절감 효과가 성능 저하를 상쇄할 정도로 충분한지 신중하게 판단하셔야 할 것 같습니다.
댓글을 작성하려면 로그인이 필요합니다.