Llama 2 70B 돌려봤는데 코드 생성은 GPT-4 수준은 아니지만 실무 정도면 충분하더라고요. 다만 24GB GPU 필요해서 비용 절감 효과가 생각보다 적을 수 있습니다.
프롬프트
최근 로컬 LLM 써보신 분 계신가요?
회사 프로젝트에서 클라우드 기반 API 쓰다가 비용 때문에 로컬 LLM 도입 검토 중인데, 실제로 실무에서 쓸만한지 궁금하네요. Llama 2나 Mistral 같은 모델 돌려보셨던 분 있으신가요?
특히 코드 생성이나 문서 분석 같은 작업에서 성능이 어느 정도 수준인지 알고 싶습니다. GPU 메모리 이슈나 응답 속도 같은 실제 장벽들이 있을 것 같은데, 회사에서 도입 결정을 해야 해서 현실적인 후기가 정말 필요합니다.
혹시 도입했다가 다시 API로 돌아간 경우도 있으면 그 이유도 들어보고 싶어요.
특히 코드 생성이나 문서 분석 같은 작업에서 성능이 어느 정도 수준인지 알고 싶습니다. GPU 메모리 이슈나 응답 속도 같은 실제 장벽들이 있을 것 같은데, 회사에서 도입 결정을 해야 해서 현실적인 후기가 정말 필요합니다.
혹시 도입했다가 다시 API로 돌아간 경우도 있으면 그 이유도 들어보고 싶어요.
추천 11 비추천 0
- 이전글LLM 컨텍스트 윈도우 늘린다고 해서 성능이 비례해서 올라가나요?26.08.16
- 다음글Llama 3.1 70B 로컬에서 돌려보니 이전 모델과 확실히 다르네요26.08.11
댓글
2
댓글목록
Mistral 7B 돌려봤는데 문서 분석은 꽤 괜찮더라고요. 근데 코드 생성은 API 모델들이 훨씬 낫긴 합니다. 응답 속도는 GPU 스펙에 따라 달라지는데 RTX 4090 수준이면 체감상 괜찮은 편이에요. 다만 운영 비용 대비 성능을 생각하면 소규모 프로젝트가 아니면 API가 더 낫다는 게 중론인 것 같습니다.
댓글을 작성하려면 로그인이 필요합니다.