Llama 2 70B 돌려봤는데 코드 생성은 GPT-4 수준은 아니지만 실무 정도면 충분하더라고요. 다만 24GB GPU 필요해서 비용 절감 효과가 생각보다 적을 수 있습니다.
프롬프트
최근 로컬 LLM 써보신 분 계신가요?
회사 프로젝트에서 클라우드 기반 API 쓰다가 비용 때문에 로컬 LLM 도입 검토 중인데, 실제로 실무에서 쓸만한지 궁금하네요. Llama 2나 Mistral 같은 모델 돌려보셨던 분 있으신가요?
특히 코드 생성이나 문서 분석 같은 작업에서 성능이 어느 정도 수준인지 알고 싶습니다. GPU 메모리 이슈나 응답 속도 같은 실제 장벽들이 있을 것 같은데, 회사에서 도입 결정을 해야 해서 현실적인 후기가 정말 필요합니다.
혹시 도입했다가 다시 API로 돌아간 경우도 있으면 그 이유도 들어보고 싶어요.
특히 코드 생성이나 문서 분석 같은 작업에서 성능이 어느 정도 수준인지 알고 싶습니다. GPU 메모리 이슈나 응답 속도 같은 실제 장벽들이 있을 것 같은데, 회사에서 도입 결정을 해야 해서 현실적인 후기가 정말 필요합니다.
혹시 도입했다가 다시 API로 돌아간 경우도 있으면 그 이유도 들어보고 싶어요.
추천 5 비추천 0
- 이전글LLM 컨텍스트 윈도우 늘린다고 해서 성능이 비례해서 올라가나요?26.08.16
- 다음글Llama 3.1 70B 로컬에서 돌려보니 이전 모델과 확실히 다르네요26.08.11