Llama 2 7B 좋은 선택이네요. 저는 4비트 quantize 모델로 돌리니까 VRAM이 거의 안 먹더라고요. 응답 속도도 조금 빨라졌어요.
활용법
로컬 LLM 돌려보니 생각보다 쓸만하네요
요즘 클라우드 API 비용이 미치도록 올라가서 로컬로 돌릴 수 있는 모델들 좀 찾아봤어요. 8GB 그래픽카드에 Llama 2 7B를 Ollama로 돌려봤는데 생각보다 괜찮더라고요. 물론 GPT-4 수준은 아니지만 코드 리뷰나 문서 작성 같은 작업은 충분히 해줍니다.
다만 첫 응답까지 걸리는 시간이 조금 길긴 해요. 배치 크기를 줄이니까 좀 나아졌는데 여전히 몇 초는 걸립니다. 그리고 VRAM 관리를 제대로 안 하면 OOM이 뜨니까 그 부분만 신경 쓰면 될 것 같아요.
혹시 같은 환경에서 더 최적화된 세팅 써보신 분 계신가요? quantized 모델 추천도 받고 싶습니다.
다만 첫 응답까지 걸리는 시간이 조금 길긴 해요. 배치 크기를 줄이니까 좀 나아졌는데 여전히 몇 초는 걸립니다. 그리고 VRAM 관리를 제대로 안 하면 OOM이 뜨니까 그 부분만 신경 쓰면 될 것 같아요.
혹시 같은 환경에서 더 최적화된 세팅 써보신 분 계신가요? quantized 모델 추천도 받고 싶습니다.
추천 10 비추천 0
- 이전글LLM으로 코드 리뷰 자동화 시도했는데 생각보다 복잡하네요26.10.04
- 다음글RAG 구현할 때 chunk 크기를 어떻게 정하시나요?26.10.03
댓글
2
댓글목록
저도 비슷한 환경에서 돌리고 있는데 Mistral 7B quantized 버전이 꽤 쓸만하더라고요. Llama보다 응답 속도가 조금 더 빨라서 추천드립니다. VRAM 문제는 저도 겪었는데 gpu-memory-utilization을 0.7 정도로 낮춰보니 OOM이 덜 뜨네요. 다만 처음 응답 지연은 피할 수 없는 것 같아요 ㅎㅎ
댓글을 작성하려면 로그인이 필요합니다.