저도 Ollama 쓰는데 Mistral 7B가 꽤 괜찮더라고요. VRAM 8GB면 충분히 돌아요. 다만 양자화 설정을 좀 건드려야 속도가 나오네요.
API연동
요즘 로컬 LLM 써보신 분 계신가요?
최근에 Ollama로 Llama 2 돌려봤는데 응답 속도가 생각보다 괜찮더라고요. 특히 개인 프로젝트에서 API 비용 걱정 안 해도 되는 게 장점인 것 같아요.
다만 같은 질문을 GPT-4나 Claude랑 비교하면 답변 질이 아직 좀 떨어지긴 하네요. 특히 복잡한 로직 설명할 때는 더 그렇고요. 그래도 간단한 코드 생성이나 문서 정리 같은 건 충분히 쓸 만한 수준이라고 생각합니다.
혹시 로컬 LLM 쓰면서 좋은 모델 찾으셨거나 최적화 팁이 있으시면 공유 부탁드려요. 특히 VRAM 8GB 정도에서 돌릴 수 있는 추천 모델이 있으면 더 좋겠습니다.
다만 같은 질문을 GPT-4나 Claude랑 비교하면 답변 질이 아직 좀 떨어지긴 하네요. 특히 복잡한 로직 설명할 때는 더 그렇고요. 그래도 간단한 코드 생성이나 문서 정리 같은 건 충분히 쓸 만한 수준이라고 생각합니다.
혹시 로컬 LLM 쓰면서 좋은 모델 찾으셨거나 최적화 팁이 있으시면 공유 부탁드려요. 특히 VRAM 8GB 정도에서 돌릴 수 있는 추천 모델이 있으면 더 좋겠습니다.
추천 9 비추천 0
- 이전글LLM fine-tuning 직접 해보니까 생각보다 복잡하네요26.05.25
- 다음글LLM 파인튜닝할 때 토큰 길이 제한 어떻게 처리하세요?26.05.19