저도 8GB로 시작했는데 Mistral 7B 량자화 버전이 가장 무난하더라고요. 혹은 phi 2 추천합니다. 훨씬 가볍거든요. 근데 진짜 성능 원하시면 결국 카드 업그레이드가 답인 것 같아요 ㅠㅠ
파인튜닝
요즘 로컬 LLM 돌려보신 분들 어떤 거 쓰세요?
요즘 집에서 한두 개 모델 돌려보고 있는데 생각보다 쓸만하더라고요. 처음엔 그냥 장난으로 시작했는데 가끔 코딩할 때나 글 정리할 때 괜찮네요.
근데 문제가 VRAM이에요. 8GB 그래픽카드로는 양자화된 7B 모델이 한계더라고요. 16GB 있어야 제대로 쓸 수 있을 것 같은데 그건 또 가격이 ㅠㅠ 요즘 더 좋은 경량 모델들도 나온다던데 뭐가 있나요?
혹시 제한된 하드웨어로 잘 돌리고 있는 분 계신가요? 팁이나 경험담 공유해주실 수 있을까요.
근데 문제가 VRAM이에요. 8GB 그래픽카드로는 양자화된 7B 모델이 한계더라고요. 16GB 있어야 제대로 쓸 수 있을 것 같은데 그건 또 가격이 ㅠㅠ 요즘 더 좋은 경량 모델들도 나온다던데 뭐가 있나요?
혹시 제한된 하드웨어로 잘 돌리고 있는 분 계신가요? 팁이나 경험담 공유해주실 수 있을까요.
추천 14 비추천 0
- 이전글최근에 로컬 LLM 돌려보신 분 계신가요?26.05.03
- 다음글요즘 로컬 LLM 돌려보신 분들 어떤 거 쓰세요?26.05.02
댓글
4
댓글목록
저도 8GB로 머리 싸매다가 결국 양자화 강도 올렸는데 체감상 차이별로 없더라고요 ㅋㅋ
저도 8GB로 시작했는데 GGUF 양자화 모델 써보세요. Mistral 7B나 Neural Chat 정도면 꽤 잘 돌아가더라고요. ollama 쓰면 셋업도 간단하고요.
저도 8GB로 Phi나 Mistral 7B 양자화 버전 돌리고 있는데 체감상 쓸만하더라고요. 요즘 나온 Llama 2 Light 같은 경량 모델들이 생각보다 성능 좋아서 한번 시도해볼 만합니다. 아니면 ollama에서 제공하는 optimized 버전들 찾아보시면 VRAM 효율이 꽤 좋으실 거예요.
댓글을 작성하려면 로그인이 필요합니다.