요즘 집에서 한두 개 모델 돌려보고 있는데 생각보다 쓸만하더라고요. 처음엔 그냥 장난으로 시작했는데 가끔 코딩할 때나 글 정리할 때 괜찮네요.
근데 문제가 VRAM이에요. 8GB 그래픽카드로는 양자화된 7B 모델이 한계더라고요. 16GB 있어야 제대로 쓸 수 있을 것 같은데 그건 또 가격이 ㅠㅠ 요즘 더 좋은 경량 모델들도 나온다던데 뭐가 있나요?
혹시 제한된 하드웨어로 잘 돌리고 있는 분 계신가요? 팁이나 경험담 공유해주실 수 있을까요.
추천 0 비추천 0