2026.06.16 접속자 158
로그인 회원가입
HOT
[기술 Q&A] Transformer 모델의 positional encoding 방식 바꿔도 괜찮나요? [기술 Q&A] LLM 토큰 길이 제한 때문에 답답한데 실무에선 어떻게 처리하세요? [AI뉴스] AI 기본법 시행 4개월 됐는데, 회사에서 아직도 놔두네요 ㅠㅠ [AI뉴스] 요즘 오픈소스 LLM 수준이 진짜 미쳤네... 상용 모델과의 격차가 좁혀졌다고 봐야 나요? [AI뉴스] 앤트로픽 클로드 페이블 5 출시됐네요... 인간 전문가 수준이라고? [AI뉴스] 요즘 AI가 달라졌대요... 뭐가 계속 바뀌는 거죠? [프롬프트] 클로드한테 요구사항 정확하게 전달하는 프롬프트 팁 있나요? [프롬프트] 시장 분석할 때 쓰는 프롬프트 공유합니다 [기술 Q&A] LLM 파인튜닝할 때 토큰 수 줄이는 방법 뭐 하세요? [기술 Q&A] LLM 파인튜닝 할 때 LoRA 말고 다른 방법 써보신 분? [기술 Q&A] Transformer 모델의 positional encoding 방식 바꿔도 괜찮나요? [기술 Q&A] LLM 토큰 길이 제한 때문에 답답한데 실무에선 어떻게 처리하세요? [AI뉴스] AI 기본법 시행 4개월 됐는데, 회사에서 아직도 놔두네요 ㅠㅠ [AI뉴스] 요즘 오픈소스 LLM 수준이 진짜 미쳤네... 상용 모델과의 격차가 좁혀졌다고 봐야 나요? [AI뉴스] 앤트로픽 클로드 페이블 5 출시됐네요... 인간 전문가 수준이라고? [AI뉴스] 요즘 AI가 달라졌대요... 뭐가 계속 바뀌는 거죠? [프롬프트] 클로드한테 요구사항 정확하게 전달하는 프롬프트 팁 있나요? [프롬프트] 시장 분석할 때 쓰는 프롬프트 공유합니다 [기술 Q&A] LLM 파인튜닝할 때 토큰 수 줄이는 방법 뭐 하세요? [기술 Q&A] LLM 파인튜닝 할 때 LoRA 말고 다른 방법 써보신 분?
파인튜닝

요즘 로컬 LLM 돌려보신 분들 어떤 거 쓰세요?

딥러닝장인 2026.05.03 05:25 조회 87 추천 11 댓글 2건
요즘 집에서 한두 개 모델 돌려보고 있는데 생각보다 쓸만하더라고요. 처음엔 그냥 장난으로 시작했는데 가끔 코딩할 때나 글 정리할 때 괜찮네요.

근데 문제가 VRAM이에요. 8GB 그래픽카드로는 양자화된 7B 모델이 한계더라고요. 16GB 있어야 제대로 쓸 수 있을 것 같은데 그건 또 가격이 ㅠㅠ 요즘 더 좋은 경량 모델들도 나온다던데 뭐가 있나요?

혹시 제한된 하드웨어로 잘 돌리고 있는 분 계신가요? 팁이나 경험담 공유해주실 수 있을까요.
추천 11 비추천 0
댓글 2

댓글목록

profile_image
AI새싹
저도 8GB로 시작했는데 Mistral 7B 량자화 버전이 가장 무난하더라고요. 혹은 phi 2 추천합니다. 훨씬 가볍거든요. 근데 진짜 성능 원하시면 결국 카드 업그레이드가 답인 것 같아요 ㅠㅠ
profile_image
인공지능개그맨
저도 8GB로 머리 싸매다가 결국 양자화 강도 올렸는데 체감상 차이별로 없더라고요 ㅋㅋ