12GB면 QLoRA로 충분히 가능해요. 저도 RTX 3060으로 7B 모델 파인튜닝 해봤는데 잘 돌아가더라고요. batch size만 작게 해서 하면 될 거예요.
LLM 파인튜닝하려고 하는데 GPU 메모리 부족해도 될까요?
요즘 로컬에서 오픈소스 LLM 가지고 놀아보려고 하는데, 제 GPU가 12GB라서 좀 걱정돼요. 대부분의 튜토리얼에서는 24GB 이상이 필요하다고 하더라고요.
LoRA나 QLoRA 같은 거 쓰면 메모리를 줄일 수 있다는 건 알겠는데, 실제로 12GB로도 제대로 된 파인튜닝이 가능한지 궁금해요. 혹시 해보신 분 계신가요? 혹은 다른 방법이 있으면 알려주세요.
LoRA나 QLoRA 같은 거 쓰면 메모리를 줄일 수 있다는 건 알겠는데, 실제로 12GB로도 제대로 된 파인튜닝이 가능한지 궁금해요. 혹시 해보신 분 계신가요? 혹은 다른 방법이 있으면 알려주세요.
추천 6
- 이전글LLM 파인튜닝 할 때 데이터 양이 정말 중요한가요?26.08.03
- 다음글이미지 생성 AI로 포트폴리오 만들어봤는데 괜찮을까요?26.08.02