요즘 로컬에서 작은 LLM 모델들을 미세조정해보려고 하는데 자꾸 메모리 부족 에러가 나더라고요. 제 사양은 RTX 3060인데 12GB라 충분할 줄 알았는데 생각보다 버거운 것 같습니다.
지금까지 시도한 건 배치 사이즈를 줄이고, gradient accumulation도 적용해봤는데 7B 모델도 잘 안 되네요. 혹시 이 정도 사양에서 학습하려면 모델을 더 작은 걸로 가야 하는 건가요, 아니면 다른 방법이 있을까요?
요즘 4bit 양자화라는 게 있다고 들었는데, 그걸 쓰면 실제로 도움이 많이 되나요? 어차피 학습 때 성능 손실이 있을 것 같은데 써볼 만한 건지 궁금합니다. 또 LoRA 같은 방식도 있다고 하던데 이게 뭐 하는 건지 좀 알려주실 분 있으신가요?
정확히는 Hugging Face의 transformers 라이브러리로 작업 중이고, 학습 프레임워크는 PyTorch 쓰고 있습니다. 혹시 특정 라이브러리나 설정이 있으면 추천해주세요. 검색해보니 bitsandbytes나 peft 같은 게 나오던데 실제로 이런 걸 써야 하나요?
찾아본 자료도 있지만 실제 해본 분들의 후기가 궁금해서요. 시간이 오래 걸리더라도 일단 작동하는 방법이 제일 중요해서 조언 부탁드립니다.