최근에 개인 프로젝트로 오픈소스 모델 파인튜닝을 시작했는데 LoRA와 QLoRA 중에 뭘 써야 할지 헷갈리더라고요. 일단 제 상황은 RTX 4090 한 장으로 작업해야 하는데, 메모리 효율성이 최우선이거든요.
LoRA는 원래 저랭크 어댑터를 추가해서 기존 가중치는 frozen시키고 추가된 파라미터만 학습하는 방식이잖아요. 그래도 기본 모델 로드에 필요한 메모리는 꽤 크더라고요. 반면 QLoRA는 여기서 한 발 더 나아가서 기존 모델 자체를 4비트 양자화해서 로드한 후에 LoRA를 적용하는 방식인데, 실제로 메모리 사용량이 엄청 차이 나요.
제가 최근에 두 방식 다 써봤는데 같은 7B 모델 기준으로 LoRA는 학습 중에 20GB 정도 메모리를 써서 배치사이즈를 8까지 밖에 못 올렸어요. QLoRA는 같은 조건에서 8GB 정도만 쓰면 돼서 배치사이즈를 32까지 올릴 수 있었거든요. 수렴 속도도 큰 배치사이즈가 나으니까 학습 시간도 훨씬 단축되더라고요.
다만 QLoRA는 양자화 과정에서 정보손실이 있을 수밖에 없잖아요. 그래서 학습 결과물의 퀄리티가 LoRA보다 약간 떨어질 수 있다는 게 함정이에요. 실제로 생성 결과를 비교해봤을 때 눈에 띄는 차이가 있진 않았지만 뭔가 세밀한 부분에서 약간의 차이가 있는 것 같긴 해요. 물론 작업 성격에 따라 다를 수 있겠지만요.
결국 메모리가 넉넉하면 LoRA, 타이트하면 QLoRA 쓰는 게 답인 것 같은데 혹시 제가 놓친 부분이 있으면 지적 부탁드려요. 특히 QLoRA 써보신 분들 중에 정확도 이슈로 고생하셨던 경우 있으신가요?