요즘 개인 프로젝트로 오픈소스 모델 파인튜닝을 해보려고 하는데 LoRA와 QLoRA 중에 뭘 선택해야 할지 고민이네요. 튜토리얼 따라하다 보니 둘 다 많이 나오는데 정확한 차이가 뭔지 잘 모르겠어요.
제 상황은 이래요. 개인 노트북에 RTX 4060 달려있고, 7B 정도 규모의 모델(Mistral, Llama2)을 domain-specific하게 파인튜닝하려고 합니다. 데이터셋은 제 분야 논문과 기술 문서 몇 백 개 정도라서 그리 크지 않은 편이에요. 처음엔 LoRA로 시작하려다가 VRAM 부족할까봐 QLoRA를 알아보기 시작했거든요.
찾아본 바로는 LoRA는 가중치 업데이트에 저랭크 분해를 쓰는 거고, QLoRA는 여기에 양자화까지 더한 건데, 정확히 메모리 절감이 얼마나 되는지 몰라서요. LoRA는 메모리 얼마나 필요하고, QLoRA는 또 얼마나 필요한지 대충이라도 아시는 분 계세요? 그리고 성능 차이도 궁금합니다. QLoRA가 일반적으로 LoRA보다 덜 좋은 결과를 주는 건지, 아니면 메모리만 절감되고 성능은 비슷한 건지요.
또 하나 궁금한 게 있는데, 작은 모델을 LoRA로 파인튜닝하는 것과 큰 모델을 QLoRA로 파인튜닝하는 것 중에 뭐가 더 좋을까요? 같은 VRAM 예산으로라면요. 제 하드웨어로는 7B 모델이 현실적인데 혹시 13B나 30B 같은 더 큰 모델을 QLoRA로 파인튜닝할 수 있을까 싶기도 해요.
빠른 기술 진전 때문에 판단이 어려워요. 혹시 최근에 둘 다 써본 경험이 있으신 분 있으면 팁 좀 나눠주세요. 특히 개인 프로젝트 규모에서 실제로 어떻게 결과가 나왔는지 궁금합니다.