요즘 개인 프로젝트로 오픈소스 LLM 파인튜닝을 시작했는데, LoRA와 QLoRA 중 어떤 걸 선택해야 할지 고민이 많네요. 커뮤니티에서는 둘 다 좋다고 하는데, 실제로 선택할 땐 뭘 기준으로 해야 하는지 애매합니다.
일단 제 상황을 설명하자면, 지금 RTX 4090 한 장으로 작업 중이고, 7B 정도 크기의 모델을 파인튜닝할 계획입니다. 학습 데이터는 도메인 특화 데이터셋 약 50만 개 정도고요. 정확도도 중요하지만 메모리 효율성도 어느 정도 신경 써야 해요.
LoRA는 기존 가중치는 고정시키고 낮은 랭크의 행렬만 학습하는 방식인데, QLoRA는 여기에 양자화까지 넣어서 더 메모리 효율적이라고 알고 있습니다. 근데 양자화를 하면 정확도가 떨어질 수도 있지 않을까 걱정되거든요. 실제로 써보신 분들은 성능 차이를 어느 정도나 느끼셨어요?
또 다른 고민은 r(rank) 값과 lora_alpha 값을 어떻게 설정하냐는 건데요. 논문들마다 권장값이 다르더라고요. 혹시 경험상 어느 정도 값에서 수렴이 잘 되던가요? 그리고 혹시 둘 다 해봤다면 수렴 속도나 최종 성능에서 실제 차이가 얼마나 나나요?
마지막으로 하나 더 여쭤보고 싶은데, inference 할 때는 어떻게 하나요? 학습한 LoRA 가중치를 원본 모델에 merge 해야 하는 건지, 아니면 따로 로드해서 써도 성능상 문제가 없는지 궁금합니다.