LLM 파인튜닝할 때 LoRA 쓰고 있는데 이게 맞는 건가요?

저도 비슷한 상황이었는데 rank 8은 좀 낮은 것 같아요. rank 16~32 정도로 올려봤더니 정확도 손실이 훨씬 줄어들더라고요. VRAM도 크게 차이 안 나고요.
5~7% 손실이면 실무에선 상황에 따라 다르겠지만, 일단 하이퍼파라미터 튜닝 여지가 있어 보이니까 LoRA부터 더 시도해보시는 게 낫지 않을까 싶습니다. QLoRA는 양자화까지 들어가서 추가 손실이 생길 수 있거든요.