LLM 파인튜닝할 때 LoRA vs QLoRA 선택 기준이 뭐예요?

저도 같은 상황이었는데 결국 QLoRA로 가서 잘 썼어요. RTX 4090이면 LoRA도 충분히 돌리겠지만, QLoRA가 메모리 여유를 확 줘서 배치 사이즈도 더 크게 할 수 있더라고요. 양자화로 인한 성능 차이는 솔직히 체감이 잘 안 됐어요. 50GB 데이터면 충분히 수렴하는 거 같고요.
rank는 저도 16부터 시작했는데, 실험해보니 32 정도에서 가장 좋더라고요. 데이터셋 크기와 모델에 따라 다르긴 한데, 처음부터 하이퍼파라미터 튜닝하기보다는 기본값에서 시작해서 조정하는 게 시간 효율이 더 좋았어요.