LLM 파인튜닝할 때 LoRA 말고 다른 방법 써보신 분 있나요?

QLoRA 써봤는데 메모리는 확실히 덜 쓰면서도 LoRA보다 수렴이 더 잘 되더라고요. 70B면 충분히 돌릴 수 있을 거 같은데 한번 시도해볼 만할 것 같습니다.
다만 eval 지표가 안 나온 건 데이터셋 문제일 수도 있으니까, rank나 alpha 값 조정보다는 데이터 퀄리티나 eval 지표 자체를 다시 검토해보는 것도 도움이 될 것 같아요. LoRA로도 loss는 내려갔다고 하셨으니까요.