LLM Fine-tuning할 때 LoRA vs Full parameter, 실제로 성능 차이 많이 나나요?

요즘 자사 도메인 데이터로 LLM을 튜닝해야 하는 상황인데, LoRA로 할지 풀 파라미터로 할지 고민 중이에요. 일반적으로 LoRA가 리소스 효율적이라고는 하는데, 실제 프로젝트에서 적용해본 분들의 의견이 궁금합니다.

지금 저희 팀은 A100 GPU 2장 정도로만 작업할 수 있는 상황이라 LoRA가 더 현실적이긴 한데, 성능 손실이 우려돼요. 특히 우리 도메인은 기존 LLM이 제대로 학습하지 못한 특수 용어나 표현이 많거든요. 그런 경우에도 LoRA면 충분할까요?

요즘 LoRA rank를 높이는 식으로 개선하는 방법도 많이 보이던데, 실제로 r=128 정도면 되나요 아니면 더 필요한가요. 그리고 alpha 값 설정도 조정해봐야 하는 건지 궁금하네요.

혹시 비슷한 도메인 스페셜라이제이션을 위해 LoRA로 작업하신 분 계신가요. 어느 정도 성능이 나왔는지, 혹은 결국 풀 파라미터로 갈아탄 이유가 있는지 공유해주실 수 있을까요. 구체적인 수치나 모델 정보까지 있으면 더 좋지만, 경험담만이라도 도움이 될 것 같습니다.

참고로 저희는 Llama 2 기반으로 생각 중이고, HuggingFace의 PEFT 라이브러리 쓸 예정입니다.