LLM Fine-tuning할 때 LoRA vs Full fine-tuning, 실무에선 뭐가 더 나으신가요?

요즘 회사에서 우리 도메인 특화 모델을 만들어야 하는데 fine-tuning 방식을 두고 고민이 생겼어요. 일반적으로는 LoRA가 메모리 효율이 좋으니까 당연히 써야 한다고 생각했는데, 실제 성능 차이가 궁금하네요.

지금까지 본 논문들을 보면 LoRA가 풀 파인튜닝 대비 95% 수준의 성능을 낸다고 하는데, 그 나머지 5%가 우리 업무에서 중요할 수도 있고 아닐 수도 있는 거라는 생각이 들어요. 특히 우리가 다루는 데이터가 좀 특수한 도메인이라서 더 신경 쓰이구요.

지금 A100 GPU 2장으로 풀 파인튜닝 돌릴 수 있는 환경이 있긴 한데, LoRA로 가면 훨씬 가볍게 실험을 많이 돌릴 수 있다는 게 메리트더라고요. 근데 최종 프로덕션은 성능이 조금이라도 낫는 게 좋지 않을까 싶고.

혹시 실무에서 이런 고민을 겪으셨던 분들 계신가요? 어떤 기준으로 결정하셨는지, 그리고 실제로 LoRA로 충분했는지 경험담을 들려주면 정말 고마울 것 같습니다. 데이터셋 사이즈나 모델 크기에 따라 달라질 수도 있으니까 그런 상황들도 함께 알려주시면 베스트겠네요.