LLM 파인튜닝할 때 LoRA 쓰는 게 맞나요?

최근에 우리 팀에서 특정 도메인용 작은 언어모델을 만들어야 하는 상황이 생겼는데, 파인튜닝 방식 때문에 좀 헷갈리더라고요. 지금까지는 Full Fine-tuning으로 하던 것들을 LoRA로 바꿔볼까 생각 중입니다.

찾아본 자료들을 보면 LoRA가 효율적이고 비용도 적게 든다고 하는데, 실제로 정확도나 성능에서 큰 차이가 나는지 궁금합니다. 특히 우리는 학습 데이터가 그리 많지 않은 상황(약 10만 개 정도)이라 어떤 방식이 더 적합할지 판단이 안 서요.

혹시 LoRA로 파인튜닝해보신 분들 계신가요? 실제 프로젝트에서 써보니 어떻더라고요? 그리고 학습 데이터 크기가 작을 때는 Full Fine-tuning과 LoRA 중 뭐가 더 낫다고 생각하세요? 아니면 두 가지 다 시도해볼 만한 가치가 있을까요?

참고로 우리가 쓸 기본 모델은 Llama 2 기반이고, GPU 리소스는 그럭저럭 괜찮은 상황입니다. 성능과 비용 양쪽을 다 고려해야 하는데 의견 좀 부탁드립니다.