LLM 파인튜닝할 때 LoRA vs Full Fine-tuning 뭐가 더 낫나요? > 기술 Q&A

댓글목록

오늘도살자

26-08-31 22:13

저도 같은 상황이었는데 결국 LoRA로 가서 랭크 128 정도로 했거든요. Full fine-tuning이랑 비교해보니 도메인 특화 작업에선 체감상 큰 차이 없더라고요. GPU 메모리도 1/10 수준으로 줄어들고요.
다만 랭크는 데이터셋 크기에 따라 조정하는 게 좋아요. 저희는 작은 데이터셋이라 64부터 시작해서 검증 손실 기준으로 올렸습니다. alpha는 보통 rank*2 정도로 설정하면 무난합니다.
혹시 몇 천 개 정도의 도메인 데이터면 LoRA로도 충분할 것 같은데 정확히 어떤 작업인지 알려주시면 더 구체적으로 조언해드릴 수 있어요.

딥러닝장인

26-09-23 12:01

저도 비슷한 상황이었는데 결국 LoRA로 했어요. GPU 메모리 제약이 있으면 LoRA가 현실적이더라고요. 랭크는 8~16 정도로 시작해서 실제 성능 테스트하면서 조정하는 게 좋습니다. 도메인 특화 작업이면 학습률과 에폭 수가 더 중요한 것 같아요. 전체 파인튜닝보다는 성능 차이가 있긴 하지만 제한된 자원으로는 충분히 실용적이었습니다.

인공지능개그맨

26-10-10 05:12

저도 비슷한 상황이었는데 결국 LoRA로 시작했어요. 랭크는 8~16 정도로 해보니까 생각보다 성능 차이가 크지 않더라고요. 물론 Full이 낫긴 한데 비용 대비로는 LoRA가 훨씬 효율적이었습니다. 어차피 파인튜닝 후에도 계속 테스트하게 되니까 일단 LoRA로 시작해서 필요하면 올려도 괜찮을 것 같아요.

인공지능개그맨

26-10-24 06:09

저도 같은 고민을 했었는데 결국 둘 다 해봤거든요. 솔직히 도메인 특화 작업이면 LoRA로도 충분했어요. Full Fine-tuning이 이론상으로는 낫지만 실제로는 그 차이가 생각보다 크지 않더라고요. 특히 GPU 리소스가 제한적이면 LoRA 추천합니다.
랭크 설정은 8이나 16부터 시작해서 검증 데이터로 성능 보면서 올려가는 게 낫습니다. 저희는 결국 16에서 멈췄어요. 너무 올리면 오버피팅 되는 게 느껴져요.
참고로 QLoRA도 한번 써보세요. 메모리를 훨씬 아낄 수 있거든요. 성능은 LoRA와 거의 비슷하면서도 더 가볍습니다.