저도 비슷한 생각 해봤는데, 결국 배포 편의성 때문인 것 같아요. LoRA 어댑터만 따로 관리하면 되니까 모델 버전 관리랑 A/B 테스트가 훨씬 쉬운 거죠. Full fine-tuning은 inference 최적화 잘되면 확실히 성능도 좋지만 그만큼 운영 복잡도가 올라가더라고요.
파인튜닝
LLM 파인튜닝할 때 LoRA 쓰는 게 항상 정답인가요?
요즘 LoRA가 거의 표준처럼 되어 있는데, 실제로 프로덕션에서 쓰다 보니 의문이 좀 생기네요. 파라미터 효율은 확실히 좋은데 inference 속도는 원래 모델이랑 똑같잖아요. 그럼 병렬 처리 많이 필요한 상황에서는 full fine-tuning이 나을 수도 있지 않나 싶거든요.
물론 GPU 메모리 제약이 심한 환경이면 LoRA 일택이겠지만, 요즘 최신 모델들(Llama 3 정도)은 양자화랑 조합하면 full fine-tuning도 충분히 가능한 것 같아요. 그런데 왜 다들 LoRA만 쓰는 건지 궁금하네요.
혹시 실무에서 LoRA 말고 다른 방식 써보신 분 계신가요? 결과가 어땠는지 궁금합니다.
물론 GPU 메모리 제약이 심한 환경이면 LoRA 일택이겠지만, 요즘 최신 모델들(Llama 3 정도)은 양자화랑 조합하면 full fine-tuning도 충분히 가능한 것 같아요. 그런데 왜 다들 LoRA만 쓰는 건지 궁금하네요.
혹시 실무에서 LoRA 말고 다른 방식 써보신 분 계신가요? 결과가 어땠는지 궁금합니다.
추천 12 비추천 0
- 이전글LLM 파인튜닝할 때 토큰 길이 제한 어떻게 처리하세요?26.09.18
- 다음글Llama 3.1 405B 로컬에서 돌려봤는데 생각보다네요26.09.17
댓글
3
댓글목록
실제로 회사에서 양자화+full tuning 써봤는데 메모리는 나아도 수렴 속도가 LoRA보다 느리더라고요. LoRA는 업데이트 횟수도 적게 필요하고 롤백도 쉬워서 운영 관점에서 선호하는 것 같습니다.
저도 비슷한 고민을 했는데, 결국 LoRA 쓰는 이유가 배포 측면에서 훨씬 간단하더라고요. 여러 모델 버전 관리할 때 어댑터만 교체하면 되니까요. Full fine-tuning은 inference 최적화 면에서야 맞지만 운영 복잡도가 확 올라가는 게 문제더라고요. 양자화 조합도 물론 가능하지만 결국 trade-off 문제인 것 같습니다.
댓글을 작성하려면 로그인이 필요합니다.