저도 비슷한 생각 해봤는데, 결국 배포 편의성 때문인 것 같아요. LoRA 어댑터만 따로 관리하면 되니까 모델 버전 관리랑 A/B 테스트가 훨씬 쉬운 거죠. Full fine-tuning은 inference 최적화 잘되면 확실히 성능도 좋지만 그만큼 운영 복잡도가 올라가더라고요.
파인튜닝
LLM 파인튜닝할 때 LoRA 쓰는 게 항상 정답인가요?
요즘 LoRA가 거의 표준처럼 되어 있는데, 실제로 프로덕션에서 쓰다 보니 의문이 좀 생기네요. 파라미터 효율은 확실히 좋은데 inference 속도는 원래 모델이랑 똑같잖아요. 그럼 병렬 처리 많이 필요한 상황에서는 full fine-tuning이 나을 수도 있지 않나 싶거든요.
물론 GPU 메모리 제약이 심한 환경이면 LoRA 일택이겠지만, 요즘 최신 모델들(Llama 3 정도)은 양자화랑 조합하면 full fine-tuning도 충분히 가능한 것 같아요. 그런데 왜 다들 LoRA만 쓰는 건지 궁금하네요.
혹시 실무에서 LoRA 말고 다른 방식 써보신 분 계신가요? 결과가 어땠는지 궁금합니다.
물론 GPU 메모리 제약이 심한 환경이면 LoRA 일택이겠지만, 요즘 최신 모델들(Llama 3 정도)은 양자화랑 조합하면 full fine-tuning도 충분히 가능한 것 같아요. 그런데 왜 다들 LoRA만 쓰는 건지 궁금하네요.
혹시 실무에서 LoRA 말고 다른 방식 써보신 분 계신가요? 결과가 어땠는지 궁금합니다.
추천 11 비추천 0
- 이전글LLM 파인튜닝할 때 토큰 길이 제한 어떻게 처리하세요?26.09.18
- 다음글Llama 3.1 405B 로컬에서 돌려봤는데 생각보다네요26.09.17