요즘 LoRA가 거의 표준처럼 되어 있는데, 실제로 프로덕션에서 쓰다 보니 의문이 좀 생기네요. 파라미터 효율은 확실히 좋은데 inference 속도는 원래 모델이랑 똑같잖아요. 그럼 병렬 처리 많이 필요한 상황에서는 full fine-tuning이 나을 수도 있지 않나 싶거든요.
물론 GPU 메모리 제약이 심한 환경이면 LoRA 일택이겠지만, 요즘 최신 모델들(Llama 3 정도)은 양자화랑 조합하면 full fine-tuning도 충분히 가능한 것 같아요. 그런데 왜 다들 LoRA만 쓰는 건지 궁금하네요.