저도 LoRA에서 DoRA로 넘어갔는데 수렴이 좀 더 빠르더라고요. 다만 inference 속도는 크게 차이 안 나는 것 같아요. QLoRA는 양자화 오버헤드가 있어서 실제론 LoRA가 더 빠를 수도 있습니다.
프롬프트
LLM 파인튜닝할 때 QLoRA 말고 다른 방법 써보신 분?
최근에 제한된 리소스로 LLM 파인튜닝을 해야 하는데 계속 QLoRA만 쓰다 보니까 다른 방법들이 궁금하네요. LoRA, DoRA, 아니면 adapter 기반 방법들까지 여러 가지가 있다는 건 아는데 실제로 프로덕션 환경에서 뭘 쓰시는지 궁금합니다.
특히 inference 속도나 모델 크기 측면에서 트레이드오프가 어떻게 다른지, 그리고 각 방법마다 수렴 속도나 최종 성능에 큰 차이가 있는지 궁금해요. QLoRA가 가장 메모리 효율적이긴 한데 혹시 더 나은 대안이 있으면 좋을 것 같아요.
현업에서 써보신 경험 있으신 분들 의견 부탁드립니다.
특히 inference 속도나 모델 크기 측면에서 트레이드오프가 어떻게 다른지, 그리고 각 방법마다 수렴 속도나 최종 성능에 큰 차이가 있는지 궁금해요. QLoRA가 가장 메모리 효율적이긴 한데 혹시 더 나은 대안이 있으면 좋을 것 같아요.
현업에서 써보신 경험 있으신 분들 의견 부탁드립니다.
추천 12 비추천 0
- 이전글로컬 LLM 돌려봤는데 실제로는 별로네요26.09.10
- 다음글토큰 길이 제한 없이 긴 문맥 처리하는 모델 어떤 거 써보셨어요?26.09.07
댓글
4
댓글목록
저도 최근에 LoRA랑 DoRA 비교해봤는데 DoRA가 수렴 속도는 조금 느린데 최종 성능이 더 좋더라고요. 근데 inference에서 큰 차이는 없었어요. 결국 프로젝트 특성에 따라 선택하는 게 나을 것 같습니다.
저도 LoRA랑 DoRA 둘 다 써봤는데 DoRA가 수렴 속도는 조금 느리더라도 최종 성능이 더 좋더라고요. 다만 inference 오버헤드가 조금 있어서 결국 QLoRA로 돌아갔습니다. 비용이 중요하면 QLoRA가 정답인 것 같아요.
저도 최근에 DoRA 써봤는데 LoRA 대비 수렴 속도는 비슷하면서 최종 성능이 좀 더 나오더라고요. 메모리는 거의 같은 수준이고요. 다만 inference때 adapter 로드 오버헤드가 조금 있어서 실시간 서빙에는 QLoRA가 더 낫긴 한 것 같아요.
댓글을 작성하려면 로그인이 필요합니다.