저도 LoRA에서 DoRA로 넘어갔는데 수렴이 좀 더 빠르더라고요. 다만 inference 속도는 크게 차이 안 나는 것 같아요. QLoRA는 양자화 오버헤드가 있어서 실제론 LoRA가 더 빠를 수도 있습니다.
프롬프트
LLM 파인튜닝할 때 QLoRA 말고 다른 방법 써보신 분?
최근에 제한된 리소스로 LLM 파인튜닝을 해야 하는데 계속 QLoRA만 쓰다 보니까 다른 방법들이 궁금하네요. LoRA, DoRA, 아니면 adapter 기반 방법들까지 여러 가지가 있다는 건 아는데 실제로 프로덕션 환경에서 뭘 쓰시는지 궁금합니다.
특히 inference 속도나 모델 크기 측면에서 트레이드오프가 어떻게 다른지, 그리고 각 방법마다 수렴 속도나 최종 성능에 큰 차이가 있는지 궁금해요. QLoRA가 가장 메모리 효율적이긴 한데 혹시 더 나은 대안이 있으면 좋을 것 같아요.
현업에서 써보신 경험 있으신 분들 의견 부탁드립니다.
특히 inference 속도나 모델 크기 측면에서 트레이드오프가 어떻게 다른지, 그리고 각 방법마다 수렴 속도나 최종 성능에 큰 차이가 있는지 궁금해요. QLoRA가 가장 메모리 효율적이긴 한데 혹시 더 나은 대안이 있으면 좋을 것 같아요.
현업에서 써보신 경험 있으신 분들 의견 부탁드립니다.
추천 5 비추천 0
- 이전글로컬 LLM 돌려봤는데 실제로는 별로네요26.09.10
- 다음글토큰 길이 제한 없이 긴 문맥 처리하는 모델 어떤 거 써보셨어요?26.09.07