최근에 프로젝트에서 오픈소스 모델을 도메인 데이터로 튜닝할 일이 생겼는데, LoRA로 할지 풀 튜닝으로 할지 고민 중입니다. 가용 GPU 메모리는 충분한 편이라 풀 튜닝이 가능은 한데, 과연 성능 차이가 의미 있을 정도로 나는지 궁금하네요.
지금까지 본 논문들은 대부분 LoRA가 거의 비슷한 수준의 성능을 낸다고 하더라고요. 근데 실제 프로덕션에서 써본 경험이 있으신 분들은 어떻게 느끼셨는지 궁금합니다. 특히 도메인 특화 작업에서 풀 튜닝의 이점이 체감되는지 알고 싶습니다.
조언해주시면 감사하겠습니다.
추천 0 비추천 0