요즘 프로젝트에서 오픈소스 모델을 우리 도메인 데이터로 파인튜닝하려고 하는데, LoRA로 할지 전체 파라미터를 학습할지 고민이 많네요. 기술적으로는 LoRA가 메모리 효율이 좋다는 건 알겠는데, 실제로 성능 차이가 얼마나 나는지 궁금합니다.
지금까진 A100 하나로는 풀 파인튜닝이 불가능한 수준이라 LoRA 썼는데, 가끔 원하는 성능이 안 나올 때가 있거든요. 그럼 이게 LoRA의 한계인지 데이터 부족인지 판단이 안 서요.
비슷한 작업 해보신 분들 있으면 경험담 좀 공유해주세요. 특히 rank 크기나 learning rate 튜닝 팁이 있으면 도움이 될 것 같습니다.
추천 6 비추천 0