요즘 회사에서 자체 데이터로 모델을 조정해야 하는 프로젝트가 생겼는데, 자료를 찾다 보니 LoRA랑 Full fine-tuning이라는 게 자꾸 나오네요. 둘 다 파인튜닝인 것 같은데 실제로 뭐가 다른지 정확히 잘 모르겠어요.
LoRA는 파라미터 수를 줄여서 학습한다는 게 대략 이해는 되는데, 그럼 Full fine-tuning보다 성능이 떨어질 수밖에 없지 않나요? 회사 환경에선 GPU도 제한적이고 비용이 중요한데, LoRA로도 충분한지 감이 안 와서요.
혹시 실제로 둘 다 써보신 분 있으신가요? 어떤 상황에 뭘 선택하셨는지 궁금합니다. 특히 프로덕션 환경에서 어느 정도 성능이 필요한지도 조언해주시면 감사하겠습니다.
추천 1