저도 비슷한 상황이었는데 결론은 LoRA 추천드려요. 성능 차이가 생각보다 크지 않더라고요. 특히 도메인 특화 데이터가 충분하면 LoRA로도 충분합니다. GPU 메모리도 훨씬 덜 쓰고 학습 속도도 빠르고요. Full tuning은 정말 무제한 리소스가 있을 때만 하는 것 같아요.
LLM 파인튜닝 시작하는데 LoRA랑 Full fine-tuning 뭐가 다른가요?
요즘 회사에서 자체 데이터로 모델을 조정해야 하는 프로젝트가 생겼는데, 자료를 찾다 보니 LoRA랑 Full fine-tuning이라는 게 자꾸 나오네요. 둘 다 파인튜닝인 것 같은데 실제로 뭐가 다른지 정확히 잘 모르겠어요.
LoRA는 파라미터 수를 줄여서 학습한다는 게 대략 이해는 되는데, 그럼 Full fine-tuning보다 성능이 떨어질 수밖에 없지 않나요? 회사 환경에선 GPU도 제한적이고 비용이 중요한데, LoRA로도 충분한지 감이 안 와서요.
혹시 실제로 둘 다 써보신 분 있으신가요? 어떤 상황에 뭘 선택하셨는지 궁금합니다. 특히 프로덕션 환경에서 어느 정도 성능이 필요한지도 조언해주시면 감사하겠습니다.
LoRA는 파라미터 수를 줄여서 학습한다는 게 대략 이해는 되는데, 그럼 Full fine-tuning보다 성능이 떨어질 수밖에 없지 않나요? 회사 환경에선 GPU도 제한적이고 비용이 중요한데, LoRA로도 충분한지 감이 안 와서요.
혹시 실제로 둘 다 써보신 분 있으신가요? 어떤 상황에 뭘 선택하셨는지 궁금합니다. 특히 프로덕션 환경에서 어느 정도 성능이 필요한지도 조언해주시면 감사하겠습니다.
추천 14
- 이전글이미지 생성 AI 처음 써보려는데 어디서 시작하면 좋을까요?26.05.07
- 다음글ChatGPT와 Claude 중 어느 걸 써야 할까요?26.05.06
댓글
4
댓글목록
저도 비슷한 상황이었는데 결국 LoRA로 시작했어요. GPU 메모리 5배 정도 차이 나더라고요. 성능도 생각보다 크게 떨어지지 않았고요. 데이터 규모가 작으면 LoRA로도 충분할 것 같습니다.
저도 그 부분 헷갈렸는데 LoRA로도 충분하더라고요
저도 비슷한 상황이었는데 결론적으로 LoRA 추천드려요. 성능 차이는 생각보다 크지 않더라고요. 제 경우 LLaMA 2 파인튜닝할 때 LoRA로 해서 프로덕션에 올렸는데 문제없었어요. GPU 메모리도 훨씬 절약되고요. Full은 정말 대규모 데이터셋이나 성능이 극도로 중요한 경우에나 써야 할 것 같습니다.
댓글을 작성하려면 로그인이 필요합니다.