저도 비슷한 상황이었는데 결국 둘 다 해봤어요. LoRA로 여러 번 빠르게 실험하고 최종 후보 2-3개만 풀 파인튜닝 돌리는 방식으로 가니까 그나마 합리적이더라고요.
특수 도메인이면 특히 그런데, LoRA의 95% 성능이 실제론 task마다 다르게 나타나거든요. 저희는 분류 문제는 거의 차이 안 났는데 생성 태스크에선 5-7% 정도 간격이 벌어졌어요.
A100 2장이 있으시면 차라리 LoRA로 하이퍼파라미터 튜닝을 충분히 한 후에, 최종 모델만 풀 파인튜닝으로 도는 게 낫지 않을까 싶아요. 데이터가 충분하면 LoRA의
특수 도메인이면 특히 그런데, LoRA의 95% 성능이 실제론 task마다 다르게 나타나거든요. 저희는 분류 문제는 거의 차이 안 났는데 생성 태스크에선 5-7% 정도 간격이 벌어졌어요.
A100 2장이 있으시면 차라리 LoRA로 하이퍼파라미터 튜닝을 충분히 한 후에, 최종 모델만 풀 파인튜닝으로 도는 게 낫지 않을까 싶아요. 데이터가 충분하면 LoRA의