저도 같은 상황이었는데 결국 LoRA로 가서 랭크 128 정도로 했거든요. Full fine-tuning이랑 비교해보니 도메인 특화 작업에선 체감상 큰 차이 없더라고요. GPU 메모리도 1/10 수준으로 줄어들고요.
다만 랭크는 데이터셋 크기에 따라 조정하는 게 좋아요. 저희는 작은 데이터셋이라 64부터 시작해서 검증 손실 기준으로 올렸습니다. alpha는 보통 rank*2 정도로 설정하면 무난합니다.
혹시 몇 천 개 정도의 도메인 데이터면 LoRA로도 충분할 것 같은데 정확히 어떤 작업인지 알려주시면 더 구체적으로 조언해드릴 수 있어요.
다만 랭크는 데이터셋 크기에 따라 조정하는 게 좋아요. 저희는 작은 데이터셋이라 64부터 시작해서 검증 손실 기준으로 올렸습니다. alpha는 보통 rank*2 정도로 설정하면 무난합니다.
혹시 몇 천 개 정도의 도메인 데이터면 LoRA로도 충분할 것 같은데 정확히 어떤 작업인지 알려주시면 더 구체적으로 조언해드릴 수 있어요.