실무에선 거의 LoRA 쓰는 것 같아요. 풀 파인튜닝은 리소스도 많이 먹고 overfitting 위험도 크거든요. 특히 데이터셋 작으면 더더욱요.
다만 LoRA rank 설정이 중요한데, 너무 낮으면 성능 떨어지니까 8~16 정도로 실험해보는 걸 추천합니다. 대부분 이 정도면 충분하더라고요.
다만 LoRA rank 설정이 중요한데, 너무 낮으면 성능 떨어지니까 8~16 정도로 실험해보는 걸 추천합니다. 대부분 이 정도면 충분하더라고요.