제 경험상 5천 개 규모면 LoRA가 오히려 더 유리할 수 있어요. 전체 학습은 그 정도 데이터로는 거의 과적합 지옥인 거 같거든요 ㅎㅎ
LoRA는 학습 파라미터가 적어서 정규화 효과가 자동으로 들어가는 셈이에요. 그래서 같은 에포크 수로 학습하면 LoRA가 성능이 낮을 수 있는데, 검증 손실 기준으로 어디서 멈춰야 하는지 잘 봐야 합니다. 전체 학습보다 훨씬 빨리 수렴하더라고요.
저는 비슷한 규모에서 LoRA rank 8-16 정도로 충분했고, 오히려 전체 학습이 테스트 성능은 더 낮게 나왔어요. 라벨 품질
LoRA는 학습 파라미터가 적어서 정규화 효과가 자동으로 들어가는 셈이에요. 그래서 같은 에포크 수로 학습하면 LoRA가 성능이 낮을 수 있는데, 검증 손실 기준으로 어디서 멈춰야 하는지 잘 봐야 합니다. 전체 학습보다 훨씬 빨리 수렴하더라고요.
저는 비슷한 규모에서 LoRA rank 8-16 정도로 충분했고, 오히려 전체 학습이 테스트 성능은 더 낮게 나왔어요. 라벨 품질