저도 비슷한 경험 있었는데 LoRA면 데이터 1000개는 좀 적을 수 있어요. 먼저 validation loss 따로 빼서 확인해보셨나요? 그게 계속 올라가면 오버피팅이 거의 확실하거든요.
딥러닝장인
1000개면 LoRA 파인튜닝에 적당한 사이즈긴 한데 검증 데이터셋으로 따로 떼놔서 loss 추이를 봤나요? 트레인 loss만 내려가고 검증 loss가 올라가면 오버피팅 맞습니다. 그리고 학습률을 좀 낮춰서 천천히 학습시켜보는 것도 도움 될 수 있어요.
따뜻한코더
1000개면 사실 LoRA로는 좀 부족할 수 있어요. 저도 처음엔 loss 떨어지는 걸 보고 잘됐다고 생각했는데 inference는 별로더라고요. validation loss를 따로 봐야 오버피팅 구분이 되거든요. 먼저 training/validation split을 5:5나 7:3으로 나눠서 둘 다 모니터링해보시면 어디가 문제인지 보일 거예요.