요즘 오픈소스 LLM들을 가지고 우리 도메인에 맞춰 파인튜닝해보려고 하는데, 데이터셋 크기 기준이 애매해서 여쭤봅니다. 지금 확보한 데이터가 대략 5000개 정도인데 이 정도면 유의미한 성능 개선을 기대할 수 있을까요?
온라인에 찾아보니 논문마다 기준이 다르게 나와서 헷갈리더라고요. 혹시 실제로 파인튜닝 경험이 있으신 분들은 어느 정도 규모부터 효과를 봤는지 궁금해요. 모델 크기나 다른 조건들에 따라 달라질 것 같긴 한데, 대략적인 가이드라인이라도 있으면 좋겠습니다.
추천 1