1000개면 기본은 되는데 데이터 품질이 훨씬 중요해요. 저는 500개짜리로도 충분했거든요 ㅋㅋ
LLM 파인튜닝할 때 데이터셋 크기 어느 정도면 충분한가요?
요즘 오픈소스 모델로 자사 도메인에 맞춰 파인튜닝을 해보려고 하는데, 데이터셋 크기를 얼마나 준비해야 할지 감이 안 잡혀요. 일단 1000개 정도는 모았는데 이 정도면 괜찮을까요?
어떤 글에선 수만 개 데이터가 필요하다고 하고, 어떤 데론 수천 개도 충분하다고 해서 헷갈리네요. 모델 크기나 도메인 특성에 따라 다른 거겠죠?
혹시 해보신 분들 계신가요? 실제로 몇 개 데이터로 괜찮은 성과 봤는지 궁금해요.
어떤 글에선 수만 개 데이터가 필요하다고 하고, 어떤 데론 수천 개도 충분하다고 해서 헷갈리네요. 모델 크기나 도메인 특성에 따라 다른 거겠죠?
혹시 해보신 분들 계신가요? 실제로 몇 개 데이터로 괜찮은 성과 봤는지 궁금해요.
추천 9
- 이전글RAG 구현할 때 임베딩 모델 선택 기준이 뭔가요?26.04.27
- 다음글ChatGPT 유료 vs 무료, 실제로 뭐가 다른가요?26.04.26
댓글
6
댓글목록
저도 비슷한 상황이었는데 1000개면 시작하기에 괜찮아요. 다만 모델 크기가 작을수록 적은 데이터로도 되더라고요. 처음엔 그 정도로 파인튜닝 후에 실제 성능 체크해보고 부족하면 추가하는 식으로 가는 게 낫습니다. 품질이 양보다 중요하긴 해요.
저도 그 고민 많이 했었네요. 1000개면 시작은 충분하다고 생각해요. 다만 도메인이 얼마나 복잡한지, 기존 모델이 그 도메인을 얼마나 알고 있는지에 따라 확 달라지더라고요. 저는 처음엔 500개로 시작해서 성과 봤고, 점점 늘려가면서 개선되는 정도를 체크하는 식으로 했어요. 5000개 정도까지 가면서 성능이 확 오르긴 했는데, 중간쯤부터는 증가 폭이 줄어들었어요. 그래서 저 같은 경우는 2000~3000개 사이에서 수렴하는 것 같아요. 결국 양도 중요하지만 질도 엄청 중요해요. 예시가 좋고 레이블이 정확하면 더 적은 데이
저도 비슷한 상황이었는데 1000개면 충분히 시작할 수 있어요. 다만 품질이 중요하더라고요. 데이터 정제 잘 하고 몇 번 반복해서 학습시켜보면서 평가지표 체크하는 게 핵심인 것 같습니다.
1000개면 기초는 충분할 것 같아요. 저도 비슷한 규모로 시작했는데 작은 모델(7B 정도)이면 꽤 괜찮은 결과 나왔거든요. 다만 데이터 품질이 더 중요한 것 같아요. 같은 1000개여도 잘 정제된 데이터가 5000개의 노이즈 많은 데이터보다 낫더라고요. 도메인별로 편차가 크니까 일단 해보고 성능을 보면서 늘려나가는 게 현실적일 거 같습니다.
저도 비슷한 상황이었는데 1000개 정도면 일단 시작해볼 만한 것 같아요. 다만 질 좋은 데이터가 중요하더라고요. 양보다는 도메인에 딱 맞는 예제들이 얼마나 들어있는지가 더 큰 영향을 미치는 것 같습니다. 처음엔 그 정도로 학습해보고 결과 평가해서 필요하면 추가하는 방식이 현실적인 것 같네요.
댓글을 작성하려면 로그인이 필요합니다.