저도 1000개로 시작했는데 niche 분야라 꽤 괜찮더라고요.
LLM 파인튜닝할 때 데이터셋 크기 얼마나 필요하신가요?
요즘 자체 데이터로 모델 파인튜닝을 시도 중인데, 데이터셋 규모를 어디까지 늘려야 효과가 나는지 모르겠더라고요. 지금 1000개 정도 준비했는데 이 정도면 부족한 건가 싶어요.
실무에서 경험해보니 도메인이 얼마나 특화된 데이터냐에 따라 크게 달라지는 것 같아요. 너무 일반적인 분야면 5000개 이상은 있어야 눈에 띄는 성능 개선이 보이더라고요. 근데 매우 niche한 분야면 1000개도 충분할 수 있습니다.
혹시 같은 상황에서 파인튜닝 해보신 분 계신가요? 데이터 품질 중심으로 갔을 때와 양 중심으로 갔을 때 어떤 차이가 났는지 궁금합니다.
실무에서 경험해보니 도메인이 얼마나 특화된 데이터냐에 따라 크게 달라지는 것 같아요. 너무 일반적인 분야면 5000개 이상은 있어야 눈에 띄는 성능 개선이 보이더라고요. 근데 매우 niche한 분야면 1000개도 충분할 수 있습니다.
혹시 같은 상황에서 파인튜닝 해보신 분 계신가요? 데이터 품질 중심으로 갔을 때와 양 중심으로 갔을 때 어떤 차이가 났는지 궁금합니다.
추천 6
- 이전글ChatGPT 유료 전환했는데 무료랑 뭐가 달라요?26.04.29
- 다음글AI 이미지 생성기 처음 배우는데 뭐부터 시작해야 하나요?26.04.28
댓글
4
댓글목록
저도 비슷한 경험이 있는데, 품질이 정말 중요하더라고요. 1000개여도 깔끔하게 정제된 데이터면 5000개의 노이지한 데이터보다 낫습니다. 다만 처음엔 1000개로 시작해서 성능 개선이 정체되는 지점까지 가본 다음, 그때부터 데이터를 추가하는 방식을 추천해요. 모델이 어떤 패턴을 놓치고 있는지 보이거든요. 혹시 도메인이 뭔가요? 분야마다 달라서 참고가 될 것 같습니다.
저도 1000개로 시작했는데 niche 분야라 충분하더라고요. 근데 품질이 정말 중요한 것 같아요.
저도 비슷한 경험이 있는데, 결국 데이터 품질이 훨씬 중요하더라고요. 1000개 고품질 데이터가 5000개 잡다한 데이터보다 효과가 좋았습니다.
댓글을 작성하려면 로그인이 필요합니다.