2천 개면 충분히 효과 있어요. 모델 크기에 따라 다르긴 한데 파라미터 줄인 모델이면 오히려 과적합 주의해야 할 정도거든요.
LLM 파인튜닝 할 때 데이터 양이 정말 중요한가요?
요즘 오픈소스 모델들로 파인튜닝을 시작했는데, 자료마다 얘기가 다라서 헷갈려요. 어떤 곳은 데이터 양이 적어도 질이 좋으면 된다고 하고, 또 어떤 곳은 수만 개 이상은 있어야 효과가 있다고 하더라고요.
지금 제 상황은 도메인 특화 데이터가 2천 개 정도 있는데, 이 정도면 파인튜닝이 의미 있을까요? 아니면 그냥 프롬프트 엔지니어링으로만 해결하는 게 낫나 싶기도 하고요.
혹시 비슷한 규모로 해본 분 있으신가요? 어느 정도 개선 효과가 있었는지 궁금합니다.
지금 제 상황은 도메인 특화 데이터가 2천 개 정도 있는데, 이 정도면 파인튜닝이 의미 있을까요? 아니면 그냥 프롬프트 엔지니어링으로만 해결하는 게 낫나 싶기도 하고요.
혹시 비슷한 규모로 해본 분 있으신가요? 어느 정도 개선 효과가 있었는지 궁금합니다.
추천 9
- 이전글ChatGPT vs Claude 일상 업무용으로 뭐가 더 나을까요?26.08.04
- 다음글LLM 파인튜닝하려고 하는데 GPU 메모리 부족해도 될까요?26.08.03
댓글
2
댓글목록
2천 개면 충분히 효과 볼 수 있어요. 다만 모델 크기에 따라 다르긴 하는데, 7B 정도면 의미 있는 개선가 있더라고요. 프롬프트 엔지니어링하고 병행하면 더 좋습니다.
댓글을 작성하려면 로그인이 필요합니다.