요즘 로컬에서 작은 LLM 가지고 놀아보고 있는데 질문이 생겼어요. 파인튜닝할 때 데이터셋 크기가 성능에 얼마나 큰 영향을 미치나요?
인터넷 찾아보니까 어떤 글은 수십만 개 이상의 고품질 데이터가 필요하다고 하고, 또 어떤 글은 수천 개 정도면 충분하다고 하더라고요. 정확히 뭐가 맞는 건지 좀 헷갈려요. 논문이나 실제 경험담 있으신 분들 의견 궁금합니다.
지금 제가 가지고 있는 데이터셋이 대략 3000개 정도 되는데 7B 파라미터 모델에다 LoRA로 파인튜닝하려고 해요. 이 정도 규모면 유의미한 결과를 기대해도 괜찮을까요? 아니면 더 모아야 할까요?
그리고 데이터 품질이 양보다 중요하다는 얘기도 많이 봤는데 실제로 그렇다면 3000개를 잘 구성하는 게 30000개를 대충 모으는 것보다 낫다는 뜻일까요? 너무 기초적인 질문일 수도 있지만 처음이라 확실하게 알고 싶어서요.
혹시 비슷하게 작은 데이터셋으로 파인튜닝 해본 경험 있으신 분 계신가요? 어떤 방식으로 진행하셨는지, 결과가 어땠는지 알려주시면 정말 감사하겠습니다.
추천 0