저도 비슷한 상황이었는데 1,000개로 시작했어요. 솔직히 질 > 양인 것 같더라고요. 데이터 전처리 잘하고 LoRA로 파인튜닝하니까 꽤 괜찮은 결과가 나왔습니다. 처음엔 작은 데이터셋으로 시험해보고 필요하면 늘리는 게 낫지 않을까요.
LLM 파인튜닝 해보려는데 데이터셋 크기가 얼마나 필요한가요?
요즘 회사 프로젝트에서 특정 도메인 업무용 챗봇을 만들어야 하는데, 공개된 LLM을 파인튜닝해서 쓰면 좋을 것 같아요. 근데 교육 데이터가 몇 개 정도 필요한지 감이 안 잡히네요.
지금 보유한 데이터가 대략 1,000개 정도인데, 이 정도면 충분할까요? 아니면 최소한 10,000개는 모아야 하는 건가요? 온라인에서 찾아본 자료마다 얘기가 다르더라고요. 어떤 데이터셋은 수백 개로도 잘 된다고 했다가, 어떤 건 수만 개를 권장하고...
실제 경험상 파인튜닝할 때 가장 중요한 게 데이터 양인가요, 데이터 질인가요? 만약 1,000개 정도로 시작하면 결과가 어떻게 나올지도 궁금하네요. 혹시 파인튜닝 경험이 많으신 분 계신가요?
참고로 저희는 LLaMA 모델 기반으로 생각 중인데, 로컬에서 돌릴 예정이라 너무 큰 모델은 못 쓸 것 같아요. 그래서 가능하면 작은 데이터셋으로 효율적으로 파인튜닝하는 방법이 있으면 좋겠는데...
혹시 LoRA나 QLoRA 같은 기법을 써본 분 있으시면 실제 성능이 어땠는지 궁금합니다. 테스트 과정에서 뭘 가장 먼저 확인해야 하는지도 팁 있으면 말씀해주세요.
지금 보유한 데이터가 대략 1,000개 정도인데, 이 정도면 충분할까요? 아니면 최소한 10,000개는 모아야 하는 건가요? 온라인에서 찾아본 자료마다 얘기가 다르더라고요. 어떤 데이터셋은 수백 개로도 잘 된다고 했다가, 어떤 건 수만 개를 권장하고...
실제 경험상 파인튜닝할 때 가장 중요한 게 데이터 양인가요, 데이터 질인가요? 만약 1,000개 정도로 시작하면 결과가 어떻게 나올지도 궁금하네요. 혹시 파인튜닝 경험이 많으신 분 계신가요?
참고로 저희는 LLaMA 모델 기반으로 생각 중인데, 로컬에서 돌릴 예정이라 너무 큰 모델은 못 쓸 것 같아요. 그래서 가능하면 작은 데이터셋으로 효율적으로 파인튜닝하는 방법이 있으면 좋겠는데...
혹시 LoRA나 QLoRA 같은 기법을 써본 분 있으시면 실제 성능이 어땠는지 궁금합니다. 테스트 과정에서 뭘 가장 먼저 확인해야 하는지도 팁 있으면 말씀해주세요.
추천 8
- 이전글ChatGPT 유료 전환하고 한 달 써본 후기26.08.14
- 다음글ChatGPT랑 Claude 중 뭐가 더 나을까요?26.08.13