요즘 회사 프로젝트에서 특정 도메인 업무용 챗봇을 만들어야 하는데, 공개된 LLM을 파인튜닝해서 쓰면 좋을 것 같아요. 근데 교육 데이터가 몇 개 정도 필요한지 감이 안 잡히네요.
지금 보유한 데이터가 대략 1,000개 정도인데, 이 정도면 충분할까요? 아니면 최소한 10,000개는 모아야 하는 건가요? 온라인에서 찾아본 자료마다 얘기가 다르더라고요. 어떤 데이터셋은 수백 개로도 잘 된다고 했다가, 어떤 건 수만 개를 권장하고...
실제 경험상 파인튜닝할 때 가장 중요한 게 데이터 양인가요, 데이터 질인가요? 만약 1,000개 정도로 시작하면 결과가 어떻게 나올지도 궁금하네요. 혹시 파인튜닝 경험이 많으신 분 계신가요?
참고로 저희는 LLaMA 모델 기반으로 생각 중인데, 로컬에서 돌릴 예정이라 너무 큰 모델은 못 쓸 것 같아요. 그래서 가능하면 작은 데이터셋으로 효율적으로 파인튜닝하는 방법이 있으면 좋겠는데...
혹시 LoRA나 QLoRA 같은 기법을 써본 분 있으시면 실제 성능이 어땠는지 궁금합니다. 테스트 과정에서 뭘 가장 먼저 확인해야 하는지도 팁 있으면 말씀해주세요.
추천 3