최근에 회사 프로젝트에서 오픈소스 LLM을 우리 도메인에 맞게 파인튜닝해야 하는 상황이 생겼는데, 생각보다 복잡하더라고요. 일단 데이터 준비부터 난리고 학습 리소스도 부족해서 고민이 많습니다.
현재는 라마2 베이스로 LoRA를 써서 작은 규모로 테스트 중인데, 결과가 뭔가 애매해요. 학습은 되는 것 같은데 기대했던 수준의 성능 개선이 안 나오고 있거든요. 혹시 이런 경험 하신 분들 계신가요? 특히 데이터셋 크기는 어느 정도가 적당한지, 그리고 하이퍼파라미터 튜닝할 때 어떤 부분을 우선으로 봐야 하는지 궁금합니다.
또 한 가지 답답한 게 온라인에 떠도는 튜토리얼들이 보통 이상적인 상황을 다루더라고요. 실제로는 노이즈 있는 데이터도 있고, 컴퓨팅 리소스도 제한적이고, 시간도 없는데 말이죠. 혹시 그런 현실적인 제약 속에서 좋은 결과를 얻으신 분 계신가요?
개인적으로는 양질의 데이터라도 적게 준비하는 게 양 많은 노이즈 데이터보다 낫다는 느낌은 드는데, 정확히 검증해볼 기회가 없어서요. 비용도 문제고 시간도 빠듯해서 좀 더 효율적인 방법이 있으면 좋겠습니다.
혹시 최근에 비슷한 작업 해보신 분 있으면 팁 좀 공유해 주세요. 특히 작은 데이터셋으로도 괜찮은 결과 얻은 경험 있으신 분의 얘기를 듣고 싶네요.