회사 프로젝트로 우리 도메인에 맞게 LLM을 파인튜닝해보려고 시작했어요. 처음엔 간단할 줄 알았는데 데이터 전처리하는 것부터 진짜 시간이 오래 걸리더라고요. 라벨링 기준을 정하는 것도 팀원끼리 계속 충돌하고요.
결국 몇 주를 거쳐서 7,000개 데이터로 돌려봤는데 처음 결과는 기대 이하였어요. 과적합 문제도 있었고, 학습률이나 배치 사이즈 튜닝하는 과정이 정말 번거웠습니다. 지금은 프롬프트 엔지니어링이 차라리 더 효율적일 수도 있다는 생각이 들고 있어요.
혹시 같은 경험이 있으신 분들 계신가요? 파인튜닝이 정말 필요한 상황이 뭔지 궁금하네요.
추천 0 비추천 0