회사 프로젝트로 오픈소스 모델 파인튜닝을 처음 해봤는데 정말 예상과 다르더라고요. 튜토리얼에선 간단하게 나오지만 실제로는 데이터 전처리, 하이퍼파라미터 조정, VRAM 관리 같은 것들이 정말 복잡했습니다. 특히 과적합 방지하면서 성능 올리는 게 정말 까다롭네요.
지금까지는 LoRA로 메모리 절약하면서 진행 중인데 기본 LLM으로 그냥 프롬프트 엔지니어링만 하는 게 나을 수도 있겠다는 생각도 드네요. 비용 대비 효과가 명확하지 않아서요.
혹시 비슷한 작업 해보신 분들 계신가요? 실무에서는 주로 어느 정도 규모의 데이터셋으로 진행하시는지, 그리고 파인튜닝이 실제로 의미 있는 성능 개선을 가져오셨는지 궁금합니다. 팁이나 경험담 있으면 공유 부탁드려요.
추천 5 비추천 0