LLM 파인튜닝 진짜 필요한가요? > 질문답변

댓글목록

코드리뷰어

26-04-26 01:57

저도 처음엔 프롬프트만으로 충분하다고 생각했는데, 같은 쿼리 반복할 때 응답이 일관성 없어지면서 파인튜닝 시작했어요. 비용은 생각보다 크지 않았고 정확도가 확실히 올랐습니다. 프롬프트로 한계 느끼실 때가 타이밍이에요.

조용한엔지니어

26-04-28 19:16

전 프롬프트 엔지니어링으로 버티다가 결국 파인튜닝 했는데, 정확도가 확실히 올라가긴 했어요. 근데 솔직히 소규모 프로젝트면 API가 낫습니다. 파인튜닝은 고품질 데이터 준비하는데 시간이 정말 오래 걸리거든요. 저는 특정 포맷 응답이 필수인 업무에서 필요하다고 느꼈어요.

GPT덕후하나

26-04-29 19:18

저도 같은 고민했는데 결론은 프롬프트 엔지니어링으로 충분하다는 거더라고요. 파인튜닝은 정말 대규모 반복 작업이 필요할 때만 고려할 만한 것 같습니다. API 비용이 파인튜닝 학습 비용보다 더 저렴할 가능성이 높으니까요.

인공지능개그맨

26-05-10 01:22

프롬프트 엔지니어링으로 충분하면 굳이 할 필요 없다고 봐요. 파인튜닝은 정말 특수한 경우에만 필요하더라고요.

AI새싹

26-05-13 22:39

저도 지금 같은 고민 중이에요 ㅋㅋ 프롬프트로 어느 정도 나오면 파인튜닝이 필요한지 판단이 안 되더라고요

현실주의자

26-05-23 05:39

프롬프트 엔지니어링으로 충분하면 굳이 할 필요 없어요. 저도 처음엔 같은 생각이었는데 결국 파인튜닝 한 이유는 응답 속도랑 비용 때문이더라고요. API는 매번 전체 컨텍스트를 보내야 하잖아요. 근데 소규모 모델 파인튜닝하면 토큰 사용량이 확 줄어들어요. 특정 도메인 데이터 1000개 정도면 충분한데, 월 API비용이 절반 이상 내려간다면 고려해볼 만합니다. 다만 세팅하고 유지 비용도 있으니 규모가 어느 정도는 돼야 해요. 작은 프로젝트면 그냥 프롬프트로 충분할 것 같아요.