요즘 회사에서 작은 프로젝트를 맡게 됐는데, 팀장이 갑자기 LLM 파인튜닝을 해보라더라고요. 근데 저는 좀 의문이 드는 게, 지금 GPT-4나 Claude 같은 API 가지고도 충분히 잘 작동하는데 굳이 파인튜닝까지 해야 하나 싶어요. 비용도 그렇고 학습 데이터도 충분치 않은 상황이거든요.
혹시 파인튜닝이 정말 필요한 경우가 뭔지 아시는 분 있으신가요? 제가 뭔가 놓치고 있는 게 있을까봐서요. 커뮤니티에서 본 글들 보면 파인튜닝이 마치 필수인 것처럼 얘기하는데, 실제로는 그런 경우가 드물다고 들었거든요.
지금 저희 프로젝트는 고객 데이터 기반으로 답변을 생성하는 챗봇 정도 수준인데요. 프롬프트 엔지니어링이랑 RAG 구조로도 충분할 것 같긴 한데, 결과가 별로면 그제야 파인튜닝을 고려해도 괜찮을까요?
혹시 이런 고민을 해보신 분이 있다면 의견 좀 들어보고 싶습니다. 특히 실무에서 경험하신 분들이 계시면 정말 감사하겠어요. 파인튜닝의 장단점이나 실제 ROI가 어땠는지 같은 내용도 좋을 것 같습니다.