회사에서 고객 상담용 챗봇을 GPT-4에서 자체 모델로 옮기려고 해서 요새 라마2 파인튜닝 작업을 하고 있어요. 처음엔 뭐 별 거 아니겠지 했는데 생각보다 복잡하더라고요.
사실 처음 계획은 단순했어요. 우리 고객 상담 데이터 10만 건 정도를 QA 형식으로 정제해서 LoRA로 파인튜닝하면 되겠지 했는데, 실제로 해보니 데이터 퀄리티가 정말 중요하네요. 데이터를 제대로 정제하지 않으면 그냥 오버피팅 되거나 이상한 답변 생성하더라고요. 특히 우리 업종 특화 용어들을 잘 다루지 못하는 게 가장 큰 문제였어요.
그래서 결국 데이터 전처리에만 한 달을 썼습니다. 중복 제거, 표준화, 그룹화 같은 작업들이 생각보다 손이 많이 가요. 근데 이 작업을 제대로 하고 나니 파인튜닝 효과가 정말 달라졌어요. 정확도가 대략 78%에서 88% 정도로 올랐거든요. 물론 여전히 부족한 케이스들이 있지만요.
지금 느낀 점은 파인튜닝이 은탄환은 아니라는 거예요. 단순히 데이터 넣고 돌린다고 되는 게 아니라 정말 데이터 퀄리티와 프롬프트 엔지니어링이 중요하더라고요. 그리고 비용도 생각보다 꽤 나가는데, A100으로 몇 시간 돌려야 하니까요. 요즘 생각해보니 처음부터 프롬프트 최적화에 더 공들였으면 어땠을까 싶기도 합니다.
혹시 비슷한 작업 해보신 분 계신가요? 특히 비용 효율적인 방법이나 제가 놓친 부분이 있으면 좀 알려주세요. 아니면 프롬프트 엔지니어링으로 충분했던 경험이 있으신 분도 있으면 의견 주시면 감사하겠습니다.