최근에 GPT-4 API로 텍스트 분류 작업을 하고 있는데, 처음엔 간단하게 "이 텍스트를 분류해줘" 정도로 던졌더니 정확도가 70% 정도였어요. 그런데 프롬프트를 다시 정리해서 few-shot 예제 몇 개 넣고, 분류 기준을 더 구체적으로 명시하니까 89%까지 올랐거든요.
특히 효과 본 부분은 "당신은 텍스트 분류 전문가입니다" 같은 롤 프롬프팅이랑 출력 포맷을 JSON으로 강제하는 거였어요. 근데 신기한 게 같은 입력이어도 온도나 max_tokens 값에 따라 결과가 좀 달라지더라고요.
혹시 여기서 더 개선할 수 있는 방법이 있을까요? 아니면 이 정도면 차라리 파인튜닝을 고려해봐야 하나 싶기도 하고요. 비용도 신경 쓰이고 ㅠㅠ