요즘 API로 GPT-4 쓰다가 비용 때문에 고민이 많네요. 같은 작업인데 프롬프트 엔지니어링으로 토큰 사용량을 줄일 수 있다고 해서 시도해봤거든요.
few-shot examples 추가하고 구조화된 포맷(JSON 요청)으로 바꿨더니 확실히 응답이 깔끔해져서 불필요한 토큰이 줄어드는 건 맞는데, 정확도는 크게 차이 안 난다는 느낌이 들어요. 사실 제대로 측정하기가 쉽지 않아서 그런지도 모르겠지만요.
혹시 프롬프트 최적화 하면서 실제로 퀄리티 개선 본 분들이 있으신가요? 아니면 그냥 기존 방식이 최선인가 싶기도 합니다.
추천 11 비추천 0