최근에 GPT-4로 여러 프롬프트를 테스트해보고 있는데 결과가 완전히 달라지더라고요. 같은 질문인데 구조를 조금 다르게 주면 답변 품질이 확 달라진다는 게 신기하긴 한데, 이게 과학이라고 보기엔 좀 이상한 것 같아요.
결국 사람 손으로 계속 프롬프트를 튜닝해야 한다는 건데, 이런 방식이 근본적인 한계가 있지 않을까요? 모델 자체는 같은데 입력값만 가지고 성능을 조절하는 거면 AI 평가도 불일치할 가능성이 많고요. 혹시 이 부분에 대해 체계적으로 접근하는 방법이나 연구 자료 있으신 분 계신가요?