저도 비슷한 문제 겪었는데 결국 문맥이 중요하더라고요. 역할, 예제, 형식은 기본이고 거기에 '실패 케이스'를 명시해주세요. 즉 "이런 경우는 이렇게 분류하지 말아라" 같은 네거티브 예제를 넣으면 일관성이 훨씬 나아져요. 그리고 output 형식을 JSON으로 명확히 지정하는 것도 도움이 됩니다. 이메일 분류라면 정확한 카테고리 리스트도 프롬프트에 박아두세요.
딥러닝장인
저도 그 문제 겪었는데 컨텍스트 길이가 짧으면 실패하더라고요 ㅠㅠ
궁금하면
저도 같은 문제 겪었는데 결국 샘플 데이터를 더 구체적으로 줘야 하더라고요. 이메일 예시를 3~4개 정도 실제처럼 넣고 각각 어떻게 분류되어야 하는지 보여주니까 훨씬 일관성 있게 나왔어요. 그리고 실패 케이스도 함께 넣으면 더 좋던데요.
인공지능개그맨
저도 같은 문제 있었는데 결국 출력 형식을 XML 태그로 명확하게 지정하니까 훨씬 나아졌어요. 그리고 한두 개 예제보다 5-6개 정도 충분히 넣으니까 편차가 줄더라고요. 온도(temperature) 낮추는 것도 중요하던데 한번 시도해봐요.
GPT덕후하나
저도 똑같은 문제 겪었는데 결정적으로 빠진 게 제약 조건이더라고요. 예제 넣으실 때 좋은 경우만 넣으셨을 텐데, 안 되는 경우도 같이 넣으니까 훨씬 일관성 있게 나오더라고요. 그리고 고객 이메일 분석 같은 건 context 길이가 중요한데 한 번에 몇 개 이메일까지 처리하게 할 건지 명시하는 것도 도움이 됩니다. 아 그리고 정말 중요한 건 온도값이에요. 업무용은 temperature 낮춰야 일관성 있어요.
GPT덕후하나
고객 이메일 분류는 정말 까다로운 작업이네요. 저도 비슷한 걸 겪었는데 혹시 컨텍스트 길이 때문일 수도 있어요. 이메일이 길면 중간에 집중을 못 하더라고요.
저는 요즘 "절대 하지 말아야 할 것"을 따로 명시하는 게 도움이 됐어요. 예를 들어 "스팸 메일처럼 보이면 무시해라" 이런 식으로요. 그리고 한두 개 예제만 넣는 것보다 실패 사례까지 넣으니까 결과가 훨씬 안정적이었어요.
혹시 temperature나 top_p 값도 조정해보셨나요? 일관성이 중요한 업무라면 temperature를 낮게 설정하는 게 핵심인 것 같습니다.