저도 비슷한 의문 가졌는데, 실제로 프롬프트 구조는 분명 효과가 있더라고요. Chain of Thought 방식으로 단계별 설명 요청하면 논리적 오류가 줄어드는 게 눈에 띄어요. 다만 같은 프롬프트를 반복하면 가끔 다른 답이 나올 때도 있으니 일관성이 완벽한 건 아닌 것 같습니다. temperature 값도 영향을 미치니까 그것도 함께 봐야 할 것 같습니다.
API연동
프롬프트 엔지니어링으로 AI 정확도 올릴 수 있나요?
최근에 Claude랑 GPT-4 써보면서 같은 질문이어도 프롬프트를 어떻게 쓰냐에 따라 결과가 확 달라지는 거 느꼈거든요. 그래서 궁금한데 이게 진짜 프롬프트 엔지니어링의 효과인지 아니면 모델의 운(?)인지 판단이 안 서요.
특히 JSON 형식으로 답변받거나 Step-by-step으로 풀어달라고 할 때 정확도가 올라가는 것 같긴 한데, 이게 일관성 있는 개선인지 애매합니다. 혹시 이 부분에 대해 제대로 실험해보신 분 계신가요? 실제 업무나 프로젝트에서 어떤 식으로 프롬프트를 구성해서 효과 봤는지 궁금합니다.
특히 JSON 형식으로 답변받거나 Step-by-step으로 풀어달라고 할 때 정확도가 올라가는 것 같긴 한데, 이게 일관성 있는 개선인지 애매합니다. 혹시 이 부분에 대해 제대로 실험해보신 분 계신가요? 실제 업무나 프로젝트에서 어떤 식으로 프롬프트를 구성해서 효과 봤는지 궁금합니다.
추천 13 비추천 0
- 이전글LLM 파인튜닝 할 때 LoRA vs 전체 학습, 실제로 뭐가 더 효율적인가요?26.06.28
- 다음글프롬프트 엔지니어링 정말 필요한가요?26.06.27
댓글
3
댓글목록
프롬프트 엔지니어링이 실제 효과가 있긴 한데, 중요한 건 일관성 있게 재현 가능한지예요. 제가 업무에서 써본 경험상 Chain-of-Thought 방식이 단순 요청보다 정확도가 15~20% 정도 높게 나왔거든요. 특히 복잡한 로직이나 분류 작업에서요.
다만 프롬프트만으로는 한계가 있어요. 모델 자체의 한계도 있고, 온도(temperature) 같은 파라미터도 중요합니다. 정확한 실험을 위해선 같은 질문을 최소 10회 이상 반복해서 정확도를 통계적으로 비교해보는 게 좋습니다. 그래야 운인지 실제 개선인지 판단할 수 있어요.
JSON 형식 요청은 구조화된 출력을 유도
다만 프롬프트만으로는 한계가 있어요. 모델 자체의 한계도 있고, 온도(temperature) 같은 파라미터도 중요합니다. 정확한 실험을 위해선 같은 질문을 최소 10회 이상 반복해서 정확도를 통계적으로 비교해보는 게 좋습니다. 그래야 운인지 실제 개선인지 판단할 수 있어요.
JSON 형식 요청은 구조화된 출력을 유도
프롬프트 엔지니어링의 효과는 확실히 있는데, 일관성 문제는 모델 자체의 토큰 샘플링 때문이에요. 같은 프롬프트를 반복하면 매번 다른 결과가 나올 수 있다는 뜻이죠.
제가 업무에서 본 건데, 구조화된 포맷(JSON, XML) 지정이랑 Chain-of-Thought 방식이 확실히 정확도를 높이긴 합니다. 다만 여러 번 반복 테스트해야 실제 효과를 판단할 수 있어요. 한두 번으로는 운일 수도 있고요.
가장 중요한 건 temperature 값을 낮춰서 일관성을 확보하고, 같은 프롬프트로 5회 이상 테스트해보는 거였습니다.
제가 업무에서 본 건데, 구조화된 포맷(JSON, XML) 지정이랑 Chain-of-Thought 방식이 확실히 정확도를 높이긴 합니다. 다만 여러 번 반복 테스트해야 실제 효과를 판단할 수 있어요. 한두 번으로는 운일 수도 있고요.
가장 중요한 건 temperature 값을 낮춰서 일관성을 확보하고, 같은 프롬프트로 5회 이상 테스트해보는 거였습니다.
댓글을 작성하려면 로그인이 필요합니다.