저도 정확히 같은 경험을 했어요. 모델 업데이트되면 기존 프롬프트가 먹지 않는 거 진짜 답답하더라고요 ㅋㅋ 저는 프롬프트를 버전별로 깃허브 관리하면서 각각에 테스트 결과를 붙여놨는데, 나중에는 우리 팀용 프롬프트 라이브러리를 만들어서 변수화해서 관리하고 있습니다. 구조화된 output 강제하는 거 정말 중요한데, JSON 스키마 강제하면서부터 응답 일관성이 많이 개선됐거든요.
프롬프트
LLM 프롬프트 엔지니어링 몇 달 해봤는데 느낀 점
회사에서 ChatGPT API 연동해서 몇 달간 프롬프트 튜닝을 계속했는데, 처음 생각과 완전 달랐어요. 단순히 "잘 물어보면 잘 답한다"는 게 아니더라고요. 같은 질문을 여러 방식으로 재구성해보고 토큰 효율도 맞춰봐야 하고, 모델 버전이 업데이트되면 또 처음부터 맞춰야 하니까 은근 번거로움이 있습니다.
그래도 체이닝 패턴 적용하고 컨텍스트 윈도우를 효율적으로 관리하니 응답 품질이 눈에 띄게 달라졌어요. 예전에 이런 삽질을 몇 번 한 후에는 구조화된 output 강제하는 것도 중요하다는 걸 깨달았습니다.
혹시 프롬프트 관리 어떤 식으로 하고 있으신지 궁금해요. 버전 관리는 어떻게 하세요? 저는 그냥 깃허브에 마크다운으로 기록하고 있는데 더 좋은 방법 있으면 알려주셨으면 좋겠습니다.
그래도 체이닝 패턴 적용하고 컨텍스트 윈도우를 효율적으로 관리하니 응답 품질이 눈에 띄게 달라졌어요. 예전에 이런 삽질을 몇 번 한 후에는 구조화된 output 강제하는 것도 중요하다는 걸 깨달았습니다.
혹시 프롬프트 관리 어떤 식으로 하고 있으신지 궁금해요. 버전 관리는 어떻게 하세요? 저는 그냥 깃허브에 마크다운으로 기록하고 있는데 더 좋은 방법 있으면 알려주셨으면 좋겠습니다.
추천 9 비추천 0
- 이전글로컬 LLM 파인튜닝할 때 토크나이저 커스텀이 필요한가요?26.08.18
- 다음글RAG 구현할 때 임베딩 모델 선택 기준이 뭔가요?26.08.17