요즘 LLM 기반 서비스 개발하면서 프롬프트 인젝션이 자꾸 걱정돼서 물어봅니다. 회사에서 챗봇 서비스를 만들고 있는데, 보안팀에서 자꾸만 프롬프트 인젝션 대비를 강조하거든요.
근데 실제로 개발 단계에서 테스트해보니 생각보다 막기 쉬운 것 같기도 하고, 또 어떨 땐 진짜 뚫리더라고요. 예를 들어 사용자 입력값을 따옴표로 감싸거나 시스템 프롬프트를 분리하는 식의 기본적인 것들만 해도 꽤 효과 있는 것 같은데, 이정도면 충분한 건지 궁금합니다.
혹시 프로덕션 환경에서 이미 구축해본 분들 계신가요? 실제로 얼마나 엄격하게 관리하시는지 궁금하네요. 정말 모든 입력값을 필터링해야 하는 건지, 아니면 특정 케이스만 집중해도 되는지 알고 싶습니다.
그리고 혹시 좋은 라이브러리나 프레임워크 있으면 추천해주세요. 현재 Python FastAPI 환경에서 OpenAI API 쓰고 있는데, 별도의 검증 레이어를 추가해야 할지도 고민 중입니다. LangChain이나 다른 도구들 써보신 분 있으시면 경험담 부탁드립니다.
마지막으로 혹시 인젝션 공격 시뮬레이션 같은 걸 어디서 연습할 수 있는지도 궁금해요. 실제 서비스 배포 전에 얼마나 견고한지 체크하고 싶거든요.
추천 7 비추천 0