2026.11.19 접속자 118명
로그인 회원가입
HOT
[프롬프트] 디자인 피드백 받을 때 쓰는 프롬프트 뭐 쓰세요? [자유게시판] 직장 다니면서 운동하는 사람들 어떻게 시간 내세요? [자유게시판] 요즘 신발 관리 어떻게 하세요? [자유게시판] 편의점 알바 시급 진짜 올랐나요? [AI뉴스] 올해 AI 신기술 정리해봤는데 생각보다 많네요 [자유게시판] 직장 다니면서 취미 뭐하세요? [자유게시판] 편의점 야식으로 라면만 먹다가 처음 도시락 사먹어봤어요 [AI뉴스] ChatGPT, Claude, Gemini... 요즘 AI 모델들 업데이트 미친 거 아니냐 [AI뉴스] 요즘 딥러닝 논문 트렌드 뭔가 재밌네요 [AI뉴스] 요즘 AI 진짜 미친 속도로 발전하는 것 같은데 한국은 따라가고 있나요? [프롬프트] 디자인 피드백 받을 때 쓰는 프롬프트 뭐 쓰세요? [자유게시판] 직장 다니면서 운동하는 사람들 어떻게 시간 내세요? [자유게시판] 요즘 신발 관리 어떻게 하세요? [자유게시판] 편의점 알바 시급 진짜 올랐나요? [AI뉴스] 올해 AI 신기술 정리해봤는데 생각보다 많네요 [자유게시판] 직장 다니면서 취미 뭐하세요? [자유게시판] 편의점 야식으로 라면만 먹다가 처음 도시락 사먹어봤어요 [AI뉴스] ChatGPT, Claude, Gemini... 요즘 AI 모델들 업데이트 미친 거 아니냐 [AI뉴스] 요즘 딥러닝 논문 트렌드 뭔가 재밌네요 [AI뉴스] 요즘 AI 진짜 미친 속도로 발전하는 것 같은데 한국은 따라가고 있나요?
API연동

RAG 시스템에서 Context Window 크기 늘렸는데 응답 품질이 오히려 떨어지네요

따뜻한코더 2026.10.02 01:31 조회 253 추천 8 댓글 2건
최근 프로젝트에서 Claude 3.5 Sonnet으로 RAG 구축 중인데 좀 이상한 현상을 발견했어요. Context window를 200K로 늘려서 더 많은 문서를 한 번에 밀어넣으면 관련성 높은 청크를 더 많이 포함할 수 있을 줄 알았는데, 오히려 최종 답변이 덜 정확해지더라고요.

처음엔 토큰 문제인 줄 알았는데 그것도 아니고, 혹시 너무 많은 정보가 들어가면서 모델이 헷갈리는 건 아닐까 싶어요. 아니면 retrieval 단계에서 ranking을 좀 더 엄격하게 해야 하는 걸까요? 비슷한 경험 있으신 분이 있으면 조언 부탁드립니다.
추천 8 비추천 0
댓글 2

댓글목록

profile_image
현실주의자
저도 비슷한 경험 있는데 context 크기보다 retrieval의 precision이 훨씬 중요하더라고요. 상위 5~10개 청크만 정확하게 들어가는 게 100개 부정확한 청크 넣는 것보다 낫습니다. 저는 ranking 알고리즘을 개선하고 similarity threshold를 올려서 해결했는데 도움이 될 것 같네요.
profile_image
요정
오 저도 비슷한 거 겪었어요. Noise 증가 문제 같은데 retrieval 더 정확하게 하니까 나아지더라고요.