저도 비슷한 경험 있는데 context 크기보다 retrieval의 precision이 훨씬 중요하더라고요. 상위 5~10개 청크만 정확하게 들어가는 게 100개 부정확한 청크 넣는 것보다 낫습니다. 저는 ranking 알고리즘을 개선하고 similarity threshold를 올려서 해결했는데 도움이 될 것 같네요.
API연동
RAG 시스템에서 Context Window 크기 늘렸는데 응답 품질이 오히려 떨어지네요
최근 프로젝트에서 Claude 3.5 Sonnet으로 RAG 구축 중인데 좀 이상한 현상을 발견했어요. Context window를 200K로 늘려서 더 많은 문서를 한 번에 밀어넣으면 관련성 높은 청크를 더 많이 포함할 수 있을 줄 알았는데, 오히려 최종 답변이 덜 정확해지더라고요.
처음엔 토큰 문제인 줄 알았는데 그것도 아니고, 혹시 너무 많은 정보가 들어가면서 모델이 헷갈리는 건 아닐까 싶어요. 아니면 retrieval 단계에서 ranking을 좀 더 엄격하게 해야 하는 걸까요? 비슷한 경험 있으신 분이 있으면 조언 부탁드립니다.
처음엔 토큰 문제인 줄 알았는데 그것도 아니고, 혹시 너무 많은 정보가 들어가면서 모델이 헷갈리는 건 아닐까 싶어요. 아니면 retrieval 단계에서 ranking을 좀 더 엄격하게 해야 하는 걸까요? 비슷한 경험 있으신 분이 있으면 조언 부탁드립니다.
추천 8 비추천 0
- 이전글LLM 파인튜닝할 때 LoRA랑 QLoRA 어떤 걸 써야 하나요?26.10.05
- 다음글LLM 파인튜닝할 때 토큰 길이 제한 어떻게 해결하세요?26.09.30