요즘 클로드나 GPT 같은 모델들이 컨텍스트 윈도우를 계속 늘리고 있잖아요. 근데 실제로 쓰면서 느낀 건데 토큰 수를 2배로 늘려도 응답 품질이 그만큼 좋아지지는 않더라고요.
특히 긴 문서를 통째로 집어넣을 때 오히려 중간에 있는 정보는 잘 못 챙기는 것 같기도 하고요. 이게 기술적인 한계 때문인지, 아니면 제가 프롬프트를 잘못 짜는 건지 궁금합니다.
혹시 컨텍스트 윈도우를 효과적으로 쓰는 팁이 있으면 알려주세요. 아니면 현재 LLM의 장문 처리 능력이 실제로 어느 정도인지 아시는 분 있으면 조언 부탁드려요.
추천 0 비추천 0