요즘 GPT-4 Turbo 128K 버전 써보고 있는데, 컨텍스트 윈도우를 최대한 활용하려다 보니 질문이 생겼습니다. 토큰 길이를 늘릴수록 응답 속도도 느려지고 정확도도 떨어지는 것 같은데, 이게 물리적인 한계인지 아니면 모델 튜닝 문제인지 알고 싶거든요.
특히 4-5만 토큰 정도로 프롬프트를 구성하면 답변 퀄리티가 확실히 내려가는 느낌이 드네요. 혹시 이런 거 경험해보신 분 있으신가요? 아니면 긴 컨텍스트에서도 성능을 유지할 수 있는 팁이 있으면 알려주세요.
추천 0 비추천 0