최근에 긴 문맥 처리 성능이 중요해져서 토큰 한계를 늘린 모델들이 많이 나오던데, 실제 써보니까 길이만 늘어난 거 같은 느낌이 들어서요. Claude 200k랑 GPT-4 Turbo 128k 써봤는데 둘 다 중간 부분 내용을 놓치는 게 보이더라고요.
혹시 토큰 길이를 늘리는 과정에서 중간 부분 주의도(attention) 약해지는 건 아닐까요? 아니면 제가 프롬프트를 잘못 짜는 걸까요.
이거 실무에서 경험해본 분들 의견 궁금합니다. 토큰 한계 늘어난 모델이 실제로는 얼마나 도움이 되는지요.
추천 0 비추천 0