최근에 Claude 200K랑 GPT-4 Turbo 128K 써보면서 느낀 건데, 컨텍스트 윈도우를 크게 늘렸을 때 가끔 응답이 엉망일 때가 있더라고요. 특히 긴 문서 중간에 있는 정보를 찾아서 답변할 때 그런 현상이 자주 생기는데, 혹시 이게 알려진 문제인가요?
혼자만 느끼는 건 줄 알았는데 레딧에서도 비슷한 얘기하는 사람들이 꽤 있더라고요. 혹시 기술적으로 어떤 이유가 있는 건지 궁금합니다. 토큰 길이가 길어지면서 attention이 diffuse되는 건가요?
추천 5 비추천 0