요즘 모델들이 다 엄청 긴 컨텍스트 윈도우를 지원한다고 하는데 실제로 성능 차이가 있는지 궁금하네요. 클로드 3.5는 20만 토큰, 제미니는 100만 토큰, GPT-4는 12만 토큰이라고 하는데 숫자만 봐선 뭔가 그림이 안 그려져요.
지난주에 긴 문서 요약 작업을 할 때 클로드로 8만 토큰 정도를 한 번에 던져봤는데 응답은 잘 했거든요. 근데 정말 토큰 길이에 비례해서 정확도가 올라가는 건지, 아니면 어느 정도 이상은 큰 의미 없는 건지 잘 모르겠어요. 특히 검색 또는 정보 손실 문제가 있는지 궁금합니다.