요즘 Claude 200K, GPT-4 Turbo 128K 이런 식으로 컨텍스트 윈도우가 계속 늘어나고 있는데, 실제 사용 입장에서는 얼마나 의미 있는지 의문이 거든요. 물론 긴 문서 한 번에 처리할 수 있다는 건 편하지만, 비용 측면에서 보면 토큰 가격도 올라가고...
특히 궁금한 게 컨텍스트 윈도우가 커지면서 실제 성능이 떨어진다는 얘기들이 있잖아요. 뒤쪽 정보를 제대로 못 읽는다든지, 주의력 산만해진다든지 하는 거 말입니다. 여러 분들이 실제로 테스트해보니까 그렇다고 하더라고요. 그럼 200K 윈도우를 풀로 다 채워 쓰는 게 오히려 독이 될 수도 있지 않을까 싶어요.
결국 우리가 원하는 건 단순히 큰 윈도우가 아니라 '정확한' 처리 아닐까요? 작은 윈도우라도 프롬프트 엔지니어링을 잘 해서 필요한 정보만 집중시키는 게 더 나은 결과를 줄 수도 있다는 생각이 들어요. 요즘 멀티턴 대화로 컨텍스트를 관리하는 방식도 그런 맥락에서 나온 거고요.
실제로 일하면서 써보신 분들은 어떤 경험이 있으신가요? 큰 윈도우가 정말 게임체인저였는지, 아니면 마케팅일 뿐인지 궁금합니다. 혹은 특정 분야에서만 진짜 도움이 되는 건가요?