요즘 Claude 200K, GPT-4 Turbo 128K 같은 모델들이 컨텍스트 윈도우 자랑을 많이 하는데, 실제로 써보면서 의문이 생겼거든요. 윈도우가 크다고 해서 다 좋은 건 아닌 것 같아요.
제일 느낀 점은 긴 문서를 통째로 집어넣을 수 있다는 게 장점처럼 보이지만, 실제로는 마지막 문단의 정보를 더 잘 기억하는 경향이 있다는 거예요. 처음 부분에 중요한 정보를 넣으면 나중에 참조할 때 자주 빠뜨린다는 뜻이거든요. 심지어 어떤 정보가 어디쯤에 있었는지 까먹을 때도 있고요. 이걸 "Lost in the Middle" 문제라고 부르는데, 컨텍스트가 크면 클수록 이게 심해지는 느낌이에요.
그래서 저는 오히려 덩어리를 나눠서 여러 번 요청하는 게 낫더라고요. 100만 토큰을 한 번에 던지는 것보다 10만 토큰씩 나눠서 처리하고, 각각의 요약을 따로 받은 다음 마지막에 종합하는 식으로요. 물론 API 비용이 더 들지만 정확도는 훨씬 높았습니다.
혹시 저만 이런 경험을 한 건지, 아니면 다른 분들도 비슷하게 느껴봤는지 궁금합니다. 컨텍스트 윈도우 활용법에 대해 공유해주실 분 계신가요?