최근에 클로드가 20만 토큰, 제미니가 100만 토큰까지 올렸잖아요. 그런데 솔직히 개발하면서 느끼는 건 대부분의 실무에서는 그렇게 큰 윈도우가 필요 없다는 거더라고요. 물론 긴 문서 분석하거나 전체 코드베이스 참고할 때는 편하긴 한데, 대다수 작업은 4K나 8K 정도면 충분한 것 같습니다.
특히 요즘 느끼는 건데, 마케팅적으로 큰 숫자를 내세우긴 하지만 실제 체감은 크지 않다는 거예요. 컨텍스트 길이가 두 배 늘어난다고 해서 응답 품질이 두 배 좋아지는 건 아니거든요. 오히려 지금도 충분히 만족스러운데 자꾸 새로운 도구로 갈아타야 한다는 강박만 생기는 느낌입니다.
그러면서 드는 생각이 뭐냐면, 업계가 진짜 필요한 문제 해결보다는 스펙 경쟁에만 집중하는 건 아닐까 하는 거예요. 응답 속도, 토큰 효율, 일관성 있는 출력 같은 게 훨씬 중요한데 말이죠. 예를 들어 지금도 때때로 논리적으로 오류가 있는 답변을 하거나 지시를 제대로 못 따를 때가 있는데, 컨텍스트 윈도우를 200만까지 늘린다고 해결될 문제는 아니잖습니까.
다만 특정 분야에서는 의미가 있을 수도 있겠다는 생각은 해요. 법률 문서 검색, 학술 논문 분석 같은 경우는 길이가 길수록 도움이 될 테니까요. 그런데 일반 개발이나 콘텐츠 작업에서까지 그 수준의 윈도우가 꼭 필요한지는 의문이 있습니다.
혹시 실제 프로덕션에서 20만 토큰 이상을 자주 쓰시는 분들 있으신가요? 어떤 용도에서 필요한지 궁금하네요. 그리고 크기가 커지면서 비용도 올라가지 않나요? 그부분도 고려하면 균형점이 어디가 되는지 싶습니다.