최근 LLM들 컨텍스트 윈도우 늘어나는 추세 어떻게 봐요?

요즘 새로운 모델 나올 때마다 컨텍스트 윈도우가 자꾸 커지는 거 보이는데, 실제로 이게 실용적인지 궁금하네요. 클로드는 이미 20만 토큰이고 지피티도 128k 나왔고, 최근엔 더 크다는 모델들도 보여요.

근데 사실 개발할 때 그렇게 긴 컨텍스트를 자주 쓰지는 않거든요. 물론 긴 문서 분석이나 코드 전체를 한번에 던질 때는 편하겠지만, 대부분의 작업은 4k, 8k 정도면 충분한 것 같아요. 컨텍스트가 늘어나면서 응답 속도가 느려지는 건 아닌지도 궁금하고요.

회사에서 이런 큰 윈도우 모델을 실무에 도입했다는 분들이 있으시면, 실제로 얼마나 유용한지 궁금합니다. 특히 가격 대비 효과가 어떻게 되는지요. 아니면 그냥 마케팅 수치에 가까운 건가 싶기도 하네요.

당장은 프로덕션에서 쓸 모델을 정해야 하는데, 컨텍스트 사이즈보다는 응답 품질과 비용 최적화가 더 중요한 것 같긴 한데, 놓친 부분이 있으면 피드백 부탁드립니다.